大数据分析下分布式数据流处理技术研究

来源期刊：软件工程2019年第12期

论文作者：刘琴

文章页码：44 - 46

关键词：大数据;分布式;数据流处理技术;处理效率;

摘    要：由于数据流的不稳定性,将数据流查询安排在固定节点上就会造成分布式数据流处理技术很难对计算资源实现较高的处理效率,基于此,提出大数据分析下分布式数据流处理技术研究。具体流程是数据收集、历史数据的存储和查询、Storm实时处理、智能索引、数据模型的建立。根据实验结果可知,本文提出的大数据分析下分布式数据流处理技术与传统技术相比,在数据流的处理效率上占有较大优势,一般维持在75%以上,能够大大节省处理时间。