一种通用的工业大数据应用中海量对象存储方法实现
来源期刊：冶金自动化2019年第1期
论文作者：黄明 赵若尘 张云龙
文章页码：42 - 46
关键词：工业大数据;对象存储;海量;通用;分布式文件系统;小文件;
摘 要：随着工业大数据的蓬勃发展,海量产生的各类数据同时也推动了数据存储需求的不断变化,以往只能短期存储的数据存储方式逐步向长期存储的方式转变,存储数据的类型也变得更加多样化。Hadoop大数据生态软件以其低廉的硬件需求在工业大数据领域中拥有巨大的先天优势,然而其原本的HDFS分布式文件系统并不适用于海量小文件的存储需求,相反Hbase以其支持随机读写的低延时访问优势弥补了HDFS的不足。因此本文将两者的优点进行有效结合,设计并实现了一种通用的适用于工业大数据场景下的海量对象存储方案。
黄明，赵若尘，张云龙
上海宝信软件股份有限公司研发部
摘 要：随着工业大数据的蓬勃发展,海量产生的各类数据同时也推动了数据存储需求的不断变化,以往只能短期存储的数据存储方式逐步向长期存储的方式转变,存储数据的类型也变得更加多样化。Hadoop大数据生态软件以其低廉的硬件需求在工业大数据领域中拥有巨大的先天优势,然而其原本的HDFS分布式文件系统并不适用于海量小文件的存储需求,相反Hbase以其支持随机读写的低延时访问优势弥补了HDFS的不足。因此本文将两者的优点进行有效结合,设计并实现了一种通用的适用于工业大数据场景下的海量对象存储方案。
关键词：工业大数据;对象存储;海量;通用;分布式文件系统;小文件;
