基于Hadoop分布式文件系统的单点问题的研究

来源期刊：软件工程2014年第12期

论文作者：宋继红 李梦楠 郝得智

文章页码：9 - 16

关键词：Hadoop;小文件归并;分布式文件系统;

摘    要：从Hadoop分布式文件系统的架构出发,对Name Node节点存在的单点问题进行了分析与研究。在这个前提下,针对单点内存瓶颈问题,提出了一个小文件归并算法。此算法以Hadoop为基础,利用Hadoop分布式文件系统的特点,将归并后生成的大文件序列化到Hadoop分布式文件系统,很好地解决了小文件过多时Name Node单点内存瓶颈问题,并提高了系统的性能和可靠性。