首页 期刊 计算机技术与发展 HDFS中的一种数据放置策略 【正文】

HDFS中的一种数据放置策略

作者:王永洲 茅苏 南京邮电大学计算机学院 江苏南京210003 江苏省无线传感网高技术研究重点实验室 江苏南京210003 宽带无线通信与传感网技术教育部重点实验室 江苏南京210003
hdfs   云存储   数据放置   吞吐量  

摘要:将HDFS应用于云存储备份系统已引起学术界和企业界的广泛关注,但是HDFS假设集群中的节点是同构的,且在数据块的放置时采用了随机的数据放置策略,而在实际的云存储系统中节点的同构性并不理想并且随系统的运行节点的存储性能动态变化,随机选取节点的数据放置策略也可能会导致集群中数据放置的不均衡性。为此,文中综合考察了影响节点存储性能的CPU、内存、系统结构、磁盘的读写速度等因素,提出了一种对节点存储性能进行度量的方法。在数据存储时综合考虑节点的存储性能和节点与客户端的网络距离两个因素进行数据节点的选择。实验结果表明,与系统默认策略相比提出的策略不仅可以改进数据放置的负载均衡而且可以提高异构集群的数据传输速率。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅