首页 期刊 计算机研究与发展 纠删码存储系统中基于网络计算的高效故障重建方法 【正文】

纠删码存储系统中基于网络计算的高效故障重建方法

作者:唐英杰; 王芳; 谢燕文 武汉光电国家研究中心(华中科技大学); 武汉430074; 信息存储系统教育部重点实验室(华中科技大学); 武汉430074; 深圳华中科技大学研究院; 广东深圳518000
分布式存储系统   纠删码   软件定义网络   恢复开销   网络计算  

摘要:目前分布式存储系统的规模越来越大,不论存储设备是磁盘还是固态盘,系统都始终面临着数据丢失的风险.传统分布式存储系统大多采用基于三副本的高可靠性技术,但为了追求较低的存储开销,大量系统正在转向基于纠删码的可靠性方法.但是在纠删码方案下,重建故障数据需要读取多个存储设备,这将导致大量的网络传输和存储I/O操作,增大系统恢复开销.为了能够在不损失其他性能的同时降低恢复开销,利用软件定义网络(software defined networking,SDN)技术,提出一种基于网络计算的高效故障重建方案——网络流水线(in-network pipeline,INP),其中SDN控制器利用网络的全局拓扑信息构造重建树,系统依据重建树进行数据传输,并在交换机上完成部分计算,减少向后传输的网络流量,从而消除网络瓶颈,提升恢复性能.测试评估了不同网络带宽下INP的恢复效率.实验结果表明:与传统的纠删码系统相比,INP总是能大幅减少网络流量,并且在一定带宽条件下,能够接近正常读的时间开销.

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅