提供了一种使用异或运算,得到两个校验数据的纠删码的快速计算的方法。它花费较小的数据冗余代价,实现了数据的高可靠性,在分布式存储等系统中广泛应用。
作者:包涵; 王意洁; 许方亮 期刊:《计算机研究与发展》 2020年第02期
近年来,为了避免数据因数据中心故障而永久丢失,各大机构开始尝试采用容错技术将数据存放在跨数据中心存储系统中.作为一种具有高容错性和低冗余度的容错技术,纠删码被广泛应用于单数据中心存储系统中.然而,在跨数据中心存储系统中,已有纠删码写入方法的网络资源消耗量大、编码效率低且传输效率低,这使得跨数据中心纠删码的写入速度难以适应于日益增长的数据生成速度.为提高跨数据中心纠删码的写入速度,提出了一种基于生成矩阵变换...
作者:王光林; 邵星星 期刊:《电力系统装备》 2018年第10期
针对分布式存储的海量数据,其安全性、低成本、高负载需求引来越来越多的关注。文中基于Ceph的新存储引擎BlueStore,运用纠删码技术测试RBD设备的存储性能,首先设计和部署Ceph集群,创建RBD设备并通过iSCSI协议IPSAN;然后对集群和内核进行针对性调优,并运用fio工具进行压力测试;最后通过对测试结果进行分析,得出集群随着负载增加访问存储的iops和吞吐量也同时增加。
作者:魏东泽; 来学嘉 期刊:《网络空间安全》 2011年第09期
随着信息技术的发展,数据的安全和稳固成为人们普遍关心的话题,本文将结合云的概念和思路介绍一种安全的、高可靠的低成本P2P云存储备份模型,并给出我们对该模型的一个尝试性的实现。
分布式存储系统构建于大量的廉价节点之上,使得节点失效成为一种常态。为了保证数据的可靠性,系统必须具备数据容错方案。纠删码冗余方案可以在提供更低的存储开销的同时,获得和副本冗余方案相同的可靠性。但是在实际运用中,基于纠删码的存储系统在恢复数据时,恢复节点需要从多个存活节点读取数据到本地,然后通过解码算法恢复出数据。这不仅对恢复节点造成了较大压力,而且会占据大量的网络带宽,影响系统整体性能。由此,提出了一种...
作者:孟宇龙; 关智允; 徐东; 张子迎; 任龙 期刊:《哈尔滨工程大学学报》 2019年第11期
针对纠删码中分组码多组之间关联性差导致的容错率低等问题,本文基于分组码的思想提出一种跳跃纠删码—跳跃局部重构码。通过将初始数据分组并且在每组选取单块数据跳跃再生成校验块来加强组间联系,以提升容错率、容错能力以及降低重构开销等不同性能,并且可以权衡存储开销与其他性能以满足分布式系统的不同需求。此外,本文通过改变跳跃局部重构码自身参数来对比性能变化,并且与其他常用类型纠删码进行对比实验。结果表明:跳跃局部...
作者:钟凤艳; 王艳; 李念爽 期刊:《计算机应用研究》 2019年第08期
在大规模云存储系统中,由于磁盘或网络故障造成的存储节点失效事件频发,系统需要数据冗余技术以保证数据的可靠性和可用性。目前针对纠删码的冗余数据修复研究大多是无差别地对待每个存储节点,然而在实际分布式存储系统中,节点通常在带宽资源、计算资源、存储容量资源等方面存在差异性,这些资源的异构性对冗余数据修复性能影响很大。指出了影响修复性能的关键因素,选取带宽开销、磁盘访问开销、修复时间、参与修复的节点数量和修复...
作者:沈记全; 谢果君; 杨焕焕 期刊:《信息与控制》 2019年第02期
针对云存储系统中因忽视集群中存储节点之间的差异而引起的存储代价过高、可靠性较低、节点负载能力不足等问题,提出了段排序交换算法(FSSA).首先对数据块部署问题进行数学建模;然后根据各个节点的负载情况进行分段,并在各个分段中依据数据可靠性的需求对节点进行初步选择;最后根据数学模型中对目标函数的分析在分段选择的结果中选取适当的节点进行数据部署.仿真结果表明,采用FSSA算法可以在保证数据存储可靠性的基础之上,降低数据...
作者:赵国锋; 张明聪; 周继华; 赵涛 期刊:《信息网络安全》 2019年第02期
文章提出了一种区块链系统区块文件存储模型,并将其应用于超级账本区块链系统。模型基于纠删码技术改进区块链系统的存储性能,对其存储的区块文件进行编码分片存储,能够以更小的数据冗余度获得不弱于原始系统的数据可靠性,大幅减少了节点对存储资源的需求。同时,模型提供了区块文件解码恢复方案及适配的区块同步方案,增强了模型的可用性。将模型在多个区块链节点中运行测试,结果表明该模型显著减少了节点的存储空间占用,有效改善了...
作者:杜华; 刘华春 期刊:《计算机技术与发展》 2019年第02期
云数据中心下企业数据量快速增长,使得数据中心面临严峻挑战。研究发现,存储系统中高达60%的数据是冗余的,因此云数据中心下的重复数据缩减受到越来越多的关注。以往单一存储结构模式下的存储性能评价指标(平均响应时间、磁盘I/O效率和数据冗余度),不但不能完全适应云数据这种以廉价设备为分布式存储结构的新变化,而且也难以较好地满足云服务提供商向用户做出的数据高可用性、高可靠性的SLA承诺。为此,在分析和总结云数据中心环境...
作者:王晓涛; 刘晨曦; 王一丁 期刊:《科技与创新》 2018年第23期
针对电力视频监控数据总体量大、不同监控视频点击热度不同的特点,提出了结合复制策略读取速度快与编码冗余策略数据冗余度低特点的电力视频监控数据动态自适应复合存储方案,并设计了客户端参与译码过程的辅助数据重构策略。对构建的复合存储原型系统进行了性能测试与分析,结果表明,该复合方案能够实现数据的动态冗余调整,存储数据最少仅需要0.32倍的数据冗余,便可保证具有"6个9"的高可靠度。系统在高可靠性的要求下,数据冗余度会...
作者:傅颖勋; 文士林; 马礼; 舒继武 期刊:《计算机研究与发展》 2018年第01期
随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误,因此,如何快速地在单磁盘错误的情况下重构失效数据,已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义,给出了纠删码的...
作者:刘会霞 期刊:《南京理工大学学报》 2015年第01期
为了在分布式环境下进行数据持有性验证并保持较低的修复带宽,该文在引入再生码的基础上,提出了一种分布式环境下的数据持有性验证方案。该方案利用再生码来进行数据持有性验证,并在修复阶段再次进行持有性验证以抵抗污染攻击。通过理论分析,该方案既保持了再生码修复带宽低的优势,且相比于经典方案降低了计算开销,节省了存储空间。该文还提供了方案的安全性证明,通过安全性及性能分析表明该方案是可行的。
作者:孙明强; 田秀霞; 张安勤 期刊:《上海电力学院学报》 2017年第04期
随着业务量的不断增长,越来越多的企业接受了云计算,数据也从本地迁移到了云端.这种新的数据存储模式也引发了众多安全问题,而如何确保云服务器中数据的完整性是其中的关键问题.数据拥有者亟需一个稳定、安全、可信的完整性审计方案,用于审核云服务器中数据的完整性和可用性.阐述了云计算环境下数据完整性系统模型和安全模型,以及云存储数据完整性审计的研究现状,并重点分析了部分经典方案,通过方案对比,指出当前方案存在的优点、...
作者:贾思懿; 刘振军; 刘建亮; 方沛; 董欢庆 期刊:《小型微型计算机系统》 2017年第07期
信息技术正在从以计算设备为核心的计算时代进入到以数据为核心的存储时代.数据量和数据价值的增加,对存储系统的容量、成本、访问性能和数据可靠性等方面提出了更高的要求.为减小冗余数据开销并保证数据的可用性和可靠性,采用纠删码技术已成为业界的发展趋势.数据一致性是纠删码存储系统的本质属性,保证了数据的可靠性和可用性,高效保证纠删码数据的一致性是纠删码系统的关键.提出“写后重映射”存储模型(After Write Re...
作者:金星彤; 李鹏; 王刚; 刘晓光; 李忠伟 期刊:《计算机科学》 2017年第06期
随着存储系统的发展,为了满足当前高速增长的信息数据量对存储的需求,云存储行业迅速兴起。然而,单云存储面临着数据保密性、安全性、可用性和厂商锁定的风险。基于异或的非系统纠删码-隐私保护码(PPC)可以用来构造具有隐私保护能力的多云存储系统,从而在很大程度上解决上述问题。主要针对PPC编码算法进行优化,以提高编码运行性能。通过设计搜索PPC的最优调度来减少编码过程中的异或次数。由于PPC的编码/解码计算可以表示为生成矩...
作者:龚华伟; 艾红 期刊:《北京信息科技大学学报·自然科学版》 2017年第01期
为了使客户端应用程序能够更加便捷地存储、读取和管理嵌入式系统中的大量数据,设计了一种新的在线存储网关架构。利用Nginx作为服务器,接收来自客户端的数据操作请求和传输数据,并做出相应的响应;由Nginx的外部Lua扩展模块实现后台处理程序,对Nginx服务器接收的请求进行解析并执行具体的操作;向客户端提供了亚马逊简单存储服务表述性状态转移风格的应用编程接口,并将桶映射为目录,将对象映射为文件;利用纠删码实现了数据传输过程...
作者:高瞻瞻; 汤光明; 张伟伟 期刊:《通信学报》 2016年第11期
VoIP(voiceoverIP)是基于UDP/IP协议族的语音通信技术,当信道环境变差时不可避免地会产生网络分组丢失,这给建立在其上的VoIP隐写的可靠传输带来了挑战。提出利用纠删码对秘密信息进行冗余预处理,再结合矩阵嵌入编码实现最小失真的隐写,从而建立了基于联合编码的嵌入和提取模型。在此基础上,分析了关键参数对联合编码性能的影响并给出了最优参数的选取算法。实验结果表明,所提联合编码能够有效提高隐写系统的抗分组丢失能...
存储设备的首要任务是保证数据的正确性和完整性,随着存储技术发展,存储系统的容错技术也在不断的发展中,通过不同数据分布方式和算法,在保证数据的正确性和完整性前提下保证存储设备性能。本文对各种容错技术进行解析,并对他们的特点作了初步的分析。
作者:卞建超; 查雅行; 罗守山; 李伟 期刊:《计算机研究与发展》 2016年第09期
云计算的发展和应用对存储系统的容错能力提出了更高要求.纠删码被广泛运用于计算磁盘级冗余以抵抗磁盘错误,但抵抗扇区错误时磁盘利用率较低,现有针对扇区错误的优化方案只能抵抗较小数目或者特定分布的扇区错误.为此,利用MDS(maximum distance separable)码的同态性质,提出了一种将磁盘间冗余与磁盘内冗余相结合的混合编码(intra-and inter-device redundancy,IIDR).添加校验磁盘抵抗磁盘错误的同时,在数据磁盘中添加全局校...