作者:樊玉琦; 张蓓; 王伦飞 期刊:《计算机工程》 2020年第02期
在数据中心放置海量数据时,每个数据常有多个副本,服务提供商需要支付巨额电费以运行存储这些数据副本的服务器。同时,为保证多个数据副本的一致性,放置在不同数据中心的副本需要通过数据中心之间的网络进行同步,从而引发高额的网络传输费用。为此,以最小化多副本数据放置代价为目标,建立数据放置问题模型,并提出一种基于数据组和数据中心划分的数据放置算法DDDP。将数据划分为多个数据组,按用户访问数据的延迟要求将数据中心划分...
作者:甄成刚; 李宝才 期刊:《网络空间安全》 2015年第12期
云计算技术的快速发展积累了海量的数据资源,数据资源存储调度算法的好坏直接影响人们使用信息资源的效率。为了提高人们搜索数据资源的效率,提高云计算环境下数据存储调度的有效性,需要采用多层次智能分级思想设计一个数据存储系统,该系统可以将访问频次较高的热点数据放置在优先级存储层次,数据存储采用动态迁移算法,可以实时更新数据优先级,提高数据搜索效率。
作者:李超; 周立柱; 邢春晓 期刊:《软件学报》 2004年第05期
网络化存储通过引入网络的概念将存储独立于服务器甚至通信网络,已经成为传统存储方式的有力替代者.然而,FC-SAN虚拟存储方式的存储性能依赖于存储对象的某些属性,在某些情况下,其性能甚至不如传统的LAN数据共享方式.就FC-SAN虚拟存储方式中的数据放置和访问路径选择对这一问题进行了研究.首先通过分析虚拟存储原理提出了一个数据访问耗时的线性模型;然后,就数据放置和访问路径选择提出了一个决策方法;并在进一步探讨这一方法的过...
作者:刘飞; 蒋德钧; 张欢; 陈静; 王筠; 熊劲 期刊:《计算机科学》 2017年第06期
Ceph分布式存储系统正成为广泛使用的开源云环境存储解决方案。异构存储如果应用有效的数据管理策略,则能够在保持低成本的同时提供大容量和高性能存储。在Ceph中使用异构存储设备不能有效发挥异构存储设备的性能,由于数据的多个副本可以存放到不同的存储介质中,因此不同的副本组合的性能和成本都不一样。针对Ceph提出一种面向异构存储的数据放置方法,通过划分多种不同的副本组合,根据数据热度和读写比例将不同的数据放到不同的副...
作者:甄成刚; 李宝才 期刊:《信息安全与技术》 2015年第12期
云计算技术的快速发展积累了海量的数据资源,数据资源存储调度算法的好坏直接影响人们使用信息资源的效率。为了提高人们搜索数据资源的效率,提高云计算环境下数据存储调度的有效性,需要采用多层次智能分级思想设计一个数据存储系统,该系统可以将访问频次较高的热点数据放置在优先级存储层次,数据存储采用动态迁移算法,可以实时更新数据优先级,提高数据搜索效率。
作者:王念滨; 宋益波; 姚念民; 刘大昕 期刊:《计算机研究与发展》 2007年第10期
HPDPM系统是基于无共享群集结构的支持并行数据处理的中间件.提出了中间件系统的体系结构和主要功能模块,详细论述了利用中间件系统实现并行数据处理的方法.阐述了实现数据放置、缓存管理等关键技术的策略和方法.给出了实验和现场测试结果.利用中间件系统,为用户提供统一的服务接口和管理平台,提高了系统性能,增强了系统的可用性和可维护性,保护了用户已有投资.系统目前在大型应用工程中得到实际应用,应用中涉及的数据规模达到TB级...
作者:陈惟康 杜松 期刊:《计算机应用与软件》 2009年第01期
分布式存储统系统的可靠性主要取决于系统采用何种数据放置策略来保证数据在网络中各结点的有效分配。总结了设计数据放置策略所需考虑的关键问题和衡量数据放置策略的标准,重点讨论了已有的几种放置策略,在Gossip副本更新算法思想的基础上,提出一种可适应动态网络环境的基于存储转发的随机放置策略,并通过测试验证了该策略对系统可靠性和性能的影响。
作者:郭攀红 杨扬 李新友 期刊:《计算机科学》 2009年第11期
随着高速宽带接入技术的发展,流媒体技术的研究得到了迅速的发展,并具有广阔的应用前景。流媒体技术作为减轻服务器的访问负载、提高用户的访问响应速度的重要手段,已成为流媒体研究领域中的研究热点之一。针对流媒体服务中的分布式服务器系统,提出了一种优化的缓存数据放置策略。其主要思想是将缓存数据放入某个特定的服务器中,使得今后访问该数据的网络传输开销最小。仿真实验表明,所提出的算法比传统的缓存数据放置算法能...
作者:刘少伟 孔令梅 任开军 宋君强 邓科峰 冷洪泽 期刊:《计算机学报》 2011年第11期
云环境中跨数据中心科学工作流的高效执行通常面临数据交互量大的问题.文中给出基于相关度的两阶段高效数据放置策略和任务调度策略:即在工作流建立阶段根据数据依赖关系图把关系紧密型数据集尽可能放置到同一数据中心;而后任务调度策略在运行阶段将任务调度到数据依赖最大的数据中心执行,并将新产生数据集放置到相关度最高的数据中心.实验表明,该策略能有效减少跨数据中心科学工作流执行时的数据传输量,从而能有效提升科学工作流...
作者:汤小春 胡杰 期刊:《计算机工程》 2008年第23期
数据放置活动在以计算为主的分布式计算中被看作是次要的任务。文章将数据放置工作与计算工作区别对待,定义分布式计算过程中的数据放置模型,给出数据放置协议和可靠的数据传输算法,使得数据放置活动在分布式计算中像计算工作一样被排列、调度、监控、管理以及检测。对数据放置方法进行了系统的评价,取得了较好的效果。
作者:严林 邢晶 霍志刚 马捷 期刊:《计算机工程与科学》 2013年第05期
随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡。Erasure Code存储能够以更低的存储开销提供更高的可靠性。然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件...
作者:王永洲 茅苏 期刊:《计算机技术与发展》 2013年第05期
将HDFS应用于云存储备份系统已引起学术界和企业界的广泛关注,但是HDFS假设集群中的节点是同构的,且在数据块的放置时采用了随机的数据放置策略,而在实际的云存储系统中节点的同构性并不理想并且随系统的运行节点的存储性能动态变化,随机选取节点的数据放置策略也可能会导致集群中数据放置的不均衡性。为此,文中综合考察了影响节点存储性能的CPU、内存、系统结构、磁盘的读写速度等因素,提出了一种对节点存储性能进行度量的...
作者:邢晶 熊劲 孙凝晖 马捷 期刊:《计算机研究与发展》 2013年第08期
随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.为了满足日益增长的存储需求,提出了一种可扩展的存储空间管理方法.首先,该方法将存储空间中的对象位置信息通过Extendible Hashing以两级索引结构的方式进行组织,以此来支持对海量对象位置...
作者:潘红芳 张瑜 期刊:《电力信息化》 2015年第11期
随着电力企业信息化建设的发展,应用平台承载的数据呈指数级增长,用户数量迅速增加,导致计算机存储系统在访问过程中产生了瓶颈效应。为了解决上述问题,文章提出了一种智能分级存储系统,旨在通过系统软件将数据按照访问频率的不同,分别存储在不同的存储介质中,这不仅能够解决高频访问数据的I/O压力,同时还能降低存储成本,实现企业数据的透明、高效管理,提高电力数据访问的安全性。
作者:荀亚玲 张继福 秦啸 期刊:《软件学报》 2015年第08期
MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——HadooD缺省的数据放置策略进行分析...
作者:臧继昆 喻剑 期刊:《计算机科学》 2015年第05期
利用HDFS进行大规模交通监控视频的存储和处理是一种可靠、高效、可扩展的数据存储方案。针对HDFS默认的机架感知策略可能造成存储热点这一问题,提出了一种基于事件密集度的交通监控视频放置策略。该策略利用交通视频可按事件类型进行分类这一特征,在数据放置时将数据节点中已存储的各类型的事件视频可能对其造成的负载作为节点的主要评价因素之一,同时结合节点的实时负载、磁盘容量等因素进行综合评价,选择最佳的数据放置节点,从...