首页 期刊 甘肃教育 基于BSP大图处理系统中多分区策略研究 【正文】

基于BSP大图处理系统中多分区策略研究

作者:蹇旭; 罗南超 阿坝师范学院计算机科学系; 四川汶川623002
聚类   分层聚类   模糊聚类   聚类数   有效性函数  

摘要:由于现实生活中的许多应用都以图的形式生成数据,并且一个大图包含数百万个顶点和数十亿条边等问题.本文提出了基于BC-BSP(Bulk Synchronous Prallel,大块同步并行)的系统BC-BSP+,以并行化方式来对大图进行迭代处理.通过BSP系统灵活配置策略(即磁盘管理参数)和拓展功能(即编程接口),根据容错和负载均衡计算大规模图形.通过图的三种分区策略(随机Hash划分算法RHP、负载均衡Hash划分算法BHP和基于范围的顶点划分算法VCRP)来支持大图的处理工作.实验结果表明VCRP优于BHP和RHP,采用VCRP分区策略将BC-BSP+与基于MapReduce的Hadoop进行对比,得出BC-BSP+总体表现均比Hadoop、Giraph和Hama处理大图数据的效率高.

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅