首页 期刊 科技广场 基于异构集群环境下Hadoop作业调度优化的研究 【正文】

基于异构集群环境下Hadoop作业调度优化的研究

作者:潘丹 甘宏 广州城建职业学院 广东广州510925
异构集群环境   hadoop   作业重调度   优化算法  

摘要:随着计算机技术的发展与信息化的普及,大规模数据处理已经成为计算机产业界的焦点问题和学术界的研究热点。Hadoop是云计算的分布式开源的实现平台,在大规模数据处理方面有着高容量、低成本等优势,也是一个运行在大型集群之上的并行处理系统。Hadoop云平台上的调度算法是对用户作业进行资源分配和调度执行的程序,它的选择合适与否直接关系到用户作业的执行效率。因此,对Hadoop上作业调度算法的研究和改进优化就显得极为重要。本文通过实验验证作业重调度具有更好的响应时间和吞吐量,具有良好的负载均衡,并且大大提高了Hadoop系统在异构平台上的性能。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅