首页 期刊 计算机应用研究 基于任务进度感知的异构Hadoop云平台任务调度方案 【正文】

基于任务进度感知的异构Hadoop云平台任务调度方案

作者:刘莹; 罗兴宇; 王宁; 罗强 重庆邮电大学移通学院计算机科学系; 重庆401520; 重庆邮电大学计算机科学与技术学院; 重庆400065
hadooo云平台   任务调度   任务进度感知   掉队者任务   节点分类  

摘要:针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当straggler后备任务达到一定阅值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅