首页 期刊 科研信息化技术与应用 基于Slurm的深度学习高性能计算平台设计及其调度实现技术 【正文】

基于Slurm的深度学习高性能计算平台设计及其调度实现技术

作者:陆忠华; 胡腾腾; 王彦棡; 刘芳; 王珏 中国科学院计算机网络信息中心; 北京100190; 中国科学院大学; 北京100190
hpc   深度学习   slurm  

摘要:传统上,HPC与解决大规模科学计算和相应大数据紧密结合。伴随着物联网、移动互联网时代的到来,数据呈现出前所未有的爆炸式的增长,给人类对数据的利用方式提出了新的命题与挑战。2012年,Hinton采用深度学习的方法以巨大的优势摘取ImageNet的桂冠,让人类看到了海量数据与人工智能相结合的巨大价值。HPC系统天然与深度学习无缝对接,本文将以高性能计算集群为基础,提供搭建一整套高性能的深度学习平台设计思路与实现,并以Slurm调度分布式TensorFlow进行海量数据的相关的测试实验。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅