首页 期刊 数据通信 基于贝叶斯新型深度学习超参数优化的研究 【正文】

基于贝叶斯新型深度学习超参数优化的研究

作者:朱汇龙; 刘晓燕; 刘瑶 昆明理工大学信息与自动化学院; 云南昆明650500; 中国科学院计算技术研究所; 北京100000
gpflow   opt   高斯过程   贝叶斯   拉丁超立方  

摘要:一种新的贝叶斯优化的Python框架被称为GPflow Opt。这个包是基于流行的GPflow库,主要用于高斯过程,利用了Tensor Flow的优点包括自动微分,贝叶斯优化的并行处理和GPU计算。设计目标是关注于一个易于扩展的框架,使用自定义采集功能和模型。这个框架经过了完全的测试和文档化,并且提供了可伸缩性。本文是对贝叶斯优化算法进行改进,有效解决传统贝叶斯优化算法耗时长,性能波动大的缺陷。首先,通过拉丁超立方实验设计方法,生成贝叶斯优化中建立函数模型所需的初始点,提高有效评估点的生成率;其次,通过使用改进的高斯核函数和获取函数提高贝叶斯优化的效果。最后,在计算目标函数时合理选用部分数据,并在计算过程中使用并行计算的方法,加速整个优化过程。建立上述改进贝叶斯优化算法的实例,仿真结果表明该方法优化效率高,优化结果明显改善。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅