摘要:N-gram模型是自然语言处理中最常用的语言模型之一,广泛应用于语音识别、手写识别、拼写纠错、机器翻译和搜索引擎等众多任务.但是N-gram模型在训练和应用时经常会出现零概率问题,导致无法获得良好的语言模型,因此出现了拉普拉斯平滑、卡茨回退和Kneser-Ney平滑等平滑方法.在介绍了这些平滑方法的基本原理后,使用困惑度作为度量标准去比较了基于这几种平滑方法所训练出的语言模型.
注:因版权方要求,不能公开全文,如需全文,请咨询杂志社
热门期刊服务
NBA特刊 NBA金版系列 China Foundry Journal of Mountain Science Tsinghua Science and Technology Transactions of Nonferrous Metals Society of China Communications in Theoretical Physics Control Theory and Technology Frontiers of Information Technology Electronic Engineering China World Economy Progress in Natural Science:Materials International China Petroleum Processing Petrochemical Technology