首页 期刊 现代电子技术 不同维度下维吾尔语N-gram语言模型性能分析 【正文】

不同维度下维吾尔语N-gram语言模型性能分析

作者:毛丽旦·尼加提; 古丽尼尕尔·买合木提; 艾斯卡尔·艾木都拉 新疆大学软件学院; 新疆乌鲁木齐830046; 新疆大学信息科学与工程学院; 新疆乌鲁木齐830046
性能分析   srilm   mitlm   困惑度   平滑算法  

摘要:针对当前维吾尔语语言模型存在的语料库数据稀疏问题以及困惑度较高等问题,在SRILM和MITLM两种工具生成的2-gram,3-gram,…,9-gram语言模型做了对比实验,试图找出在一定规模的维吾尔语语料条件下使困惑度最低的N-gram语言模型。通过对比分析最终得出结论,对于基于维吾尔语句子的N-gram模型,维度N取在介于3~5之间较宜,困惑度和计算复杂度等因素考虑N=3为较优。这一结论将有助于维吾尔语自然语言处理的发展。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅