首页 期刊 计算机科学 基于注意力长短时记忆网络的中文词性标注模型 【正文】

基于注意力长短时记忆网络的中文词性标注模型

作者:司念文; 王衡军; 李伟; 单义栋; 谢鹏程 中国人民解放军信息工程大学三院; 郑州450001; 66083部队; 北京100144; 西安交通大学数学与统计学院; 西安710049
词性标注   长短时记忆网络   注意力机制   上下文特征  

摘要:针对传统的基于统计模型的词性标注存在人工特征依赖的问题,提出一种有效的基于注意力长短时记忆网络的中文词性标注模型。该模型以基本的分布式词向量作为单元输入,利用双向长短时记忆网络提取丰富的词语上下文特征表示。同时在网络中加入注意力隐层,利用注意力机制为不同时刻的隐状态分配概率权重,使隐层更加关注重要特征,从而优化和提升隐层向量的质量。在解码过程中引入状态转移概率矩阵,以进一步提升标注准确率。在《人民日报》和中文宾州树库CTB5语料上的实验结果表明,该模型能够有效地进行中文词性标注,其准确率高于条件随机场等传统词性标注方法,与当前较好的词性标注模型也十分接近。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅