首页 期刊 南京大学学报·自然科学 基于改进的TF-IDF算法及共现词的主题词抽取算法 【正文】

基于改进的TF-IDF算法及共现词的主题词抽取算法

作者:公冶小燕; 林培光; 任威隆; 张晨; 张春云 山东财经大学计算机科学与技术学院; 济南250014; 山东大学计算机学院; 济南250002; 曲阜师范大学软件学院; 曲阜273165
共现词   互信息   term   document  

摘要:信息主题的抽取是快速定位用户需求的基础任务,主题词抽取时主要存在三个问题:一是词语权重的计算,二是词语间关系的度量,三是数据维度灾难.在计算词权重时首先利用互信息确定共现词对,与词频、词性、词位置信息非线性组合,然后,根据词权重构建文档—共现词矩阵并建立潜在语义分析(Latent Semantic Analysis,LSA)模型.该方法借助LSA模型的奇异值分解(Singular Value Decomposition,SVD)将文档—共现词矩阵映射到潜在语义空间,不仅实现数据降维,而且获得低维度的文档相似矩阵.最后,对文档相似矩阵进行k-means聚类,在同类文档中选出词权重最大的前几对共现词,作为该类文章的主题词.对比基于TF-IDF(Term Frequency-Inverse Document Frequency)和共现词抽取主题词的实验,该算法的准确度分别提高了19%和10%.

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

学术咨询 免费咨询 杂志订阅