-
题名基于百度百科的词语相似度计算
被引量:20
- 1
-
-
作者
詹志建
梁丽娜
杨小平
-
机构
中国人民大学信息学院北京
-
出处
《计算机科学》
CSCD
北大核心
2013年第6期199-202,共4页
-
基金
国家自然科学基金(70871115)资助
-
文摘
词语相似度计算是自然语言处理的关键技术之一,是一个被广泛研究的基础课题。传统的词语相似度量方法大多是基于语义知识和基于语料库统计的方法,即这两类方法需要具有层次关系组织的语义词典和大规模的语料库。提出了一种新的基于百度百科的词语相似度量方法,通过分析百度百科词条信息,从表征词条的解释内容方面综合分析词条相似度,并定义了词条间的相似度计算公式,通过计算部分之间的相似度得到整体的相似度。实验结果表明,与已有的相似度计算方法对比,提出的算法更加有效合理。
-
关键词
词语相似度
语言网络
百度百科
向量空间模型
-
Keywords
Word similarity, Language network, BaiduBaike, VSM
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于语言网络和语义信息的文本相似度计算
被引量:11
- 2
-
-
作者
詹志建
杨小平
-
机构
中国人民大学信息学院计算机系
-
出处
《计算机工程与应用》
CSCD
2014年第5期33-38,共6页
-
基金
国家自然科学基金(No.70871115)
-
文摘
通过分析已有的基于统计和基于语义分析的文本相似性度量方法的不足,提出了一种新的基于语言网络和词项语义信息的文本相似度计算方法。对文本建立语言网络,计算网络节点综合特征值,选取TOP比例特征词表征文本,有效降低文本表示维度。计算TOP比例特征词间的相似度,以及这些词的综合特征值所占百分比以计算文本之间的相似度。利用提出的相似度计算方法在数据集上进行聚类实验,实验结果表明,提出的文本相似度计算方法,在F-度量值标准上优于传统的TF-IDF方法以及另一种基于词项语义信息的相似度量方法。
-
关键词
语言网络
文本聚类
文本相似度
词语相似度
-
Keywords
language network
text clustering
text similarity
term semantic similarity
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名一种基于复杂网络的短文本语义相似度计算
被引量:14
- 3
-
-
作者
詹志建
杨小平
-
机构
中国人民大学信息学院
-
出处
《中文信息学报》
CSCD
北大核心
2016年第4期71-80,89,共11页
-
基金
国家自然科学基金(70871115)
-
文摘
将传统的文本相似度量方法直接移植到短文本时,由于短文本内容简短的特性会导致数据稀疏而造成计算结果出现偏差。该文通过使用复杂网络表征短文本,提出了一种新的短文本相似度量方法。该方法首先对短文本进行预处理,然后对短文本建立复杂网络模型,计算短文本词语的复杂网络特征值,再借助外部工具计算短文本词语之间的语义相似度,然后结合短文本语义相似度定义计算短文本之间的相似度。最后在基准数据集上进行聚类实验,验证本文提出的短文本相似度计算方法在基于F-度量值标准上,优于传统的TF-IDF方法和另一种基于词项语义相似度的计算方法。
-
关键词
复杂网络
综合特征值
短文本
语义相似度
-
Keywords
complex network
comprehensive eigenvalue
short text
semantic similarity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-