基于词向量的藏文语义相似词知识库构建

词向量在自然语言处理研究的各个领域发挥着重要作用。该文从语言学角度出发,讨论了词向量技术与语言学理论的关系;根据词向量的特征,提出利用藏文词向量构建语义相似词知识库。该文以哈尔滨工业大学的《词林》为基础,通过汉藏双语词典对译,在获取对译词的词向量的基础上,计算对译词的词向量与原子词群平均词向量的差值,利用不同的差值,自动筛选出与原子词群语义相似度较小的词。该文分别以藏文的词和音节为单位计算词向量,自动筛出不属于原子词群的词,通过对自动筛选结果与人工筛选结果对比,发现两者具有较高的一致性,这说明词向量计算结果与人的语言直觉具有较高的一致性。总体来说,该文所采用的方法有助于提高藏文语义相似词知识库构建效率。

一种结合词项语义信息和TF-IDF方法的文本相似度量方法

传统的文本相似度量方法大多采用TF-IDF方法把文本建模为词频向量,利用余弦相似度量等方法计算文本之间的相似度.这些方法忽略了文本中词项的语义信息.改进的基于语义的文本相似度量方法在传统词频向量中扩充了语义相似的词项,进一步增加了文本表示向量的维度,但不能很好地反映两篇文本之间的相似程度.文中在TF-IDF模型基础上分析文本中重要词汇的语义信息,提出了一种新的文本相似度量方法.该方法首先应用自然语言处理技术对文本进行预处理,然后利用TF-IDF方法寻找文本中具有较高TF-IDF值的重要词项.借助外部词典分析词项之间的语义相似度,结合该文提出的词项相似度加权树以及文本语义相似度定义计算两篇文本之间的相似度.最后利用文本相似度在基准文本数据集合上进行聚类实验.实验结果表明文中提出的方法在基于F-度量值标准上优于TF-IDF以及另一种基于词项语义相似性的方法.

供需匹配视角下基于语义相似聚类的技术需求识别模型

在技术供需文本匹配视角下,提出了一种基于语义相似聚类的技术需求识别模型.首先,采集网络中技术需求文本提取关键短语;然后,建立领域专利技术转让索引库,基于需求关键短语检索出高相关专利,构建专利技术供给背景库,并对背景库中专利标题与摘要进行分词;第三,提出基于词向量的供需文本语义匹配度算法,筛选有效技术需求并进行语义相似聚类;最后,考虑技术需求对应的需求量和专利技术转让量,对聚类结果进行二维分类.以新能源领域为例进行实证,识别出有效技术需求195个,基于语义相似聚成12类,结合需求量与专利转让量,将12类技术需求分为"高需求、高转让"、"高需求、低转让"、"低需求、高转让"、"低需求、低转让"四大类.该研究为网络技术需求挖掘及供需匹配提供一种新思路.