融合词性、语义及词序因子的中文短文本相似度计算方法

论文针对中文短文本特性,综合考虑词性、词序和语义等因素提出了一种新的文本相似度计算方法[1]。这种方法是在余弦相似度的基础上计算中文短文本的语义相似度,并通过加权词性、词序权重优化相似度计算结果。实验证明,论文的方法与其他方法相比,准确率和召回率有了显著提高,获得的相似度结果更具说服力。

基于WV-CNN的中文文本语义相似度计算方法

为解决传统中文文本语义相似度计算存在的语义及句法信息缺失、人工提取特征误差较大等问题,融合词向量与卷积神经网络方法,构建中文文本语义相似度计算模型,并给出WV-CNN(Word Vector-Convolutional Neural Network)文本语义相似度计算方法。通过Embedding层将词语向量化后的结果作为CNN的输入,CNN中设置了卷积、Dropout、池化和Flatten4层网络,经过参数选择、训练、调优后输出结果。选取第6届全国数据挖掘竞赛提供的数据集以及在百度的WebQa数据集作为实验对象,使用Accuracy值、F1值、AUC值、KS值4种评测指标进行对比实验。结果表明,WV-CNN具有更好的计算精度和效果。

一种古诗词联机评判算法

为解决目前人工评判古诗词默写正确性的方式存在耗时、漏判、误判等问题的情况,提出一种基于编辑距离的古诗词在线评判算法。根据中文古诗词的结构特点,该算法应用了基于树结构的编辑距离进行相似度判定。整个古诗词文本的相似度是语句、语块两个级别的相似度的综合。试验表明基于树状结构的编辑距离算法在古诗词相似评判方面较基于字符串的编辑距离算法具有更佳的适用性。