基于树状语料库的中文短语相似度计算

在诸如文件摘要、个性化搜索、学术诚信检测、常见问题自动解答、自动翻译等领域,短语相似度计算是核心算法。通过引入树状语料库,精确定义、计算词汇相似度,对基于抽取关键词序列的中文短语相似度算法做进一步改进。实验证明,该方法在提高中文短语相似度计算的准确率上达到了预期效果,更符合人的直观感觉。

中文短语文本相似度计算新方法

针对短语文本的分类、聚类、信息查询问题,提出了一种新的中文短语文本相似度计算方法。用该方法计算出的文本相似度及一个比较文本与多个被比较文本所得相似度变化趋势是合理的,因此可以满足短语文本分类/聚类和信息查询的需要。

基于最近邻算法的短语结构语法关系判定方法

提出了一种基于词义相似度和最近邻算法的“N1+N2”结构短语语法关系判定方法。首先从“N1+N2”结构中两对名词间的语义相似度定义了短语结构间的相似度,在此基础上给出最近邻分类算法所需要的短语结构间距离的概念;然后建设了一个标注了词语语义类别和短语语法关系的“N1+N2”结构的样本语料库,建立了一种能够标注“N1+N2”结构关系的最近邻分类算法;最后用测试集中计算机标注结果与人工标注结果比较来测试算法效果。实验结果显示,基于论文所提算法的计算机自动标注结果正确率达到97.55%,该结果证明了论文设计算法的有效性。

快速混合Web文档聚类

提出了一种使用后缀树聚类算法优化K-means文档聚类初始值的快速混合聚类方法STK-means。该方法首先构建文档集的后缀树模型,使用后缀树聚类算法识别初始聚类、提取K-means聚类算法初始值中心值。然后,把后缀树模型的节点映射到M维向量空间模型中的特征项,利用TF-IDF方案计算基于短语的文档向量特征值。最后,使用K-means算法产生聚类结果。实验结果表明该方法优于传统K-means聚类算法和后缀树聚类算法,并具备了这些算法聚类速度快的优点。

基于高校官网的校情简介数据分析方法

对高校官网校情简介数据进行挖掘分析,提出基于短语树形结构与Cilin Sim Hash算法相结合的短语相似度计算方法。首先将短语转换成以数字为根节点的树形结构来计算相似度,接着将同义词词林与Sim Hash算法相结合实现基于Cilin Sim Hash算法的相似度计算,最后将基于短语结构的相似度方法与基于Cilin Sim Hash算法的相似度方法加权,来实现短语相似度的计算。将该算法应用到高校官网数据分析过程中,进而对高校官网数据进行聚类分析,得出高校官网数据与高校评价指标之间的关系;获取高校官网数据中的结构化数据,通过聚类算法来对相关指标数据进行分析,表明高校的发展在不同办学层次下仍然是不平衡的。