融合知识图谱和ESA方法的网络新词识别

随着互联网的高速发展,微博、微信等文本形式的使用量逐渐增多,对于这类文本的分析理解在自然语言处理领域形成了新的挑战,尤其是文本中的网络新词识别与语义理解方面。为了克服传统方法无法识别网络新词及其语义的缺点,提出了一种融合知识图谱和显性语义分析(explicit semantic analysis,ESA)方法的网络新词识别方法。该方法以短语的粗粒度对原文进行切分来保留词语间的逻辑关系,利用百度知识图谱Schema匹配短语的语义表达后,再逐步以ESA方法分解剩余文本并将短语的百科信息提炼出核心语义词汇来补充Schema无法识别的部分。实验结果表明,与已有新词识别算法相比,该算法仅需要少量的语料库作为底层知识支撑,大幅降低了人工规则制订的成本,并提高了网络新词识别正确率与词语理解准确率。

产品造型设计中的用户知识与设计知识研究

从工业设计出发 ,讨论了用户内隐知识与设计知识的关系 ,建立了用户知识与设计知识的匹配与碰撞模型 ,探讨了其关键技术和研究方法。以数控机床造型设计为例 ,采用口语分析法和语义差异法等方法分析了用户知识与设计知识的获取及表征形式 ,将内隐知识外显化 ,验证了该匹配模型 。

混合词汇特征和LDA的语义相关度计算方法

文本语义相关度计算在自然语言处理、语义信息检索等方面起着重要作用,以Wikipedia为知识库,基于词汇特征的ESA(Explicit Semantic Analysis)因简单有效的特点在这些领域中受到学术界的广泛关注和应用。然而其语义相关度计算因为有大量冗余概念的参与变成了一种高维度、低效率的计算方式,同时也忽略了文本所属主题因素对语义相关度计算的作用。引入LDA(Latent Dirichlet Allocation)主题模型,对ESA返回的相关度较高的概念转换为模型的主题概率向量,从而达到降低维度和提高效率的目的;将JSD距离(Jensen-Shannon Divergence)替换余弦距离的测量方法,使得文本语义相关度计算更加合理和有效。最后对不同层次的数据集进行算法的测试评估,结果表明混合词汇特征和主题模型的语义相关度计算方法的皮尔逊相关系数比ESA和LDA分别高出3%和9%以上。

基于明确语义分析的自动文摘算法

不同于传统采用统计学习方式的自动文摘算法,利用维基百科等知识密集的资源建立概念空间,在该空间中对词语进行语义解释,进而解释词语及文本片段的语义,由此提出一种基于明确语义分析的自动文摘算法。实验结果证明,相比传统算法,该算法精度更高,用更少的句子即可获得更高的信息覆盖率。

中文篇章级句间语义关系识别

篇章句间关系识别(Discourse Relation Recognition)是篇章分析的重要内容,该文对中文篇章句间关系识别任务进行初步探索,包括显式篇章句间关系识别与隐式篇章句间关系识别两类任务。针对显式篇章句间关系,我们提出基于关联词规则的方法进行识别,取得了很好的效果;针对隐式篇章句间关系,我们抽取词汇、句法、语义等特征,采用有指导模型进行识别。该文的分析和实验结果为后续研究提供了参考和基本对照系统。

基于中文维基百科的词语语义相关度计算

语义相关度计算在信息检索、词义消歧、自动文摘、拼写校正等自然语言处理中均扮演着重要的角色。该文采用基于维基百科的显性语义分析方法计算汉语词语之间的语义相关度。基于中文维基百科,将词表示为带权重的概念向量,进而将词之间相关度的计算转化为相应的概念向量的比较。进一步,引入页面的先验概率,利用维基百科页面之间的链接信息对概念向量各分量的值进行修正。实验结果表明,使用该方法计算汉语语义相关度,与人工标注标准的斯皮尔曼等级相关系数可以达到0.52,显著改善了相关度计算的结果。

基于排序学习的文本概念标注方法研究

提出一种基于排序学习的方法 CRM(concept ranking model),来实现文档的维基百科概念自动标注。首先人工对一定规模的文档进行概念标注,建立训练集合,然后利用排序学习算法在多项特征上得到对概念排序的模型,利用这个概念的排序模型对任意文档进行概念标注。实验表明,相对于传统的文档概念标注方法,此方法在各类指标上都有相当大的提高,标注结果更加接近人类的概念标注。

基于领域特征指示词的隐式特征识别研究

网络购物这一领域的迅猛发展带来了海量的在线评论数据,挖掘评论数据中所蕴藏的语义以及情感信息对用户以及商家都有着莫大的价值。在这样的应用需求背景下,出现了针对文本的情感分析(sentiment analysis)技术。但由于中文语言表达的多样性与复杂性,用户会在评论中含蓄地提到评价属性与观点。而现有研究对包含显式特征评论文本的情感分析已趋渐成熟,针对隐式评论句进行特征识别的却较少。因此,文中面向隐式特征识别这一研究难点,提出一种基于领域特征指示词的隐式特征识别方法。该方法首先利用构建的多词型的主题情感联合模型对特定领域内的显式评论句进行特征类别指示词的挖掘;再引入词向量模型作为衡量隐式评论句中线索词与特征指示词集中词项语义相关度的标准;最后分情形来实现对隐式评论句中线索词所属特征类别的指派。通过对不同产品的评论数据集进行实验,结果证明了该方法的有效性。

基于维基百科的中文文本层次路径生成研究

【目的】利用维基百科知识库生成自由文本的层次语义路径。【方法】针对维基百科的中文导出数据,构建层次结构的树状图;进而通过显性语义分析将自由文本表示为文章概念向量,通过文章–类别关联关系将文本映射到树状图中构成种子类别节点,再通过种子节点开始的信息扩散和自顶向下的路径选择与优化,生成层次路径。【结果】首条层次路径的平均相关度在测试集上达到54.10%,前20条路径整体上按相关度降序排序。【局限】未分析显性概念向量在保留不同概念数量时对生成路径质量的影响。【结论】基于维基百科知识库所生成的层次路径结果能够反映文本的主要语义信息。

多语言文本表示研究综述

对多语言信息处理中的文本表示问题进行阐述。在分析单语言文本表示的模型和过程的基础上,说明多语言文本表示的过程,详细分类并阐述其中的各种方法,对其进行比较分析。概括多语言文本表示的特点,指出尚存在的问题,并对多语言文本表示的发展趋势进行探讨。

基于显式语义分析的专家相似度研究

借鉴文本相似度的算法思想,提出基于显式语义分析的专家相似度计算方法,以克服传统方法中语义联系不强的缺点。并以图书情报领域专家的学术信息为对象对该方法进行实验评测,实验结果显示基于显式语义分析的专家相似度相比传统相似度计算方法体现出一定优异性。