基于跨语言语料的汉泰词分布表示

词汇的表示问题是自然语言处理的基础研究内容。目前单语词汇分布表示已经在一些自然语言处理问题上取得很好的应用效果,然而在跨语言词汇的分布表示上国内外研究很少,针对这个问题,利用两种语言名词、动词分布的相似性,通过弱监督学习扩展等方式在中文语料中嵌入泰语的互译词、同类词、上义词等,学习出泰语词在汉泰跨语言环境下的分布。实验基于学习到的跨语言词汇分布表示应用于双语文本相似度计算和汉泰混合语料集文本分类,均取得较好效果。

基于共现的汉语词的分布表示学习与改进

词与其上下文的共现矩阵是词的分布表示学习的关键。在构造共现矩阵时,可采用不同方法来度量词与其上下文之间的关联。文中首先介绍了3种词与其上下文的关联度量方法并构造了相应的共现矩阵,使用同一个优化求解框架学习得到词的分布表示,在中文词语类比任务和语义相似性任务上的评价结果显示,GloVe方法的结果最好;然后进一步对GloVe方法进行了改进,通过引入一个超参数校正词与其上下文的共现次数,以使校正后的共现次数近似服从Zip’f分布,并给出了求解该超参数估计值的方法。基于改进后的方法学习得到的词的分布表示在词语类比任务上的准确率提高了0.67%,且在McNemar检验下是显著的;在词语相似性任务上的性能提高了5.6%。此外,将改进后的方法得到的词的分布表示应用到语义角色识别任务中,作为词特征的初始向量得到的F1值相比使用改进前的词的分布得到的F1值也提高了0.15%,且经3×2交叉验证的Bayes检验其提升也较为显著。

小说人物的分布表示及其应用研究

小说是以刻画人物为中心,通过完整的故事情节和具体的环境描写反映社会生活的一种文学体裁。对小说人物进行建模,是小说文本理解和小说文本挖掘的基础性工作。该文构建了大规模的小说语料库,抽取人物及其依存特征,提出基于skip-gram的人物向量训练方法,以人物为目标,以依存特征为上下文,基于训练出的人物向量,探索了小说人物相似度计算、小说人物聚类分析及小说人物画像等应用。实验结果表明,小说人物的分布表示有较好的应用效果。

递归分布表示与N_组分分离算法

介绍数据的递归分布表示同时，以Ｎ_组分混合物分离方法为模型，构造及分析了它的递归分布表示，实现了分离方法的递归算法，并与矩阵－子列式分离方法的实现作了空间复杂度．时间复杂度的分析比较．

跨语言分布表示学习的研究现状及展望

随着信息化进程的全球化,互联网资源当中的语种也趋向于多样性。于是,藏汉跨语言分布表示学习成为藏文信息处理的重点,为了更好的研究藏汉跨语言分布表示学习,文章主要综述了分布表示学习及跨语言分布表示学习的方法及研究现状,在此基础上对藏汉跨语言分布表示学习的研究现状和问题进行了分析。认为今后藏汉跨语言分布表示学习还应该加强藏汉双语数据库建设、词义对齐等存在的问题,并且需改进已有的藏汉双语词典。

层次概念的分布式表示和学习方法综述

层次概念能够有效解释语言模型的隐含知识,并且提升语言模型的结构化优化性能。针对层次概念表示和学习模型的多样化发展,该文分析了层次概念表示的线性空间、概率空间和文本蕴含性质,梳理了概念学习模型的层次结构和优化原理,用于促进概念学习模型的应用效果。通过阐述概念学习过程和语义空间的层次性质,归纳层次概念学习的四类计算模型:基于条件熵的文本层次概念抽取;建立语言资源的概念层次和神经网络的隐含层次之间的映射;通过迭代的随机过程拓展主题模型;在正则化因子中添加语义关系约束。通过概念学习综述得出如下结论:层次性的语言模型广泛结合了显明和隐含的概念表示方法;统计模型和语言资源的语义映射是拓展层次结构的主要路径;层次结构具有双曲空间和嵌套球形结构;层次结构分析可以提升统计模型的解释水平。

面向短文本分析的分布式表示模型

短文本的分布式表示已经成为文本数据挖掘的一项重要任务.然而,直接应用分布式表示模型Paragraph Vector尚有不足,其根本原因是其在训练过程中并没有利用到语料库级别的信息,从而不能有效改善短文本中语境信息不足的情况.鉴于此,提出了一种面向短文本分析的分布式表示模型——词对主题句向量模型(biterm topic paragraph vector,BTPV),该模型通过将词对主题模型(biterm topic model,BTM)得出的主题信息融入Paragraph Vector中,不仅使得模型训练过程中利用到了全局语料库的信息,而且还利用BTM显性的主题表示完善了Paragraph Vector隐性的空间向量.实验采用爬取到的热门新闻评论作为数据集,并选用K-Means聚类算法对各模型的短文本表示效果进行比较.实验结果表明,基于BTPV模型的分布式表示较常见的分布式向量化模型word2vec和Paragraph Vector来说能取得更好的短文本聚类效果,从而显现出该模型面向短文本分析的优势.

利用词的分布式表示改进作文跑题检测

作文跑题检测任务的核心问题是文本相似度计算。传统的文本相似度计算方法一般基于向量空间模型,即把文本表示成高维向量,再计算文本之间的相似度。这种方法只考虑文本中出现的词项(词袋模型),而没有利用词项的语义信息。该文提出一种新的文本相似度计算方法:基于词扩展的文本相似度计算方法,将词袋模型(Bag-of-Words)方法与词的分布式表示相结合,在词的分布式表示向量空间中寻找与文本出现的词项语义上相似的词加入到文本表示中,实现文本中单词的扩展。然后对扩展后的文本计算相似度。该文将这种方法运用到英文作文的跑题检测中,构建一套跑题检测系统,并在一个真实数据中进行测试。实验结果表明该文的跑题检测系统能有效识别跑题作文,性能明显高于基准系统。

基于分布的中文词表示研究

针对基于分布的中文词表示构造过程中的参数选择问题进行了系统性的研究。选择了六种参数进行对比实验,在中文语义相似度任务上对不同参数设置下得到的中文词表示的质量进行了评估。实验结果表明,通过选择合适的参数,基于分布的词表示在中文语义相似度任务上能够得到较高的性能,而且这种高维的词分布表示的质量甚至优于目前流行的基于神经网络(Skip-gram)或矩阵分解(Glo Ve)得到的低维的词表示。

分布式单词表示综述

单词表示作为自然语言处理的基本问题,一直广受关注.传统的独热表示丢失了单词间的语义关联,因而在实际使用中易受数据稀疏问题困扰.而分布式表示通过将单词表示为低维稠密实数向量,捕捉单词间的关联信息.该表示方式可在低维空间中高效计算单词间的语义关联,有效解决数据稀疏问题.作为神经网络模型的基本输入,单词分布式表示伴随着深度学习被广泛应用于自然语言处理领域的方方面面.从早期的隐式语义分析,到最近的神经网络模型,研究人员提出了各种各样的模型来学习单词的分布式表示.本文梳理了单词分布式表示学习的发展脉络,并从模型利用上下文入手,将这些模型统一在分布语义假设框架下,它们的区别只在于建模了单词不同的上下文.以隐式语义分析为代表的话题模型,利用文档作为上下文,建模了单词间的横向组合关系;以神经网络语言模型为代表的工作,则利用单词周围单词作为上下文,建模了单词间的纵向聚合关系.此外,本文还总结了单词分布式表示目前面临的主要挑战,包括多义词的表示、稀缺单词表示学习、细粒度语义建模、单词表示的解释性以及单词表示的评价,并介绍了最新的已有解决方案.最后,本文展望了单词表示未来的发展方向与前景。

基于分布式表示的汉字部件表义能力测量与应用

汉字的表义性是其区别于表音文字的一大特点。部件作为构字单位,同汉字的意义之间有着很大的联系。然而,汉字部件的表义能力究竟如何是学界尚待讨论的课题。针对这一问题,该文从汉字部件入手,提出了融合部件的字词分布式表示模型。该模型在向量内部评测任务上性能获得了一定提升,在汉字理据性测量任务上也与人工打分结果显著相关。基于该模型,进一步提出了部件表义能力的计算方法,对汉字部件的表义能力做了整体评估,并结合部件的构字能力建立了现代汉字部件的等级体系。测量结果显示,现代汉字部件具有一定表义能力,但整体而言表义能力偏低。最后,将测量结果应用于对外汉语教学中,确立了适用于部件教学法的部件范围,并提出了对应的汉字教学顺序方案。

面向数字人文的人物分布式语义表示研究——基于CBDB数据库和古籍文献

开放互联环境下的人文研究亟须海量数据资源和新型研究方法。基于中国历代人物资料库(CBDB)数据库和古籍文献采集数据并构建历史人物关系网络,提出一种改进的融合人物影响力的网络表示学习方法,将历史人物表示成具有语义的低维实向量。基于数字人文理念,对人物相关度计算和人物关系挖掘等人文计算任务展开实证研究。通过将网络表示学习引入历史社会网络分析,可为研究者在海量人文数据中挖掘知识、发现问题提供辅助,对丰富和扩展数字人文视角下的人文社科研究范式和研究思维具有积极意义。

采用新型元路径的异构图表示学习方法

图神经网络已经成为推荐系统领域的一种主要方法。很多研究把元路径融入到异构图神经网络中,但绝大多数元路径的定义方式只考虑节点之间是否存在连接。而在异构图中同一个节点可能被多条不同类型的边所连接,如用户对物品的浏览、加入购物车、购买等不同交互行为,按照传统的元路径定义方式进行实例化会因为忽略了边的类型而导致学习的节点embedding不准确。针对上述问题,提出一种在异构图上把边类型融入到元路径的方法,使节点在每个场景下得到单独训练。然后,使用图注意力机制将不同场景下的同一节点的embedding进行聚合,最终得到该节点的embedding。并用来预测用户与未交互的物品之间的行为关系,从而达到向用户推荐物品的目的。实验表明,提出的算法在三个公开数据集上都取得了性能提升,在阿里天池赛数据集上F1、ROC-AUC和PR-AUC指标分别提高了8.75%、6.03%和4.86%。

基于分布式词语表示的中文阅读理解

基于山西大学自主开发的中文阅读理解语料库CRCC,根据问句和候选答案句的对应关系,在已有的最大熵模型的10个特征的基础上加入词的分布式实值向量表示的特征,其中分布式词特征分别是问题句和答案句的词对应的分布式实值的向量的最大值的欧式距离、夹角余弦等特征,主要是用来刻画问题句和答案句的相似程度.实验结果表明,把词的分布式实值表示的向量作为最大熵模型的特征对于测试集上的HumSent准确率的提升是有效的.

基于分布式表示技术的推荐算法综述

传统的推荐算法在实际应用中取得不错的效果并得到广泛的使用,同时也面临严重的数据稀疏和冷启动的问题,随着全球数据总量的不断增长,数据结构愈加丰富,如何从这些数据中正确捕获用户偏好成为关键问题,分布式表示技术为此提供了新的解决思路。通过对近些年基于分布式表示技术的推荐算法进行综述,分析算法与传统推荐算法的区别和优势,对这些算法的实际应用场景进行总结,并对基于分布式表示的推荐算法的未来发展趋势进行展望,为后续相关工作提供参考。

融合文本分布式表示的重复缺陷报告检测

重复缺陷报告检测能够避免对描述同一缺陷的多份报告进行重复的任务分派和修复,可降低软件维护成本。为了进一步提高检测的准确率,提出一种融合文本分布式表示的重复缺陷报告检测方法。首先,基于大规模缺陷报告数据库训练Doc2Vec模型并抽取缺陷报告的分布式表示,将不同长度的缺陷报告编码为统一长度的稠密向量。接着,通过比较这些向量来计算不同缺陷报告的相似程度,将其作为一种新特征与重复缺陷报告检测过程常用的其它特征进行融合,并利用机器学习算法训练二元分类模型。在公开的Bugzilla重复缺陷报告数据集上的实验结果表明,相比于代表性方法D_TS,本文方法的F1值平均提升了2%,说明了新特征的有效性。

基于文档分布式表示的英语作文跑题分析模型

针对传统英语作文跑题检测方法需多篇参考范文进行对比的局限性,提出一种基于文档分布式表示的英语作文跑题分析模型。该模型将词的分布式表示方法与文档的分布式表示方法相结合,从而充分利用作文标题的语义信息对待测作文进行跑题分析,并在真实的数据集中进行实验。实验结果表明,该方法仅需作文标题就可以有效判断英语作文是否跑题,并且具有较高的准确率和较好的实用性。

基于Bi-LSTM和分布式表示的网页主题相关度计算

针对向量空间模型忽略了查询关键词和网页的语义相关问题,提出一种基于双向LSTM(bidirectional long short-term memory)、词的分布式表示和文档的分布式表示的网页主题相关度计算方法。该方法通过双向LSTM和词的分布式表示对查询关键词进行扩展,并得到查询扩展的主题关键词集合的词向量;将搜索到的网页通过分布式表示方法得到网页向量;对主题关键词集合和网页进行相关度计算,得到主题相关网页。实验采用搜狗实验室公开的搜狗全网新闻数据作为词向量训练语料,搜狗评测数据作为测试语料。实验结果表明采用该方法可以提高主题相关网页计算的准确率,性能明显高于向量空间模型。

基于分布式表示的单步推理

目前,现有知识图谱大多存在信息缺失的问题,作为知识图谱关键技术之一的关系推理可以完成对数据关系的深入分析和挖掘,是知识图谱领域的研究热点。本文主要介绍了几种常用的基于分布式表示的单步推理算法,概述了算法的训练过程和评价指标,为今后该领域的研究提供参考借鉴。

知识表示学习研究进展

人们构建的知识库通常被表示为网络形式,节点代表实体,连边代表实体间的关系.在网络表示形式下,人们需要设计专门的图算法存储和利用知识库,存在费时费力的缺点,并受到数据稀疏问题的困扰.最近,以深度学习为代表的表示学习技术受到广泛关注.表示学习旨在将研究对象的语义信息表示为稠密低维实值向量,知识表示学习则面向知识库中的实体和关系进行表示学习.该技术可以在低维空间中高效计算实体和关系的语义联系,有效解决数据稀疏问题,使知识获取、融合和推理的性能得到显著提升.介绍知识表示学习的最新进展,总结该技术面临的主要挑战和可能解决方案,并展望该技术的未来发展方向与前景.