基于句子语义距离的释义识别研究

针对释义识别任务如何学习上下文语义的问题,提出了利用词向量来表示句子语义距离的模型。首先,利用Word2Vec训练大规模的词向量模型,把词的语义信息利用向量分布式表示;然后通过欧氏距离来计算句子间词的移动开销;最后基于EMD模型实现了从词语义距离到句子语义距离的建模,通过采用句子变换矩阵来实现句子间语义距离的度量,进而从语义相似性方面进行句子释义识别。实验基于Sem Eval-2015 PIT任务,与作为实验基线的逻辑回归和加权矩阵因数分解方法进行比较,提出的模型采用有监督实验时,F1值非常接近实验基线,而采用无监督方法实验时,F1值提高了5.9%。

层次化神经网络模型下的释义识别方法

释义识别技术(Paraphrase Identification,PI)被广泛用于问答系统、抄袭检测、个性化推荐等领域.针对已有释义识别方法缺乏有效的特征提取机制问题,提出了一种新的释义识别模型.与传统“编码-匹配”模式不同,采用“编码-匹配-提取”模式,通过添加特征提取层进一步提取分类信息.所提出模型由6层组成:输入层、嵌入层、编码层、匹配层、特征提取层、输出层.在编码层,采用基于注意力机制的上下文双向长短期记忆网络对文本上下文进行编码,充分利用句子的前向和逆向两个方向的上下文信息;在匹配层,通过多种矩阵运算,从不同角度获得句子对匹配信息;在特征提取层,利用Xception网络以便更有效地从匹配结果中提取分类信息.此外,本文采用多特征融合的方法,将GloVe预训练的词向量、字符向量和附加特征向量的连接作为最终的词向量,较普通的词向量携带更丰富的语义信息.实验结果表明,所构建的模型在Quora和SemEval-2015 PIT两个公开数据集上(分别作为大型数据集和中小型数据集的代表)都达到了竞争性效果.

基于改进句子相似度算法的释义识别研究

针对现有句子相似度算法无法处理同义词、准确率低和复杂度高等不足,结合词向量技术改进Levenshtein相似度算法和Jaccard系数,提出一种新的句子相似度算法用于释义识别,并对多种句子相似度算法的优劣进行分析,设计多相似度特征组合的应用模式。基于MRPC释义识别数据集的实验结果表明,使用该算法的释义识别模型准确率与F1值分别达到74.4%和83.1%,与使用TF-IDF算法、词袋算法等传统算法的模型相比识别性能更优。

基于卷积网络的句子语义相似性模型

句子间语义相似性的计算已成为自然语言处理领域的重要研究内容,如何有效地对句子建立语义模型已成为释义识别、文本相似性计算、问答和文本蕴涵等自然语言处理应用的基础任务.文中提出了一种并行的卷积神经网络模型,该模型的两个卷积网络不仅对句子对中的单个句子建立句子向量表示,还对句子经卷积池化后的特征进行相似性度量,并获得句子间的相似性特征.采用释义识别及文本相似性两项任务进行模型性能的实验评测,结果显示,该模型能够较好地表示句子语义信息,其释义识别F1值相比基准实验提高了7.4个百分点,语义相似性评测的皮尔森相关系数比逻辑回归方法有7.1个百分点的提高.

国外手语语料库的基本标注

ELAN软件的出现进一步促进了可机读手语语料库的发展。一个完整的手语语料库由手语视频和越来越详细的相关标注文件等组成。手语语料库的简单标注指将手语视频分割为一个个最小意义单位并加以注释,手语语料库最少应有三个标注层:即一个意译层和两个手的两个识别释义(ID-gloss)层。