基于同义词词林和预训练词向量的微调方法

同义词挖掘是自然语言处理领域中的一个基础任务,而同义词对的判别是该任务的一个重要部分。传统两大类方法,基于分布式表示和基于模板的方法,分别利用了语料的全局统计信息和局部统计信息,只能在精确率和召回率中权衡。随着预训练词向量技术的发展,基于分布式表示的方法存在一种简单高效的方案,即直接对预训练好的词向量计算相似度,将此表示为语义相似度。然而,这样的思路并没有利用到现有的同义词对这一外部知识。该文提出基于《同义词词林》的词向量微调方法,利用同义词对信息,增强预训练词向量的语义表示。经过实验,该微调方法能很好地完成同义词对的判别。

基于位置增强词向量和GRU-CNN的方面级情感分析模型研究

方面级情感分析旨在判断一段文本中特定方面词的情感倾向,其核心问题是方面词的上下文如何准确表征。与现有研究主要关注注意力机制的改进不同,该文从词语表征和上下文编码模型两个方面进行改进。在词语表征方面,通过BERT模型和位置度量公式获得增强的词向量表示;在上下文编码模型方面,使用GRU-CNN网络提取文本语义特征。在SemEval2014 Task4数据集上的实验表明,提出的模型在Restaurant和Laptop领域中的准确率分别达到了85.54%和80.35%,证实了所提出模型的有效性。

基于词向量预训练的不平衡文本情绪分类

深度学习中处理不平衡问题的方法多为代价敏感和采样。该文在词向量迁移的基础上提出预训练任务选择方法。用利于小类别区分的预训练词向量来初始化目标模型,并结合均衡过采样充分利用样本信息保持模型在大类别上的精度,使模型提取的文本特征在大小类别上具有公平性,从特征层面实现了平衡效果。实验结果表明,在文本情绪分类任务中,对比过采样方法,该方法在大部分无严重过拟合情况下有更好的平衡效果。当存在较严重过拟合时,该方法在目标分类数为三时平衡效果显著,并通过实验验证了预训练方法可与代价敏感方法相结合提升平衡性能。

基于AlBert-Tiny-DPCNN的案件事实倾向性类别预测

近年来,随着智慧司法的推进,中国裁判文书作为重要的研究对象,衍生了诸多任务,但针对裁判文书的研究大多基于刑事案件,缺乏对民事案件领域下的研究。本文结合预训练词向量、文本分类模型等技术,对民间借贷这一细分领域下的案件事实标签预测进行研究,为现有的案件事实提供同类别的有参考价值的裁判文书,减少相关工作者在大量数据中寻找所耗费的时间。本文提出了基于Albert-Tiny-DPCNN的分类模型,该模型采用注意力机制与标签平滑归一化技术来提高模型的精度,并在实验数据集上验证了模型的有效性。

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F1值分别提高4.74和3.86个百分点。

基于迁移学习的个性化循环神经网络语言模型

针对在小数据集上开发个性化语言模型仍存在的障碍,提出基于迁移学习的个性化循环神经网络语言模型。设计了基于预训练词向量、预训练电影剧本数据集、基于参数微调和特征提取分类器的迁移学习训练模式,在小数据集上建立了具有较高辨识度的个性化语言模型,降低了模型的困惑度,改进了模型的性能。模型的实验以电视剧Seinfeld角色为基础。结果表明:该模型在特定角色测试数据集上的困惑度比其他角色数据集平均低17.65%,证明其已经学会了该角色的个性化风格;迁移学习使得模型最低困惑度平均降低了36.38%,较好地解决了基于小数据集开发个性化语言模型存在的障碍问题。

一种基于特征融合的医疗病例实体识别方法

在医学领域,传统的命名实体识别方法在医疗病历实体识别过程中,存在文本提取特征单一及不充分等问题,导致模型识别精准度不高。针对此问题,文章提出一种基于语义、词序、BER T预训练模型相结合的多特征融合提取方法。引入Word2vec对文本进行语义特征提取,利用Fasttext对文本的词序特征进行提取,通过BER T预训练模型获取词向量,解决Word2vec无法解决一词多义的问题。将多元特征向量融合,对相关数据的特征进行提取融合。通过卷积神经网络对融合特征进行再提取,得到更有价值的数据特征。最后通过双向长短时记忆神经网络结合条件随机场模型(BiLSTM-CRF)进行实体识别。实验结果表明:此方法在ChineseBLUE(cMedQANER)数据集上,其精准度、召回率、F1-Measure值等评价指标都有显著的提升。

基于知识增强的情感分析研究

提出了一种基于情感知识增强的情感分析算法,该算法借鉴了BERT的掩盖语言模型(MLM)并通过对情感词的加权预训练处理进行了改进,充分针对中文情感分析任务以及推荐系统来对词向量进行预训练,从而提高预测准确率。结果表明:该算法在情感分析的准确率上优于其他传统的方法,准确率提升了5%左右。