基于语言模型微调的跨领域依存句法分析

为提高跨领域依存句法分析性能,提出一种领域嵌入的半监督方法。该方法对于模型的所有输入添加一个领域信息,平衡源领域和目标领域对模型的贡献,与直接合并两个领域训练集相比,取得了约1.5%的提升。进而,通过预训练和微调两种方法将上下文相关的语言模型BERT应用到该任务中。与选择的三个目标领域目前最好的性能相比,均取得了提升。

基于贝叶斯网的跨领域情感分析方法

基于机器学习的情感分析依赖于充足的标签样本。针对标签样本不足以及情感分类器存在的领域适应性问题,提出一种基于贝叶斯网的跨领域情感分析方法。基于贝叶斯网,对源领域和目标领域构建局部特征模型;研究局部特征模型的融合方法并构建全局特征模型;基于全局特征模型建立情感知识的迁移方法并训练分类器。在Amazon数据集上进行实验,结果表明,该方法在一定程度上提高了目标领域文本的情感分类精度,以及分类器在目标领域中的适应性。

一种基于卷积神经网络的跨领域情感分析

文本情感分析就是分析主观文本的情感倾向.针对情感分析中标签样本不足以及不同领域中情感表达存在差异的问题,提出一种基于卷积神经网络的跨领域情感分析方法,利用源领域标签样本完成对目标领域的无监督情感分析.首先,量化词项的情感极性、基于词向量度量词项的领域一致性,并在此基础上选择情感强烈且语义一致的词项作为领域间的共享词;然后,采用卷积神经网络提取文本特征,基于共享词的极性对源领域情感文本进行特征扩展;其次,基于扩展的文本完成情感分类器的训练,并对目标领域的情感文本进行分类;最后,在Amazon数据集上进行实验分析,实验结果表明该方法可以提高跨领域情感分类的准确率.

归纳式迁移学习在跨领域情感倾向性分析中的应用

在解决情感倾向性分析问题中,传统的监督学习和半监督学习都是在训练和测试所用的数据来自相同分布的假设基础之上的,但在很多情况下不能满足这样的假设,这就产生了跨领域的情感倾向性分析问题.在跨领域情感倾向性分析中,提出一种基于归纳式迁移学习的图模型,通过图模型建立源领域和目标领域数据之间的关联,使得源领域的数据通过图模型学习目标领域数据在特征和实例上的特点.同时,利用归纳式迁移学习方法使用少量的目标领域的已标注数据进行训练,从而提高了情感分类器在目标领域的分类准确率,极大地改进了跨领域情感倾向性分析的效果.在标准数据集上进行了实验,并与监督学习方法 SVM、半监督学习方向TSVM以及其它3种常用的迁移学习方法进行了对比,对比结果显示本文方法显著的高于SVM和TSVM,并在大多数数据集上优于其它3种迁移学习方法,实验结果表明该方法是有效的.

特征和实例迁移相融合的跨领域倾向性分析

在情感倾向性分析中,经常会发生由于领域知识的变化引起的分类精度下降的问题。为解决此类问题,该文提出了一种基于实例和特征相融合的知识迁移方法,首先通过三部图构建了源领域和目标领域的领域依赖特征词之间的关联,并得到一个公共的语义空间来对原有的向量空间模型进行重建,然后再通过带偏置的马尔科夫模型,建立源领域和目标领域实例之间的关联,从而有效的将源领域学习到的情感倾向性知识迁移到目标领域中,高于其它方法的实验结果验证了算法的有效性。

基于梯度数据选择的跨领域情感分析

情感分析研究往往依赖特定场景的大量标注数据,领域迁移会导致模型需要重新进行训练,因此跨领域情感分析任务应运而生。然而,目前跨领域情感分析方法大多考虑学习域的不变特征,或进行特征适应以处理源领域与目标领域的差距,并没有充分、高效地利用源领域数据,所以需要从数据迁移和利用的角度研究领域适应问题。不同于之前从源领域提取可迁移样本的启发式方法,提出一种通用的可学习的替代方法——梯度数据选择(GDS),可在训练过程中自动分配样本权重,由此使不可迁移的样本很容易在采样过程中被丢弃,而可迁移的样本会被更加频繁地采样到。在英文和中文两个数据集上进行实验,并将GDS应用到BERT、RoBERTa等模型进行通用性分析,实验结果证实了该方法的有效性。

改进枢轴特征选择的跨领域情感分类

对跨领域情感分类任务中因标签样本不足以及不同领域中特征分布差异大导致分类准确率低的问题进行研究,提出一种改进特征选择的跨领域情感分类模型(IPFS)。利用词形还原解决文本中构建词袋模型中的特征冗余的问题,通过卡方检验算法选择领域间具有相同表征的枢轴特征作为领域间共享的桥梁,结合神经网络模型,完成跨领域情感分类任务。实验结果表明,IPFS模型与现有的相关模型相比取得了更好的分类效果。

一种基于基准词的跨领域文本倾向性计算方法

常用的基于特征表达的跨领域文本倾向性分析的基本思想是通过统计的方法对源领域和目标领域的数据进行特征对齐,再根据特征间关联构建目标领域的分类器。从词汇倾向性计算入手,提出了一种基于领域基准词表的跨领域倾向性计算的方法。与传统的词汇倾向性计算方法不同的是,该方法在构建基准词表时,同时考虑词性和领域信息,在计算倾向性时,根据词汇当前的词性和领域信息采用相应的领域基准词表进行计算。实验结果表明:与传统的跨领域倾向性分析算法相比,虽然该方法在准确率上的优势不明显,但可以不依赖源领域和目标领域文本数据;与传统的基于基准词表的倾向性计算方法相比,该方法能够大幅提高倾向性分析的准确率。