基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著提升,相较于最优对比模型最高分别提升4.7%和5.3%。

基于Transformer的微博文本情感分析方法

论文利用Transformer模型中的自注意力机制,模拟人脑神经系统对微博文本进行特征提取,利用TextCNN层将经过Transformer的词向量进行卷积,得到相邻词向量之间的时序信息,经过Tanh激活函数对模型进行优化,最后将卷积层得到的时序注意力权重应用于文本分类。实验结果证明,论文提出的模型在NLP&CC2013数据集上的准确率相对于Transformer模型有了0.38%的提高,并且在精确率、召回率和F1值上也有一定程度的提升。

基于Transformer及多任务学习的电信网络诈骗识别

针对现有电信诈骗信息识别模型中识别分类不充分、语义关联不全面,较少考虑诈骗语义信息及诈骗目的等情况,提出一种融合Transformer及多任务学习的电信网络诈骗识别模型。在模型构建时,通过文本分词及词嵌入实现文本信息的向量化,针对诈骗信息分类问题提出一种固定位置编码技术,通过典型的Transformer架构建立encode-only模型,将生成式文本模型转化为判别式模型,最后运用多任务学习模型,建立基于Transformer的文本理解及文本分类2种模态的多任务学习模型,通过将文本理解知识共享给文本分类模型,实现了多任务识别模型泛化能力的大幅提升。基于某通信企业收集的诈骗信息数据,构建电信网络诈骗识别模型。实验结果表明,相较于其他识别模型,上述模型能够较好地理解文本语义内容信息,实现诈骗信息的有效识别,诈骗语义识别准确率达到94%以上。

基于指针生成网络和扩展Transformer的多属性可控文本摘要模型

模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外单词等问题.为此,本文提出了一种基于扩展Transformer和指针生成网络(pointer generator network,PGN)的模型.模型中的扩展Transformer将Transformer单编码器-单解码器的模型形式扩展成具有双重文本语义信息提取的双编码器和单个可融合指导信号特征的解码器形式.然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表生成新的摘要信息,以解决摘要任务中常出现的OOV(out of vocabulary)问题.此外,为高效完成位置信息编码,模型在注意力层中使用相对位置表示来引入文本的序列信息.模型可以用于控制摘要的许多重要属性,包括长度、主题和具体性等.通过在公开数据集MACSum上的实验表明,相较以往方法,本文提出的模型在确保摘要质量的同时,更加符合用户给定的属性要求.

基于Transformer模型的中文文本生成方法研究

文章研究了基于Transformer模型的中文文本生成方法,重点探讨了Transformer模型的编码器-解码器结构及其工作原理。在详细分析了编码器和解码器的工作机制后,文章利用Hugging Face Transformers开源模型进行了中文文本生成实验。结果表明,该方法在自制数据集上取得了良好的效果,其准确率、精确率和召回率分别达到92.5%、91.8%和90.6%。该研究不仅拓展了中文自然语言处理的理论基础,还为实际应用提供了高效的技术支持。

基于改进Transformer模型的文本摘要生成方法

传统的文本摘要方法,如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等,在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷,以及文本摘要生成的准确率和流畅度的问题。对此,提出了一种动态词嵌入摘要生成方法。该方法基于改进的Transformer模型,在文本预处理阶段引入先验知识,将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征,结合此词对应当句的文本句向量拼接生成输入文本矩阵,将文本矩阵输入到Encoder生成固定长度的文本向量表达,然后通过Decoder将此向量表达解码生成目标文本摘要。实验采用Rouge值作为摘要的评测指标,与其他方法进行的对比实验结果表明,所提方法所生成的文本摘要的准确率和流畅度更高。

融合方向感知Transformer的目标情感分析

基于目标的情感分析(Target-Based Sentiment Analysis)是情感分析领域最具有挑战性的课题之一,需要同时解决目标提取和特定目标情感分析两个子任务.现有研究工作仍存在两个问题:第一,模型无法充分利用目标边界和情感信息;第二,普遍采用长短期记忆网络提取特征,无法捕抓输入句子的内部关系.为了解决上述问题,本文通过引入方向感知的Transformer,提出一种基于双辅助网络的目标情感分析模型DNTSA(Dual-assist Network based model for Target Sentiment Analysis),其核心思想是使用方向感知的Transformer作为特征提取器有效对齐多个目标词和情感词的内在联系,通过双辅助网络进一步增强模型的情感识别和目标提取能力.本文提出的方法在Laptop,Restaurant,Twitter 3个公开数据集上对比基准方法E2E-TBSA分别提升了2.3%,1.8%,3.9%的F1值.

基于Transformer和重要词识别的句子融合方法

句子融合是为多个句子生成言简意赅、符合语法的句子,可应用到自动摘要、复述生成等自然语言处理任务。目前句子融合方法已取得一定成效,但还存在重要信息缺失、语义偏离原句等问题。该文提出基于Transformer和重要词识别的方法来缓解上述问题。该方法包括两个模块,(1)重要词识别模块:利用序列标注模型识别原句重要词;(2)句子融合模块:将重要词与原句输入到Transformer框架并利用BERT进行语义表示,然后在全连接层引入基于原句和词表获得的向量作为先验知识进行句子融合。基于NLPCC2017摘要任务集构建句子融合数据集,并进行相关实验,结果表明所提方法的性能明显优于基线系统。

基于Transformer和VAE的汽车新闻文本生成研究

针对汽车新闻领域的文本生成任务,对语料库存在的问题提出系统性的解决方法,并提出一个Transformer融合变分自编码器(variational auto-encoder, VAE)的文本生成模型。该模型采用基于Transformer的预训练-微调的方法,在解码阶段加入VAE辅助文本生成。与加入注意力(attention)机制的长短时记忆(long short-term memory, LSTM)网络模型以及Transformer模型的对比实验结果验证了方法的有效性,文本生成实例表明,通过该方法生成的句子表达更加丰富,更贴近人类的自然语言。

面向文本分类的transformer-capsule集成模型

针对浅层的单模型文本分类算法不能很好地提取到文本序列多层次特征的问题,提出一种transformer-capsule集成模型,分别利用胶囊网络(capsule network)和transformer来提取文本的局部短语特征和全局语义特征,通过集成的形式更全面地得到文本序列的多层次特征表示。此外,针对传统胶囊网络动态路由时存在部分噪音胶囊干扰的问题,提出基于注意力机制的动态路由算法,赋给噪音胶囊较小的权重,减少传递给后续胶囊的干扰信息,实验证明该机制能有效提高分类性能。选取文本分类通用语料库中4个单标签数据集和1个多标签Reuters-21578数据集进行实验,取得了较好的实验结果,其中在Reuters-21578上F1值相比Capsule-B模型提升了3.6%,达到了89.4%。

结合Transformer模型与深度神经网络的数据到文本生成方法

数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。

基于Transformer的改进短文本匹配模型

短文本匹配是自然语言处理领域中的一个核心问题,可应用于信息检索、问答系统、复述问题等任务.过去的工作大多在提取文本特征时只考虑文本内部信息,忽略了两个文本之间的交互信息,或者仅进行单层次交互.针对以上问题,提出一种基于Transformer改进的短文本匹配模型ISTM.ISTM模型以DSSM为基本架构,利用BERT模型对文本进行向量化表示,解决Word2Vec一词多义的问题,使用Transformer编码器对文本进行特征提取,获取文本内部信息,并考虑两个文本之间的多层次交互信息,最后由拼接向量推理计算出两个文本之间的语义匹配度.实验表明,相比经典深度短文本匹配模型,本文提出的ISTM模型在LCQMC中文数据集上表现出了更好的效果.

基于Transformer解码的端到端场景文本检测与识别算法

针对任意形状的场景文本检测与识别,提出一种新的端到端场景文本检测与识别算法。首先,引入了文本感知模块基于分割思想的检测分支从卷积网络提取的视觉特征中完成场景文本的检测;然后,由基于Transformer视觉模块和Transformer语言模块组成的识别分支对检测结果进行文本特征的编码;最后,由识别分支中的融合门融合编码的文本特征,输出场景文本。在Total-Text、ICDAR2013和ICDAR2015基准数据集上进行的实验结果表明,所提算法在召回率、准确率和F值上均表现出了优秀的性能,且时间效率具有一定的优势。

面向混叠文字检测的单向投影Transformer方法

针对基于分割的文字检测方法在混叠文字场景下性能下降的问题,提出了单向投影Transformer(SDPT)用于混叠文本检测。首先,使用深度残差网络(ResNet)和特征金字塔网络(FPN)提取并融合多尺度特征;然后,利用水平投影将特征图投影成向量序列,并送入Transformer模块进行建模,以挖掘文本行与行之间的关系;最后,使用多目标来进行联合优化。在合成数据集BDD-SynText和真实数据集RealText上进行了大量实验,结果表明,所提SDPT在高混叠度的文字检测下取得了最优的效果,而与PSENet等文本检测算法在相同骨干网络(ResNet50)条件下相比,在BDD-SynText上F1-Score(IoU75)至少提高了21.36个百分点,在RealText上的F1-Score(IoU75)至少提高了18.11个百分点,验证了所提方法对于混叠文字检测性能改善的重要作用。

融合指针网络的Transformer摘要生成模型的改进

针对传统引入注意力机制的Encoder-Decoder模型在摘要生成任务上存在文字冗余、表述不一致、非登录词(out of vocabulary,OOV)等问题,而导致生成摘要准确性较差,对可嵌入文本位置信息的Transformer模型进行了改进。提出引入指针网络帮助解码,利用指针网络生成文本的优势生成摘要,并在LCSTS中文短文本摘要数据集上验证了该模型的有效性。结果表明:改进后的Transformer模型在ROUGE评分上比基准模型平均高出2分,在保证摘要与输入文本一致性的同时,其生成内容的显著性和语言的流畅性提升明显。

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖(OOV)的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。

基于Transformer模型的中文文本自动校对研究

提出将Transformer模型应用于中文文本自动校对领域。Transformer模型与传统的基于概率、统计、规则或引入BiLSTM的Seq2Seq模型不同,该深度学习模型通过对Seq2Seq模型进行整体结构改进,从而实现中文文本自动校对。通过使用公开数据集对不同模型进行对比实验,采用准确率、召回率与F1值作为评价指标,实验结果表明,Transformer模型相比较于其他模型,在中文文本自动校对的性能上有了大幅提升。

基于BERT字向量和TextCNN的农业问句分类模型分析

【目的】研究不同词向量和深度学习模型组合对农业问句分类结果的影响,为构建农业智能问答系统提供技术支撑。【方法】通过爬虫获取农业种植网等网站的问答数据,选择20000条问句进行人工标注,构建农业问句分类语料库。采用BERT对农业问句进行字符编码,利用文本卷积神经网络(TextCNN)提取问句高维度特征对农业问句进行分类。【结果】在词向量对比实验中,BERT字向量与TextCNN结合时农业问句分类F1值达93.32%,相比Word2vec字向量提高2.1%。在深度学习模型的分类精度对比方面,TextCNN与Word2vec和BERT字向量结合的F1值分别达91.22%和93.32%,均优于其他模型。在农业问句的细分试验中,BERT-TextCNN在栽培技术、田间管理、土肥水管理和其他4个类别中分类F1值分别为86.06%、90.56%、95.04%和85.55%,均优于其他深度学习模型。超参数设置方面,BERT-TextCNN农业问句分类模型卷积核大小设为[3,4,5]、学习率设为5e-5、迭代次数设为5时效果最优,该模型在数据样本不均衡的情况下,对于农业问句的平均分类准确率依然能达93.00%以上,可满足农业智能问答系统的问句分类需求。【建议】通过阿里NLP等开源平台提升数据标注质量;在分类过程中补充词频和文档特征,提高模型分类精度;农业相关政府职能部门加强合作,积极探索农业技术数字化推广和服务新模式。

基于注意力多分支卷积和Transformer的手写文本识别

手写体识别技术作为自动阅卷的关键一环受到广泛研究。针对中文手写文本字迹复杂的问题,提出一种文本定位和识别的手写汉字文本识别方法。在文本定位信息中使用透视变化纠正倾斜的文本,特征提取阶段使用注意力多分支卷积层提取文本图像关键区域特征以及多尺度特征融合,语义提取阶段通过时间卷积网络和Transformer编码器构建序列信息和建模上下文语义信息,最后以链接时序分类函数,实现序列特征和字符序列标签对齐。所提方法在公开数据集CASIA-HWDB上进行实验,结果表明,注意力分支卷积层和语义提取层有效提升算法性能,证明所提方法的可行性。

一种基于TextRank的单文本关键字提取算法

作为一种经典的文本关键字提取和摘要自动生成算法,TextRank将文本看做若干单词组成的集合,并通过对单词节点图的节点权值进行迭代计算,挖掘单词之间的潜在语义关系。在TextRank节点图模型的基础上,将马尔可夫状态转移模型与节点图相结合,提出节点间边权为条件概率的新模型生成算法TextRank_Revised。通过对有标记和无标记的验证集进行验证,证明新的算法在不提升时间复杂度的前提下,通过计算单文本得出的单词排序结果相较于原TextRank算法更加吻合人工对文档的关键字提取结果。