基于RoBERTa模型的书评识别系统设计

随着网络平台的快速发展,人们越来越多地使用网络平台开展学习办公、休闲娱乐等活动。在这些活动过程中,用户难以避免地会发布一些主观性的、带有情感色彩的评论。这些评论直观地体现出了用户对某一事物的偏好,网络平台运营者如果能根据用户的喜好进行推荐,可以极大地增强用户体验,提高客户黏性。基于此提出并实现了一套书评情感极性分析系统。首先,通过Python爬虫抓取线上图书评论。然后,对评论数据进行清洗,并标注评论情感极性。最后,通过处理好的数据集进行RoBERTa模型训练,并对线上图书的全部评论进行情感的分类。实验结果表明,设计的系统不仅可以统计正面评论和负面评论的数量占比,还能建立了一套精品图书推荐机制,辅助平台进行线上图书推荐。

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著提升,相较于最优对比模型最高分别提升4.7%和5.3%。

基于RoBerta的立场检测与趋势预测模型设计

立场检测任务通过自然语言处理技术,分析出文本内容对目标话题的立场倾向。本文提出的立场检测模块从文件系统取“文本数据”,而后根据预先设定的字典,将文本中的文字和文字在字典中对应的数字进行映射,形成数字序列。将数字序列输入已预训练好的RoBERTa模型,得到数字序列的特征表示,将特征表示输入分类器进行立场识别。最后将立场分值附加到最初的文本数据后面,形成“文本+立场”新的数据结构,并根据控制台的指令送往分析模块。通过与现有的BERT模型、Ernie2.0+BiLSTM模型进行对比,采用的RoBERTa模型能够提升立场检测的准确度,这体现出了在立场检测任务中RoBERTa模型的优越性,印证了本系统所采用的技术方案的合理性。

融合RoBERTa的多尺度语义协同专利文本分类模型

针对静态词向量工具(如word2vec)舍弃词的上下文语境信息,以及现有专利文本分类模型特征抽取能力不足等问题,提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型。RoBERTa能够学习到当前词符合上下文的动态语义表示,解决静态词向量无法表示多义词的问题。多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征,再由双向内置注意力简单循环单元进行不同层次的上下文语义建模,将多尺度输出特征进行拼接,由注意力机制对分类结果贡献大的关键特征分配更高权重。在国家信息中心发布的专利文本数据集上进行验证,与ALBERT-BiGRU和BiLSTM-ATT-CNN相比,RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7%和5.1%,大类级专利的分类准确率分别提升了6.7%和8.4%。结果表明,RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率。

基于融合模型与语义网络的App用户意图识别研究

随着手机应用软件的流行,应用市场上出现了大量非结构化的中文用户评论。基于用户评论识别App用户意图,可以帮助开发人员对App软件进行有针对性的维护和改善。为了从中准确识别用户意图,提出一种基于融合模型和语义网络的App用户意图识别方法FSAUIR。使用百度工具Senta判断评论的情感倾向,构建基于RoBERTa的融合意图分类模型RBMS,通过RoBERTa模型将用户评论转化为语义特征表示,并将其输入到双向门控循环单元中,以提取评论的全局上下文语义信息,同时利用多头自注意力机制和SoftPool获取关键的特征信息,保留主要特征,通过Softmax进行归一化处理,得到意图分类结果。在意图分类的基础上,引入PositionRank模型提取各意图类别下评论的关键词,计算关键词之间的共现关系,构建关键词语义网络,从而更细粒度地识别用户意图。实验结果表明,相比BERT、RoBERTa、RoBERTa-CNN等模型,RBMS模型在人工标注数据集上具有较优的分类性能,准确率、精确率、召回率、F1值分别为87.75%、88.09%、87.80%、87.88%。此外,在意图分类的结果集中,FSAUIR构建的语义网络可以高效地挖掘出用户评论中有价值的信息。

基于RoBERTa多特征融合的棉花病虫害命名实体识别

针对棉花病虫害文本语料数据匮乏且缺少中文命名实体识别语料库,棉花病虫害实体内容复杂、类型多样且分布不均等问题,构建了包含11种类别的棉花病虫害中文实体识别语料库CDIPNER,提出了一种基于RoBERTa多特征融合的命名实体识别模型。该模型采用掩码学习能力更强的RoBERTa预训练模型进行字符级嵌入向量转换,通过BiLSTM和IDCNN模型联合抽取特征向量,分别捕捉文本的时序和空间特征,使用多头自注意力机制将抽取的特征向量进行融合,最后利用CRF算法生成预测序列。结果表明,该模型对于棉花病虫害文本中命名实体的识别精确率为96.60%,召回率为95.76%,F1值为96.18%;在ResumeNER等公开数据集上也有较好的效果。表明该模型能有效地识别棉花病虫害命名实体且具有一定的泛化能力。

基于对比学习与梯度惩罚的实体关系联合抽取模型

针对使用全局指针网络进行实体关系抽取时特征信息不明显的实体关系类型数据稀疏问题,以及数据中存在的类别不平衡和错误标注问题,提出一种基于对比学习和梯度惩罚方法并使用改进的RoBERTa预训练模型的实体关系联合抽取模型,在阿里天池中文医疗信息处理评测基准数据集CBLUE2.0上进行实验的结果表明,该模型相比全局指针网络效果更优,能更有效完成复杂数据的实体关系抽取.

基于RoBERTa-CNN-BiLSTM-CRF的高中数学知识实体识别

命名实体识别是自然语言处理中的一个重要研究步骤,也是自然语言中许多下游任务的前置任务。传统的命名实体识别方法通常采用简单线性或非线性模型进行识别,实体识别的准确率不高。随着深度学习的引入,能够处理更为复杂的非线性问题,使用神经网络模型来提高实体识别的准确率。本文提出一种基于RoBERTa-CNN-BiLSTM-CRF模型,用于高中数学知识实体的识别任务。首先利用RoBERTa模型中的双向Transformer编码层对数据的特征进行提取与分析生成相应的词向量,然后利用卷积神经网络(CNN)中的卷积层和池化层实现降维操作,提取句子中的局部特征,最后构建适合高中数学知识点实体识别的LSTM-CRF模型进行训练和处理。经过实验表明,该模型具有较高的准确性。准确率、召回率和F1分别达到94.32%、94.58%和94.45%。

一个实体关系与事件抽取的通用模型

信息提取的目的是从自然语言文件中找到具体信息,现有研究在信息抽取的实体关系和事件抽取任务中仅解决事件论元重叠和实体关系重叠的问题,未考虑两个任务共有的角色重叠问题,导致抽取结果准确率降低。提出一个两阶段的通用模型用于完成实体关系抽取和事件抽取子任务。基于预训练语言模型RoBERTa的共享特征表示,分别对实体关系/事件类型和实体关系/事件论元进行预测。将传统抽取触发词任务转化为多标签抽取事件类型任务,利用多尺度神经网络进一步提取文本特征。在此基础上,通过抽取文本相关类型的事件论元,根据论元角色的重要性对损失函数重新加权,解决数据不平衡、实体关系抽取和事件抽取中共同存在论元角色重叠的问题。在千言数据集中事件抽取和关系抽取任务测试集上的实验验证了该模型的有效性,结果表明,该模型的F1值分别为83.1%和75.3%。

基于预训练模型融合深层特征词向量的中文文本分类

为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况,提出一种基于预训练模型(Roberta)融合深层特征词向量的深度神经网络模型,处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量,使用DPCNN模型和改进门控模型(RGRU)对词向量进行特征提取和融合,得到含有深层结构和局部信息的特征词向量,将句子向量与特征词向量融合在一起得到新向量。最后,新向量经过softmax激活层后,输出结果。在实验结果中,以F1值、准确率、召回率为评价标准,在THUCNews长文本中,这些指标分别达到了98.41%,98.44%,98.41%。同时,该模型在短文本分类中也取得了很好的成绩。

基于BM25-RoBERTa的法律案例检索研究

法律案例检索是根据用户给定的查询范围在相应的候选案例中进行检索与查询出具有相似描述的法律案例。由于法律文本区别于普通短文本,采用传统的检索模型无法检索到更精准的法律案例。针对上述问题,提出了基于BM25和RoBERTa的法律案例检索模型BM25-RoBERTa,该模型将传统的检索模型与神经检索相结合以获得更好的排序结果。实验结果表明,文中提出的模型在处理法律案例检索任务时表现良好。

基于图卷积神经网络和RoBERTa的物流订单分类

订单信息贯穿于物流供应链的所有环节,高效的订单处理是保障物流服务质量和运营效率的关键。面对日益增长的差异化客户物流订单,人工对订单分类费时、低效,难以满足现代物流要求的效率标准。为了提升物流订单分类的性能,该文提出了一种基于图卷积神经网络(graph convolution network,GCN)和RoBERTa预训练语言模型的订单分类方法。首先,基于物流订单文本的抽象语义表示(abstract meaning representation,AMR)结果和关键词构建全局AMR图,并使用图卷积神经网络对全局AMR图进行特征提取,获取订单文本的全局AMR图表示向量;其次,基于AMR算法构建物流订单文本分句的局部AMR图集合,然后使用堆叠GCN处理图集合得到订单文本局部AMR图表示向量;再次,使用RoBERTa模型处理物流订单文本,得到文本语义表示向量;最后,融合三种类型的文本表示向量完成物流订单分类。实验结果表明:该方法在多项评价指标上优于其他基线方法。消融实验结果也验证了该分类方法各模块的有效性。

基于BERTopic主题模型融合RoBERTa算法的短文本分类方法研究

[目的/意义]针对短文本分类中的稀疏问题,提出一种基于BERTopic-RoBERTa-PCA-CatBoost模型进行主题概率特征扩展的短文本分类方法。[方法/过程]使用RoBERTa模型获取短文本的词向量表示,使用BERTopic主题模型提取主题概率特征向量,二者融合进行特征扩展,最后通过CatBoost算法分类。[局限]在分类层面,未使用深度学习算法进行验证;在特征融合层面,未来可以考虑其他的特征融合方法。[结果/结论]提出的BERTopic-RoBERTa-PCACatBoost模型与LDA-CatBoost模型相比在准确率上提升10.90%,精确率上提升10.91%,召回率上提升10.68%。基于主题概率特征扩展的短文本分类方法能够克服单一模型的不足,提高短文本分类的效果。

基于RoBERTa-BiLSTM-CRF的简历实体识别

命名实体识别是自然语言处理中一个重要的研究领域,也是诸多自然语言下游任务的一个前置研究。针对简历实体识别任务,提出了一种基于RoBERTa-BiLSTM-CRF模型的解决方案。首先使用RoBERTa预训练语言模型对输入的简历语句进行切分,得到字词的上下文信息并对词的语义向量进行表征,然后将得到的词向量输入BiLSTM-CRF模型进行训练。实验结果表明,该模型可以高效且准确地将简历中预先设定的实体进行抽取,可以极大地提升相关从业者的工作效率。

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(proximity-weighted convolutional network,PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(gated Tanh-Relu unit,GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F 1达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。

基于RoBERTa和多层次特征的中文事件抽取方法

针对中文事件抽取中语义表征不充分、特征提取不全面等问题,提出一种基于RoBERTa和多层次特征的中文事件抽取方法。通过RoBERTa预训练模型构建字向量,并基于词性标注和触发词语义信息融入进行字向量扩展;其次使用双向长短时记忆网络和卷积神经网络抽取全局特征和局部特征,并通过自注意力机制捕捉不同特征之间的关联,加强对重要特征的利用;最后通过条件随机场实现BIO序列标注,完成事件抽取。在DuEE1.0数据集上,触发词抽取和事件论元抽取的F1值达到86.9%和68.0%,优于现有常用事件抽取模型,验证了该方法的有效性。

基于RoBERTa与字词融合的电子病历命名实体识别方法研究

为了提高所抽取电子病历文本中语义信息的准确性,提出基于RoBERTa与字词融合的电子病历命名实体识别算法.采用预训练模型RoBERTa得到充分考虑上下文信息的字向量;然后对文本进行分词处理,再通过Word2Vec得到词向量;最后将两者进行融合传入双向长短记忆神经网络BiLSTM中进行训练,经过条件随机场CRF进行预测输出.在电子病历数据集上进行的对比实验表明,在采用3个评价指标的情况下,文中算法均明显优于经典的电子病历命名实体识别方法.

基于RoBERTa和多头注意力的简历命名实体识别方法

针对传统简历实体识别存在一词多义和训练时间长的问题,提出了一种新的简历命名实体识别模型。通过RoBERTa预训练模型获取具有上下文关系的字向量,结合BiGRU和多头注意力机制(Multi-head Attention,MHA)层提取全局信息和局部相关性信息,采用CRF层修正解码确定最终标签,同时裁剪RoBERTa预训练模型。实验表明,该模型在中文电子简历数据集取得95.97%的F 1值,高于其他主流模型,且相较于未剪枝的模型提升0.43%,减少1/5训练时间。

基于混合注意力机制的中文机器阅读理解

预训练语言模型在机器阅读理解领域具有较好表现,但相比于英文机器阅读理解,基于预训练语言模型的阅读理解模型在处理中文文本时表现较差,只能学习文本的浅层语义匹配信息。为了提高模型对中文文本的理解能力,提出一种基于混合注意力机制的阅读理解模型。该模型在编码层使用预训练模型得到序列表示,并经过BiLSTM处理进一步加深上下文交互,再通过由两种变体自注意力组成的混合注意力层处理,旨在学习深层语义表示,以加深对文本语义信息的理解,而融合层结合多重融合机制获取多层次的表示,使得输出的序列携带更加丰富的信息,最终使用双层BiLSTM处理输入输出层得到答案位置。在CMRC2018数据集上的实验结果表明,与复现的基线模型相比,该模型的EM值和F1值分别提升了2.05和0.465个百分点,能够学习到文本的深层语义信息,有效改进预训练语言模型。

如何识别欺骗性垃圾邮件的分析研究

近年来,电商平台收集的客户商品反馈邮件中常包含欺骗性内容,严重干扰了电商平台的商品质量监管工作。为解决这一问题,本文比较了三种针对欺骗性意见垃圾邮件的特征提取方法,并构建了一个包含负面情绪评论的欺骗性意见垃圾邮件数据集。基于该数据集的实验结果表明,RoBERTa 语言模型能够提取更深层次的文本特征,结合常见的文本分类技术,即可有效检测负面的欺骗性意见。RoBERTa 模型展现了最佳的整体性能,对欺骗性意见垃圾邮件的过滤具有重要价值。