基于BERT和TextCNN的智能制造成熟度评估方法

随着智能制造2025目标的临近,企业为了解自身能力水平纷纷加入到智能制造成熟度评估的行列中。然而,由于智能制造成熟度评估标准的复杂性,企业缺乏其对行业水平的了解,导致企业贸然申请,浪费自身时间的同时又占用大量评估资源。鉴于此,设计了一种新的评估流程,采用文本处理算法对整个评估过程进行了重构,通过利用国标文件中智能制造成熟度评估标准,将其作为训练集,采用基于预训练语言模型与文本神经网络(BERT+TextCNN)相结合的智能评估算法代替人工评估。在真实的企业智能制造数据集上的验证表明,当BERT+TextCNN评估模型在卷积核为[2,3,4]、迭代次数为6次、学习率为3e-5时,对智能制造成熟度进行评估,准确率达到85.32%。这表明所设计的评估方法能够较准确地帮助企业完成智能制造成熟度自评估,有助于企业了解自身智能制造能力水平,制定正确的发展方向。

基于深度学习的文本分类研究综述

与传统的机器学习模型相比,深度学习模型试图模仿人的学习思路,通过计算机自动进行海量数据的特征提取工作。文本分类是自然语言处理中的一个重要应用,在文本信息处理过程中具有关键作用。过去几年,使用深度学习方法进行文本分类的研究激增并取得了较好效果。文中简要介绍了基于传统模型的文本分类方法和基于深度学习的文本分类方法,回顾了先进文本分类方法并重点关注了其中基于深度学习的模型,对近年来用于文本分类的深度学习模型的研究进展以及成果进行介绍和总结,并对深度学习在文本分类领域的发展趋势和研究的难点进行了总结和展望。

基于文本图神经网络的小样本文本分类技术研究

为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进行分类,并验证新模型在多个文本分类数据集上的有效性。实验结果表明,与需要大量标注文档的监督学习方法相比,所采用的方法未标注文本的分类精度提高了1%~3%,在多个文本分类数据集上验证了新模型性能先进,内存占用更少。研究结果可为解决小样本文本分类问题提供参考。

FinBERT-RCNN-ATTACK:金融文本情感分析模型

金融文本包含投资者的情绪及公众对相关事件的态度。近年来,自然语言处理已广泛应用于金融领域,对金融文本数据进行情感分析可以得到丰富的投资价值和监管参考价值。然而由于金融词汇具有专业性和特殊性,现有的通用情感分析模型不适合金融领域情感分析任务,精确度有待提高,且现有模型易受到对抗样本的干扰导致模型结果出错。为了解决这些问题,提出了一个FinBERT-RCNN-ATTACK模型。利用在金融语料库预训练的FinBERT模型进行词嵌入处理,提取语义特征,将提取到的特征引入RCNN模型进一步挖掘上下文的关键特征,并且在模型中引入对抗训练,即在嵌入阶段添加扰动,提高模型的鲁棒性和泛化性。实验结果表明,在金融领域数据集上,提出的模型优于其他情感分析模型,精准度提升了3%~35%。

导数推广的拉格朗日插值公式及其在密文训练神经网络中的应用

拉格朗日多项式插值公式被用于经过若干点的未知函数的多项式刻画,也被用于对已有的非多项式函数进行多项式函数逼近,在许多领域有着广泛的应用。本文探索了拉格朗日多项式插值公式在导数情况下的一般性推广。推广的多项式插值公式不仅可以在插值点的函数值逼近目标函数,同时也能在插值点的变化趋势上对目标函数进行逼近。在已知插值点上给定某个阶数以内导数的情况下,能够使用推广的拉格朗日多项式插值公式获得对目标函数的深度多项式逼近。实验结果表明,用导数推广拉格朗日多项式代替逻辑回归函数重新构建的密文神经网络的训练准确率更高,均方误差更小。扩展后的拉格朗日多项式插值公式能够适用于更一般的场景。

基于RoBERTa-RCNN和注意力池化的新闻主题文本分类

针对中文新闻主题因缺乏上下文信息而造成语义模糊和用词规范性不高的问题,提出一种基于RoBERTa-RCNN和多头注意力池化机制的新闻主题文本分类方法。利用数据增强技术对部分训练数据进行回译处理,再通过自编码预训练模型和RCNN对文本进行初步和深度的特征提取,并结合多头注意力思想改进最大池化层。该方法采用融合机制,改善了RCNN中最大池化策略单一和无法进行动态优化的缺陷。在三个新闻主题数据集上进行实验,使用更适用于新闻主题分类的Mish函数代替ReLU函数,并利用标签平滑来解决过拟合问题。结果表明,所提方法相比传统分类方法效果突出,并通过消融实验验证了模型在分类任务上的可行性。

基于深度学习的监控简报文本分类研究

电厂监控系统简报的准确分类对水电站智能化发展具有重要的推进作用。自然语言处理(natural language processing, NLP)技术是目前实现文本知识挖掘的重要方法,知识挖掘的深度和精度是该类方法的重要衡量指标。为了实现智能化、高效率的运行监盘,本文利用流域某电站监控系统简报数据集,结合神经网络和预训练模型对文本分类任务进行构建与微调,通过比较类CNN模型、类RNN模型、Bert与ERNIE等类预训练模型的效果差异,最终发现Text RNN_Attention在准确性与训练速度上优于其他模型,其准确率Acccracy值、宏观平均F1值与加权F1值分别可达到0.991 3、0.984 6与0.991 3。

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域,由于文本分类标注数据的稀缺,相关研究工作进展缓慢.为了充分利用有限的标注数据,更有效地挖掘出文本之间的关系,本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model,CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks,GCN)层,得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验,分类准确率达到73.51%,远优于其他基线模型;同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明,该文提出的模型能够结合预训练词向量和图神经网络的优势,显著提高藏文文本分类的准确率.

基于对抗训练与词性推理的文本情感分析

针对现有的方面级情感分析方法忽略或没有充分提取句子长距离依赖关系和上下文信息,以及模型鲁棒性和泛化能力较低等问题,提出了一种基于投影梯度下降(PGD)对抗训练和词性推理的方面级情感分析模型PGDBD。首先利用PGD攻击让模型对抗训练,进行正则化处理,增强模型的泛化能力;其次使用BERT生成的词向量取代深层金字塔卷积神经网络(DPCNN)模型本身的词向量,BERT能够捕捉句子中更长距离的依赖关系;最后,通过词性推理层提取方面词附近重要的局部特征,利用DPCNN对全局特征进行提取,获取更全面的上下文信息;将局部特征和全局特征进行融合,构成基于对抗训练和词性推理的情感分类模型。通过在4个公共数据集上进行实验,结果表明该模型的性能相较于其他基线模型有明显的提升。

基于子事件的对话长文本情感分析

传统的情感分析方法主要针对句子、微博等形式的短文本,而对话长文本具有篇幅长、对话双方情感不同且情感易随对话发生变化等特点,使对话长文本中用户多重情感集成困难、情感分析任务精度低.为此,提出子事件交互模型TSI(Topic Subevents Interaction)、预训练模型ERNIE(Enhanced Language Representation with Informative Entities)和循环卷积神经网络(Recurrent Convolutional Neural Networks,RCNN)相结合的对话长文本情感分析模型(TSIwith ERNIE-RCNN,TER).该模型通过动态滑动窗口抽取子事件,保留文本关键特征,降低文本冗余度,基于抽取的子事件分析对话双方的情感来识别情感主体,并集成各子事件的情感特征来解决对话双方情感不一致的问题.在真实数据上的实验结果表明,TER的精确率、召回率与F1均优于现有模型.

多模态预训练模型综述

预训练模型(PTM)通过利用复杂的预训练目标和大量的模型参数,可以有效地获得无标记数据中的丰富知识。而在多模态中,PTM的发展还处于初期。根据具体模态的不同,将目前大多数的多模态PTM分为图像‒文本PTM和视频‒文本PTM;根据数据融合方式的不同,还可将多模态PTM分为单流模型和双流模型两类。首先,总结了常见的预训练任务和验证实验所使用的下游任务;接着,梳理了目前多模态预训练领域的常见模型,并用表格列出各个模型的下游任务以及模型的性能和实验数据比较;然后,介绍了M6(Multi-Modality to Multi-Modality Multitask Mega-transformer)模型、跨模态提示调优(CPT)模型、VideoBERT(Video Bidirectional Encoder Representations from Transformers)模型和AliceMind(Alibaba’s collection of encoder-decoders from Mind)模型在具体下游任务中的应用场景;最后,总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。

基于并行卷积网络信息融合的层级多标签文本分类算法

自然语言处理是人工智能与机器学习领域的重要方向,它的目标是利用计算机技术来分析、理解和处理自然语言。自然语言处理的一个重点研究方向是从文本内容中获取信息,并且按照一定的标签体系或标准将文本内容进行自动分类标记。相比于单一标签文本分类而言,多标签文本分类具有一条数据属于多个标签的特点,使得更难从文本信息中获得多类别的数据特征。层级多标签文本分类又是其中的一个特别的类别,它将文本中的信息对应划分到不同的类别标签体系中,各个类别标签体系又具有互相依赖的层级关系。因此,如何利用其内部标签体系中的层级关系更准确地将文本分类到对应的标签中,也就成了解决问题的关键。为此,提出了一种基于并行卷积网络信息融合的层级多标签文本分类算法。首先,该算法利用BERT模型对文本信息进行词嵌入,接着利用自注意力机制增强文本信息的语义特征,然后利用不同卷积核对文本数据特征进行抽取。通过使用阈值控制树形结构建立上下位的节点间关系,更有效地利用了文本的多方位语义信息实现层级多标签文本分类任务。在公开数据集Kanshan-Cup和CI企业信息数据集上的结果表明,该算法在宏准确率、宏召回率与微F1值3种评价指标上均优于主流的TextCNN,TextRNN,FastText等对比模型,具有较好的层级多标签文本分类效果。

基于网页图像分类的自动化网页正文抽取模型

运用卷积神经网络技术提出一种基于网页图像分类的自动化网页正文抽取模型(I-AWCE)。通过分析现有网页类型及网页正文在网页中的位置和结构特点,将网页分为文章网页和列表网页。根据网页截屏图像在卷积神经网络模型中的分类结果,分别提出两种基于多特征融合的网页正文提取方法。实验结果表明,网页图像数据集在LeNet-5和预训练模型的效果最好;与Boilerpipe抽取模型相比,基于图像分类的自动化网页正文抽取模型具有较高的准确性,可以满足网页正文自动化抽取的实际需要。

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。

基于知识图谱与BERT的安全领域汉字文本纠错模型

针对安全领域所涉及的文本中存在大量人为混淆的文字的问题,提出一种基于汉字知识图谱的BERT(Bidirectional Encoder Representation from Transformers)预训练模型,表征汉字的读音、字形、语义三个维度的特征,构建纠错算法。首先,构建汉字知识图谱刻画汉字的读音、字形拆解、繁简转换、汉字与数字转换等属性和关系,并基于汉字知识图谱中的读音属性和node2vec模型训练得到汉字读音向量;其次,基于知识图谱中字形关系构建node2vec模型,得到node2vec字形向量,并结合卷积神经网络(CNN)方法训练字形向量,两者之和作为最终的字形向量;最后,基于BERT预训练模型,融合读音、字形、语义三维度的向量,并在不同维度间使用自注意力机制加权求和,发现错误字位置并选择正确的候选字。为验证所提模型的有效性,在安全领域诈骗短信数据集上,将所提模型与FASpell、SpellGCN、Soft-Masked BERT进行了对比。实验结果表明,所提模型的正确率和召回率比FASpell分别提升了24.7、21.6个百分点,比SpellGCN分别提升了22.2、13.7个百分点,比Soft-Masked BERT分别提升了20.8、32.7个百分点。可见该纠错模型能够有效识别安全领域文本的错字,在网络诈骗文本分类、要素提取等下游任务中有较好的效果。

人工神经网络在文本分类中的应用

给出一种基于多层前馈神经网络的中文文本分类模型,介绍了该模型的设计和实现。对于文本分类的核心训练算法,给出主要步骤的推导过程;最后给出了神经网络模型分类性能的测试结果。

文本分类的神经网络模型

给出一种与文档段落结构相关联的文本分类神经网络模型。描述神经网络的训练算法,包括正向传播算法和反向修正算法。对于算法的主要步骤,给出了更详细计算方法。最后给出了神经网络模型性能测试结果。

隐藏层与文档段落相关的神经网络分类器

文本分类是数据挖掘的重要课题,它是获取信息资源的重要方式之一。根据对具有主题的大量文本的分析,基于神经网络的文本分类器在网络结构上,与文档的标题和段落结构之间建立了严格的对应关系。比较仔细地描述了神经网络的训练算法,包括正向传播算法和反向修正算法,对于算法的主要步骤,给出较详细计算方法。对基于神经网络的文本分类器的测试表明,该神经网络模型参数设置比较简单,其文本分类性能良好。

基于文本识别的图书智能管理

针对图书馆馆藏书籍的管理和查找带来的大量繁琐手工工作,提出基于书脊文本自动识别和定位的智能图书管理方法。该方法采用神经网络技术搭建文本识别模型对海量书架上的书脊文本进行自动识别,并基于自动识别出的图书信息搭建馆藏图书的数据库,为实现对馆藏图书的智能检索提供可靠的数据支持。所设计的文本识别模型,在考虑包括图像失真和各种光照等条件的基础上,利用监督学习的训练模型来加速神经网络的训练,并在几个基准数据集上达到最先进的性能。通过实验表明,所提出图书智能管理方法具有较好的文本识别准确率和检索正确率,能够帮助图书馆大大减少管理书籍库存所需的体力劳动。