基于双向编码转换器和文本卷积神经网络的微博评论情感分类

对微博多分句的评论,ELMo-Text CNN、GPT等模型不能准确提取文本上下文联系,导致分类效果不理想。为了解决此问题,采用BERT-Text CNN模型,利用BERT独特自注意力机制的双向编码转换器结构获得具有句子全局特征的字向量,将字向量输入到Text CNN中,利用Text CNN捕获局部特征的能力,最终提取语义、语序以及上下文联系等高阶特征,解决了模型不能准确获取文本上下文联系的问题,实现了高准确率的微博评论细粒度情感分类。同时为验证该模型的优势,与现有模型进行比较,在simplifyweibo_4_moods数据集上测试结果显示BERT-Text CNN模型在准确率、召回率以及F1指标方面均有提升。

基于情绪分析的生产安全事故政府责任公众感知偏差研究

为强化政府安全生产监督及行政问责公正机制,提升生产安全事故协同治理能力,利用文本挖掘技术从个体和场域2个层面出发,探索生产安全事故政府责任的公众感知偏差形成机理和影响因素。通过公众责任感知双向编码转换器(BERT-PPR)预测事故微博评论的情绪和归责类型,对比事故调查结果得到政府责任的公众感知偏差,并基于二元逻辑回归考察事故信息和微博报道对感知偏差的影响。研究结果表明:采用政府形象框架以及调查结果公布阶段引发政府舆情危机的风险更高;责任人宣判阶段公众更易误判政府有责。行业、阶段、等级、形式、框架因素对生产安全事故政府责任公众感知偏差的影响不同,应采取对应措施,进而纠正相关偏差。研究结果可为安全生产领域内相关政策调整提供参考。

知识增强的BERT短文本分类算法

为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进行领域知识的引入;提出一种知识适配器,通过知识适配器在BERT的各个编码层之间进行知识增强。通过在公开的短文本数据集上,将KE-BERT与其它深度学习模型相比较,该模型的F1均值和准确率均值达到93.46%和91.26%,结果表明了所提模型性能表现良好。

云边协同联邦计算方法在铁路信号系统故障检测中的应用

铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(ML)故障检测方法,采用双向编码器表示转换器(BERT)深度学习(DL)模型进行实时的智能故障检测.该模型能够在处理故障检测任务时获取双向上下文的理解,从而更准确地捕捉句子中的语义关系,使得其对故障描述的理解更为精准.采用了云边协同的联邦计算方法,使得各铁路运营单位的数据可以在本地进行初步处理,然后将汇总后的梯度上传至云端进行模型训练,最终将训练得到的模型参数发送回各边缘设备,实现模型的更新,突破了模型的训练数据分散的限制,同时允许多个铁路运营单位在保持数据隐私的前提下共同训练BERT模型.研究结果表明,采用联邦边云计算方法进行BERT模型训练,在解决数据保密性问题的同时,有效提升了轨道交通故障检测的准确性与可靠性,优于目前在铁路信号系统领域已有的故障检测方案.

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征(BERT)预训练模型、双向长短期记忆(BiLSTM)网络和注意力机制的模型IoMET_BBA.通过合成少数类过采样技术(SMOTE)与探索性数据分析(EDA)技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类.对比实验的结果表明,IoMET_BBA的F1度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.

基于BERT提示的矿产资源管理规则检测方法研究

政策文本中管理规则检测是一个新兴的自然语言处理任务,在政策冲突检测、政策智能检索、事项合规性检查以及政务系统需求工程等方面具有重要应用价值。本文以矿产资源管理规则检测为研究目标,提出基于转换器的双向编码表征(BERT)提示的政策文本管理规则检测方法。该方法通过构建融入管理规则信息、带有[MASK]标记的提示模板,可以充分发挥掩码语言模型的自编码优势,有效激发BERT模型提取与管理规则相关的文本特征,增加模型稳定性;提出基于BERT模型进行管理规则检测的新应用模式,放弃使用[CLS]隐向量而采用[MASK]隐向量进行分类预测;在矿产资源管理规则数据集上的实验结果表明,该方法的准确率、宏平均F_(1)值、加权平均F_(1)值均优于基线方法,在公开数据集上的实验结果也表明了该方法的有效性。

基于情绪分析的事故风险感知偏差研究

为探索公众对安全事故的风险感知,运用文本挖掘技术获得事故微博评论数据,采用中文风险感知双向编码转换器(BERT-RPC)识别惊讶和恐惧情绪,以频率惊讶测量事故概率感知偏差,以恐惧和损失惊讶测量事故损失感知偏差,基于二元逻辑回归考察微博形式和内容对风险感知的影响。结果表明:低估安全事故风险的现象普遍存在,且对事故损失的低估更为突出;基于BERT-RPC模型的“抓取-分析”技术能够高效、低延迟地实现全网公众的风险感知偏差监测;交通行业的事故概率、损失被严重低估;一般事故的概率和特大事故的损失被严重低估;事故图片和视频有助于纠正事故损失的感知偏差,但对概率感知偏差作用有限;事故爆发初期报道对公众风险感知纠正效果最佳,调查结果公布和责任人宣判阶段次之。

基于BERT-CNN的中文评论文本情感分析

对中文酒店评论文本,CNN、BIGRU等模型无法充分获得文本上下文之间的关系,因此在情感分析上没有很好的效果。BERT模型提出后,它在文本上下文之间的关系的提取上有着很大的优势。以此为基础,本文提出一种基于预训练的(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN模型得到酒店评论中更多的情感信息。首先利用BERT模型对评论文本信息编码,再通过CNN模型提取局部特征,最终提取语义。最后通过实验来将该模型与现有模型进行比较,在酒店评论数据集上所做的实验充分表明该方法能更准确地进行中文文本情感分析。

融合汉字字形信息的文本关系抽取

关系抽取任务旨在从文本中抽取实体对之间的关系,是当前自然语言处理领域的热门方向之一.由于中文具有复杂的句式和语法,导致现有的神经网络提取的特征以及语义表示能力较差,从而影响中文关系抽取的性能.汉字是象形文字,其字形结构在一定程度上隐含了字义,为此提出了包含字形级别实体表示的BERT_BIGRU_Glyph模型.模型中选用基于转换器的双向编码表征(BERT)为预训练模型、双向门控循环单元(BI-GRU)获取句子上下文表示.实体由字级表示和实体字形级表示共同构成,在实体字形表示中嵌入了BERT、BERT_CNN和BERT_BI-GRU三种提取字形特征的策略来丰富实体语义信息.实验结果表明:所提出的模型在实体字形相似的关系抽取中性能更优.

需求驱动的云平台产品关键设计特征识别方法

为完善云服务平台产品设计知识发现系统,同时进一步提升需求与服务的匹配效率,提出一种基于转换器的双向编码表征(BERT)和随机Lasso的产品关键设计特征识别方法。首先,实验采用真实产品用户反馈数据集并对其进行人工标注,以BERT预训练语言模型为基础,建立输出层以训练设计领域命名实体识别模型,实现对显性设计特征的自动识别。实验表明,所提方法可以实现较好的性能,精确率、召回率、F1分数分别为90.55%、97.16%和93.68%。同时,提出一种知识迁移思想,在当前大数据环境下,利用随机Lasso算法挖掘其中蕴含的关键设计特征并加以重用,实现了对隐性设计特征的精确定位。

基于对抗迁移的复合材料检测领域命名实体识别

命名实体识别(named entity recognition,NER)可整合复合材料检测领域相关数据精准提取关键实体信息,促进产业信息化,为行业发展提供技术支撑。针对复合材料检测领域专业名词过多及边界混淆等问题,提出了一种基于对抗训练(adversarial training)和BERT(bidirectional encoder representations from transformers)嵌入相结合的领域命名实体识别模型(BERT-AdBC)。首先,复合材料检测领域数据规模较小,BERT嵌入增强了领域迁移能力,通过融合字向量获取充分的语义表示;其次,领域语句繁杂冗长,引入自注意力机制结合双向长短期记忆网络(Bi-LSTM)模型增强了上下文之间语义关系的获取;最后,对抗训练利用分词任务与实体识别任务的共享信息解决了边界混淆问题。实验结果表明,本文所提出的BERT-AdBC模型对复合材料检测领域实体识别的效果要优于传统模型,综合评价指标F最高提升6.48%。

基于BERT-GCN-ResNet的文献摘要自动分类方法

为了提升文献摘要自动分类性能,提高分类准确率,有效学习词与文档、文档与文档之间的关联性,本文提出一种基于BERT-GCN-ResNet的文献摘要分类方法.该方法采用转换器的双向编码器表示模型(bidirectional encoder representation from transformers,BERT)得到待分类短文本的词向量初始特征,进而构建边和节点特征;将其输入图卷积神经网络(graph convolutional networks,GCN),并在图卷积层之间加入残差网络(residual network,ResNet)模块;最后将利用图卷积层和残差网络层得到的短文本表示输出至softmax,得到最终的分类结果.将该方法在4种不同的公开文本分类数据集上进行实验,模型准确率最高达97.01%,优于基准模型.同时,在本文构建的基于短文本文献摘要的Abstext数据集上进行验证,分类准确率为96.85%,表明该模型泛化能力较好,能够提高文献自动分类的准确率.

基于对比学习和预训练模型的临床诊断标准化

针对临床诊断标准化任务中存在的标准诊断词库规模大、文本相关性不显著且标准词个数不确定的问题,提出一种基于对比学习和预训练模型的临床诊断标准化方法.先用无监督和有监督相结合的方法对基于简单对比学习的句子嵌入(SimCSE)模型进行训练,并利用得到的模型从标准库中召回候选标准词,再利用基于转换器的双向编码表征(BERT)进行候选词重排序和标准词个数分类,最终得到标准化结果.实验结果表明:基于无监督和有监督相结合的SimCSE方法的召回率为86.76%,显著优于其他方法;在重排序和标准词个数分类任务中,相比于其他模型,BERT在多个指标上有明显提升;该方法在测试集上进行标准词预测的F1值达到72.54%,在临床诊断标准化中具有较好的表现.

融合句法依存与BERT-Att-BiLSTM的属性分类

针对细粒度情感分析属性分类准确率低的问题,提出了一种融合句法依存关系和基于转换器的双向编码器-注意力机制-双向长短期记忆网络(BERT-Att-BiLSTM)的属性分类模型。该模型首先构建基于句法依存关系的目标信息提取层,进行属性-观点对提取;其次,在词嵌入层,使用BERT模块实现结合上下文动态特征的词向量预训练;然后,在特征提取层,融入Att的BiLSTM模块进行特征空间降维处理;最后,在分类层,通过激活函数输出属性-观点对的属性类别。实验结果表明,所提模型的精准度、召回率和F1值分别为85.25%、72.38%和77.06%,均优于其他模型,证明了所提模型的有效性。

基于数据增强和字词融合特征的实体槽位识别

针对传统的基于字级表示的实体槽位识别模型无法很好利用词语信息,以及信息技术(IT)运维领域缺少足够数量公开数据集的问题,提出一种基于BERT_Word2vec_BiLSTM_CRF模型的实体槽位识别方法,并通过数据增强对模型的训练数据集进行扩展.该模型将基于转换器的双向编码表征(BERT)模型得到的字向量表示和Word2vec得到的词向量表示进行融合,通过双向长短时记忆(BiLSTM)网络进行上下文编码,通过条件随机场(CRF)进行解码,得到最终的序列标注结果.通过在某企业提供的数据集上进行实验,结果表明:融合词级特征可以在BERT预训练模型的基础上进一步提升识别性能,F_(1)值达到了92.33%.

基于BERT-BiLSTM-CRF的法律案件实体智能识别方法

在智能法务系统应用中,人工智能自然语言处理相关技术常采用静态特征向量模型,算法效率低,精度偏差较大。为了对法律文本中的案件实体进行智能识别,提高案件的处理效率,针对动态字向量模型提出以基于转换器的双向编码表征模型作为输入层的识别方法。在其基础上通过融合双向长短期记忆网络和条件随机场模型,构建了高精度的法律案件实体智能识别方法,并通过实验验证了模型的性能。