基于双向编码表示转换的双模态软件分类模型

针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性.

基于BERT提示的矿产资源管理规则检测方法研究

政策文本中管理规则检测是一个新兴的自然语言处理任务,在政策冲突检测、政策智能检索、事项合规性检查以及政务系统需求工程等方面具有重要应用价值。本文以矿产资源管理规则检测为研究目标,提出基于转换器的双向编码表征(BERT)提示的政策文本管理规则检测方法。该方法通过构建融入管理规则信息、带有[MASK]标记的提示模板,可以充分发挥掩码语言模型的自编码优势,有效激发BERT模型提取与管理规则相关的文本特征,增加模型稳定性;提出基于BERT模型进行管理规则检测的新应用模式,放弃使用[CLS]隐向量而采用[MASK]隐向量进行分类预测;在矿产资源管理规则数据集上的实验结果表明,该方法的准确率、宏平均F_(1)值、加权平均F_(1)值均优于基线方法,在公开数据集上的实验结果也表明了该方法的有效性。

基于情绪分析的生产安全事故政府责任公众感知偏差研究

为强化政府安全生产监督及行政问责公正机制,提升生产安全事故协同治理能力,利用文本挖掘技术从个体和场域2个层面出发,探索生产安全事故政府责任的公众感知偏差形成机理和影响因素。通过公众责任感知双向编码转换器(BERT-PPR)预测事故微博评论的情绪和归责类型,对比事故调查结果得到政府责任的公众感知偏差,并基于二元逻辑回归考察事故信息和微博报道对感知偏差的影响。研究结果表明:采用政府形象框架以及调查结果公布阶段引发政府舆情危机的风险更高;责任人宣判阶段公众更易误判政府有责。行业、阶段、等级、形式、框架因素对生产安全事故政府责任公众感知偏差的影响不同,应采取对应措施,进而纠正相关偏差。研究结果可为安全生产领域内相关政策调整提供参考。

基于BERT的水稻表型知识图谱实体关系抽取研究

针对水稻表型知识图谱中的实体关系抽取问题,根据植物本体论提出了一种对水稻的基因、环境、表型等表型组学实体进行关系分类的方法。首先,获取水稻表型组学数据,并进行标注和分类;随后,提取关系数据集中的词向量、位置向量及句子向量,基于双向转换编码表示模型(BERT)构建水稻表型组学关系抽取模型;最后,将BERT模型与卷积神经网络模型、分段卷积网络模型进行结果比较。结果表明,在3种关系抽取模型中,BERT模型表现更佳,精度达95.11%、F1值为95.85%。

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征(BERT)预训练模型、双向长短期记忆(BiLSTM)网络和注意力机制的模型IoMET_BBA.通过合成少数类过采样技术(SMOTE)与探索性数据分析(EDA)技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类.对比实验的结果表明,IoMET_BBA的F1度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.

云边协同联邦计算方法在铁路信号系统故障检测中的应用

铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(ML)故障检测方法,采用双向编码器表示转换器(BERT)深度学习(DL)模型进行实时的智能故障检测.该模型能够在处理故障检测任务时获取双向上下文的理解,从而更准确地捕捉句子中的语义关系,使得其对故障描述的理解更为精准.采用了云边协同的联邦计算方法,使得各铁路运营单位的数据可以在本地进行初步处理,然后将汇总后的梯度上传至云端进行模型训练,最终将训练得到的模型参数发送回各边缘设备,实现模型的更新,突破了模型的训练数据分散的限制,同时允许多个铁路运营单位在保持数据隐私的前提下共同训练BERT模型.研究结果表明,采用联邦边云计算方法进行BERT模型训练,在解决数据保密性问题的同时,有效提升了轨道交通故障检测的准确性与可靠性,优于目前在铁路信号系统领域已有的故障检测方案.

基于BERT-CNN的中文评论文本情感分析

对中文酒店评论文本,CNN、BIGRU等模型无法充分获得文本上下文之间的关系,因此在情感分析上没有很好的效果。BERT模型提出后,它在文本上下文之间的关系的提取上有着很大的优势。以此为基础,本文提出一种基于预训练的(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN模型得到酒店评论中更多的情感信息。首先利用BERT模型对评论文本信息编码,再通过CNN模型提取局部特征,最终提取语义。最后通过实验来将该模型与现有模型进行比较,在酒店评论数据集上所做的实验充分表明该方法能更准确地进行中文文本情感分析。

基于BERT-BiGRU模型的文本分类研究

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。

基于情绪分析的事故风险感知偏差研究

为探索公众对安全事故的风险感知,运用文本挖掘技术获得事故微博评论数据,采用中文风险感知双向编码转换器(BERT-RPC)识别惊讶和恐惧情绪,以频率惊讶测量事故概率感知偏差,以恐惧和损失惊讶测量事故损失感知偏差,基于二元逻辑回归考察微博形式和内容对风险感知的影响。结果表明:低估安全事故风险的现象普遍存在,且对事故损失的低估更为突出;基于BERT-RPC模型的“抓取-分析”技术能够高效、低延迟地实现全网公众的风险感知偏差监测;交通行业的事故概率、损失被严重低估;一般事故的概率和特大事故的损失被严重低估;事故图片和视频有助于纠正事故损失的感知偏差,但对概率感知偏差作用有限;事故爆发初期报道对公众风险感知纠正效果最佳,调查结果公布和责任人宣判阶段次之。

面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.

基于对比学习和预训练模型的临床诊断标准化

针对临床诊断标准化任务中存在的标准诊断词库规模大、文本相关性不显著且标准词个数不确定的问题,提出一种基于对比学习和预训练模型的临床诊断标准化方法.先用无监督和有监督相结合的方法对基于简单对比学习的句子嵌入(SimCSE)模型进行训练,并利用得到的模型从标准库中召回候选标准词,再利用基于转换器的双向编码表征(BERT)进行候选词重排序和标准词个数分类,最终得到标准化结果.实验结果表明:基于无监督和有监督相结合的SimCSE方法的召回率为86.76%,显著优于其他方法;在重排序和标准词个数分类任务中,相比于其他模型,BERT在多个指标上有明显提升;该方法在测试集上进行标准词预测的F1值达到72.54%,在临床诊断标准化中具有较好的表现.

基于人工智能算法的商品归类研究与应用

准确高效的商品归类有助于进出口企业提升通关速度、降低通关成本。为帮助进出口企业传统商品归类在效率和准确率等方面实现进一步提升,本文利用企业申报数据,构建了基于双向转换编码器表征(Bidirectional Encoder Representations from Transformers,BERT)与文本卷积神网络(Text Convolutional Neural Network,Text CNN)联合模型的商品归类算法,并完成归类系统开发及验证。以企业实际商品申报数据进行测试,归类准确率达95%以上,取得了较好的应用效果。

基于数据增强和字词融合特征的实体槽位识别

针对传统的基于字级表示的实体槽位识别模型无法很好利用词语信息,以及信息技术(IT)运维领域缺少足够数量公开数据集的问题,提出一种基于BERT_Word2vec_BiLSTM_CRF模型的实体槽位识别方法,并通过数据增强对模型的训练数据集进行扩展.该模型将基于转换器的双向编码表征(BERT)模型得到的字向量表示和Word2vec得到的词向量表示进行融合,通过双向长短时记忆(BiLSTM)网络进行上下文编码,通过条件随机场(CRF)进行解码,得到最终的序列标注结果.通过在某企业提供的数据集上进行实验,结果表明:融合词级特征可以在BERT预训练模型的基础上进一步提升识别性能,F_(1)值达到了92.33%.