基于双向编码表示转换的双模态软件分类模型

针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性.

基于多采样双向编码表示的网络舆情主题识别研究

【目的/意义】舆情主题识别一直是舆情领域的研究热点,如今已有丰富的研究成果。现有研究对舆情信息进行表征时多采用了传统的词袋模型、主题模型或词向量模型,只能对词语进行唯一的向量表征且传统模型需对文本分词,可能会因分词错误、数据稀疏、出现集外词等情况影响识别效果。【方法/过程】本文构建了一种基于多采样双向编码表示的网络舆情主题识别模型,在训练前无需对文本进行分词,针对文本过长的情况采用头尾结合的方式进行截断,从字、段、位置三个维度提取特征嵌入,通过自注意力机制进行舆情表征,在训练过程中使用区分性微调和多采样dropout的方法增强泛化能力,提升识别效果。【结果/结论】实验结果表明构建模型在舆情主题分类任务中表现良好,可以在不对文本分词的情况下实现对舆情主题的准确识别。【创新/局限】创新之处在于构建了一种新型的网络主题识别模型,局限之处在于算法复杂,如何进一步调参优化是接下来的研究重点。

云边协同联邦计算方法在铁路信号系统故障检测中的应用

铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(ML)故障检测方法,采用双向编码器表示转换器(BERT)深度学习(DL)模型进行实时的智能故障检测.该模型能够在处理故障检测任务时获取双向上下文的理解,从而更准确地捕捉句子中的语义关系,使得其对故障描述的理解更为精准.采用了云边协同的联邦计算方法,使得各铁路运营单位的数据可以在本地进行初步处理,然后将汇总后的梯度上传至云端进行模型训练,最终将训练得到的模型参数发送回各边缘设备,实现模型的更新,突破了模型的训练数据分散的限制,同时允许多个铁路运营单位在保持数据隐私的前提下共同训练BERT模型.研究结果表明,采用联邦边云计算方法进行BERT模型训练,在解决数据保密性问题的同时,有效提升了轨道交通故障检测的准确性与可靠性,优于目前在铁路信号系统领域已有的故障检测方案.

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。

基于BERT的水稻表型知识图谱实体关系抽取研究

针对水稻表型知识图谱中的实体关系抽取问题,根据植物本体论提出了一种对水稻的基因、环境、表型等表型组学实体进行关系分类的方法。首先,获取水稻表型组学数据,并进行标注和分类;随后,提取关系数据集中的词向量、位置向量及句子向量,基于双向转换编码表示模型(BERT)构建水稻表型组学关系抽取模型;最后,将BERT模型与卷积神经网络模型、分段卷积网络模型进行结果比较。结果表明,在3种关系抽取模型中,BERT模型表现更佳,精度达95.11%、F1值为95.85%。

基于BERT-BiGRU模型的文本分类研究

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。

融合语义路径与语言模型的元学习知识推理框架

针对传统推理方法无法兼顾计算能力与可解释性,同时在小样本场景下难以实现知识的快速学习等问题,该文设计一款融合语义路径与双向Transformer编码(BERT)的模型无关元学习(MAML)推理框架,该框架由基训练和元训练两个阶段构成。基训练阶段,将图谱推理实例用语义路径表示,并代入BERT模型微调计算链接概率,离线保存推理经验;元训练阶段,该框架基于多种关系的基训练过程获得梯度元信息,实现初始权值优化,完成小样本下知识的快速学习。实验表明,基训练推理框架在链接预测与事实预测任务中多项指标高于平均水平,同时元学习框架可以实现部分小样本推理问题的快速收敛。

基于权重计算的中文因果关系分析

提出一种中文因果关系分析方法,以便更加细腻地表达因果关系.该方法由因果关系提取和权重计算组成.首先,构建了中文因果关系四元组数据集,将因果划分为核心名词和谓语状态,即原因中的核心名词、原因中的谓语或状态、结果中的核心名词、结果中的谓语和状态;然后,构建了中文因果关系抽取(CCE)模型,该模型由中文预训练的基于全词掩码训练的双向编码表示模型(BERT-wwm)和条件随机场(CRF)组成,在所构建的数据集上,四元组抽取F1分数为0.3;最后,提出基于因果强度的近似原因权重算法,用于计算同一结果不同原因的权重,减小对语料库数据量的依赖性,具有更好的鲁棒性和泛化性,能更加真实地反映不同原因对结果的重要程度.

中文对话理解中基于预训练的意图分类和槽填充联合模型

基于预训练和注意机制的意图分类和语义槽填充,提出一种结合双向长短时记忆(bidirectional long short-term memory,BiLSTM)、条件随机场(conditional random fields,CRF)和注意机制的双向编码(bidirectional encoder representations from transformers,BERT)具有双向编码表示和注意机制的联合模型。该模型无需过多依赖手工标签数据和领域特定的知识或资源,避免了目前普遍存在的弱泛化能力。在自主公交信息查询系统语料库上进行的试验表明,该模型意图分类的准确性和语义槽填充F1值分别达到98%和96.3%,均产生有效改进。