基于双向编码表示转换的双模态软件分类模型

针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性.

基于双向稀疏Transformer的多变量时序分类模型

针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%.

基于双向Transformer的降水临近预报模型

精准的降水临近预报对日常生活至关重要,但现行预报模型的准确度有待进一步提升。为此,提出一种新的预报模型BTPN。该模型引入双向Transformer,从时空序列的正逆方向提取特征,捕获关键信息,减少时空特征丢失;使用卷积Transformer模块结合卷积的局部编码和Transformer的全局编码特性,强化时空信息提取和关联性,缓解时空长时序信息丢失问题;结合细节提取模块,有助于减少局部细节的损失,并缓解高值区域消散问题。在HKO-7数据集上的评估显示,BTPN模型在MAE、SSIM及CSI指标上超越了其他先进模型,并在大面积降水和台风极端天气情境中显示出优异的预测能力。实验表明BTPN模型具备更高的预报精确性,具备较好的应用前景。

融合Transformer的剩余使用寿命预测模型

剩余使用寿命(remaining useful life,RUL)预测对大型设备的故障预测与健康管理十分重要。然而,一些设备监测数据具有维度高、规模大、强耦合、参数时变等非线性特征,这些特征会导致RUL预测的准确性较低。为此引入Transformer解码器,并通过多头注意力机制综合全局信息,提出了一种基于多尺度双向长短期记忆网络和Transformer的神经网络模型,以提高模型预测精度。选取航空发动机作为研究对象,使用各个模型在NASA的C-MPASS数据集上进行对比实验,结果表明,在剩余使用寿命预测方面,该文提出的融合Transformer模型的多尺度双向长短期记忆网络模型在准确率和均方根误差指标上均优于其他对比模型。

基于自适应噪声完全集合经验模态分解与BiLSTM-Transformer的锂离子电池剩余使用寿命预测

锂离子电池剩余使用寿命(remaining useful life,RUL)是使用者十分关心的问题,其涉及电池的更换时间和安全。针对锂离子电池的电容量非线性变化趋势,提出了一种基于自适应噪声完全集合经验模态分解与双向长短期记忆网络-Transformer的锂离子电池剩余使用寿命预测方法。首先,利用自适应噪声完全集合经验模态分解方法对锂离子电池电容量数据进行分解。其次,使用串联的双向长短期记忆神经网络和Transformer网络对分解后得到的残差序列和本征模态分量序列进行建模预测。最后,将预测的若干本征模态分量序列和残差序列进行求和,并对求和之后的最终预测数据与原始数据进行RUL预测。采用NASA公开的电池数据集对所提方法进行验证,结果表明,所提方法的平均绝对误差、均方根误差、平均绝对百分比误差和绝对误差控制分别控制在0.0173、0.0231、1.2084%和3个循环周期以内,能够有效地提高锂离子电池RUL的预测精度。

基于Transformer和关系图卷积网络的信息传播预测模型

针对在信息传播动态演化中,结构特征和时序特征以及两者间的交互表达难以有效捕获的问题,提出一种基于Transformer和关系图卷积网络的信息传播预测模型(TRGCN)。首先,构建由社交关系图和传播级联图组合而成的异构图,使用关系图卷积网络(RGCN)提取图中各节点的结构特征;其次,使用双向长短期记忆(Bi-LSTM)网络对各节点的时间嵌入重新编码,引入时间衰减项以不同的权重赋予不同时间位置的节点,获得节点的时序特征;最后,将结构特征和时序特征输入Transformer进行融合,得到时空特征以预测信息传播。在Twitter、Douban和Memetracker这3个真实数据集上的实验结果表明,相较于对比实验中的最优模型,TRGCN的Hits@100指标分别提升3.18%,5.96%和3.34%,Map@100指标分别提升11.60%,19.72%和8.47%,验证了所提模型的有效性和合理性。

基于上下文知识增强型Transformer网络的抑郁检测

抑郁症作为一种常见的心理健康问题,严重影响人们的日常生活甚至是生命安全。鉴于目前的抑郁症检测存在主观性和人工干预等缺点,基于深度学习的自动检测方式成为热门研究方向。对于最易获取的文本模态而言,主要的挑战在于如何建模抑郁文本中的长距离依赖与序列依赖。为解决该问题,提出一种基于上下文知识的增强型Transformer网络模型RoBERTa-BiLSTM,旨在从抑郁文本序列中充分提取和利用上下文特征。结合序列模型与Transformer模型优点,建模单词间上下文交互,为抑郁类别揭示与信息表征提供参考。首先,利用RoBERTa方法将词汇嵌入到语义向量空间;其次,利用双向长短期记忆网络(BiLSTM)模型有效捕获长距离上下文语义;最后,在DAIC-WOZ和EATD-Corpus 2个大规模数据集上进行实证研究。实验结果显示,RoBERTa-BiLSTM模型的准确率分别达到0.74和0.93以上,召回率分别达到0.66和0.56以上,能够准确地检测抑郁症。

基于Transformer和多特征融合的DGA域名检测方法

针对域名生成算法生成的恶意域名隐蔽性高,现有方法在恶意域名检测上准确率不高的问题,提出一种基于Transformer和多特征融合的DGA域名检测方法。该方法使用Transformer编码器捕获域名字符的全局信息,通过并行深度卷积神经网络获取不同粒度的长距离上下文特征,同时引入双向长短期记忆网络BiLSTM和自注意力机制Self-Attention结合浅层CNN得到浅层时空特征,融合长距离上下文特征和浅层时空特征进行DGA域名检测。实验结果表明,所提方法在恶意域名检测方法上有更好的性能。相对于CNN、LSTM、L-PCAL和SW-DRN,所提方法在二分类实验中准确率分别提升了1.72%,1.10%,0.75%和0.34%;在多分类实验中准确率分别提升了1.75%,1.29%,0.88%和0.83%。

融合Transformer的带钢缺陷实时检测算法

在带钢的生产过程中通常会产生影响产品质量的表面缺陷。针对带钢表面缺陷检测效率低以及小目标缺陷检测精度差的问题,提出一种融合Transformer的带钢缺陷实时检测算法TRSD-YOLO(Transformer real-time strip steel defects detection-YOLO)。设计一种结合Transformer自注意力机制的特征提取模块BottleNeckCSPTR,通过自注意力的增强来提升模块对小目标缺陷信息的获取能力;运用BottleNeckCSPTR模块构建新的主干特征提取网络CSPDarknetTR,并将动态激活函数Meta-ACON与主干网络相融合,进一步强化网络对缺陷特征的表示能力;提出一种轻量级双向加权特征金字塔结构BiFPN-Light作为融合多尺度特征的方式,提高网络对小尺寸缺陷的检测精度。实验结果表明,提出的算法在NEU-DET数据集上mAP达到了82.2%,较原有的YOLOv4算法提高了5.3个百分点;同时检测速度达到31.3 FPS,可匹配工业场景的需求。

基于Transformer-BiLSTM特征融合的DNA结合蛋白预测方法

蛋白质与生命活动密切相关,脱氧核糖核酸(DNA)结合蛋白作为一种特殊的蛋白质,在生命活动中有着不可替代的作用.因此,研究DNA结合蛋白有很重要的现实意义,这个课题的研究前景十分广阔.传统生物技术虽然精度较高,但其成本十分的昂贵,效率比较低,设备要求极高,并不适合现代社会大量研究蛋白质的需求.机器学习的方法在一定程度上弥补了生物实验技术的不足,但是在数据处理方面远不如深度学习技术来的高效与便捷.在本研究中提出了一种基于双向平行长短期记忆神经网络(BiLSTM)和Transformer的深度学习框架来预测DNA结合蛋白.该模型不仅可以进一步提取蛋白质序列的信息和特征,还可以进一步提取进化信息的特征,最后,将这两个特征融合起来进行训练和测试.该模型拓展了研究人员在蛋白质特征提取方面的研究思路,为使用Transformer编码器块提取蛋白质全局特征提供参考.在PDB2272数据集上,与PDBP_Fusion模型相比,精度(ACC)和Matthew相关系数(MCC)分别提高了2.64%和5.51%.该模型的实验结果具有一定的优势.

基于自注意力机制与双向LSTM的睡眠分期模型

针对现有模型无法充分捕捉样本中短暂、随机的波形及无法聚焦典型、重要波形,从而影响分期结果的问题,提出一种基于自注意力机制与双向长短时记忆网络的睡眠分期模型。首先,构建单流时频信息学习模块自动表达PSG信号的低级表征,挖掘EEG数据的时不变信息、频率特征。然后,设计自适应特征重新校准学习模块,对30 s样本中出现的瞬时和重点波形特征进行校准训练,给予此类特征更多关注并分配更大权重。最后,将特征送至关联样本间的序列依赖学习模块,以学习各睡眠样本间的上下文关系,充分利用前后相邻样本判断当前样本类别。结果表明,该方法性能优于其他主流模型,在Sleep-edf-2013和Sleep-edf-2018两个公共睡眠数据集上的准确率分别为85.5%、84.3%,MF1值分别为82.1%、79.6%,可为睡眠分期任务提供技术参考。

基于多头注意力与双向门控循环单元的数据无损压缩方法

为解决数据归档存储场景中出现的物理存储成本增长和数据库内存紧张等问题,本文提出一种基于注意力机制与双向门控循环单元的数据无损压缩方法,采用Transformer和双向门控循环单元作为概率预测器,输出数据流的条件概率分布,结合自适应算术编码器对数据进行压缩。实验对比结果表明,本文所提方法相较于算术编码和基于字典模型的LZW这两种传统无损压缩方法,压缩率分别平均提升约28.8%和7.8%;相较于Cmix v19和NNCP两种深度学习方法,平均压缩率分别降低0.4%和0.2%,但平均压缩时间分别约为其5.1%和39.4%。

一种采用Transformer网络的视觉人格识别方法

自动人格识别是当前心理学、计算机科学等相关领域的研究热点。为了有效利用视频序列中的时间维度特征和帧注意力特征,提出一种基于Transformer视频序列人格识别方法。首先,通过预训练好的卷积神经网络提取出对应的视觉帧级特征;然后,利用双向长短时记忆网络与Transformer网络对它们分别进行时间信息和帧注意力信息建模,学习高层次的视觉全局特征;最后,通过特征层融合方法将视觉全局特征结合,实现视觉人格识别。在公开人格数据集ChaLearn First Impression V2的实验结果表明,该方法取得了0.9141的大五人格平均分数,能够有效提升视觉人格识别效果。

距离感知和方向感知的Transformer Encoder 用于司法领域实体识别

命名实体识别(NER)是在句子中找到一个实体的开始和结束,并为这个实体指定一个类,它在自然语言处理(NLP)领域得到了广泛研究,准确率和鲁棒性都有明显提升。利用深度学习自动进行司法信息的实体识别极大促进了司法领域的发展,同时为司法事件的抽取和司法知识图谱的构建提升了发展空间。近年来,由于全连接的自注意力结构(Transformer)的并行性和对长程上下文建模的优势,其被广泛应用于各种自然语言处理任务。由于减刑案件、假释案件及暂予监外执行案件的裁判文书中实体的距离和相对位置的特殊性,本文基于Transformer结构,加入距离自注意力和方向自注意力,提出距离感知和方向感知的Transformer Encoder(DDATE),它对字符级特征和字级特征进行建模。实验证明,所提出的DDATE司法实体识别模型比基于双向长短期记忆(BiLSTM)的模型和普通的Transformer模型提升了很大性能。

基于transformer的工单智能判责方法研究

在图像、文本、视频、语音以及社交类网络数据爆炸增长的时代,企业如何从海量非结构化数据中提取出有效信息并将之转化为生产效率的提升和流程自动化的实现,是目前迫切需要关注和解决的问题。本文以运营商集团电子工单自动判责场景为切入点,提出使用基于transformer架构的双向编码器表示(BERT)作为文本分类模型,自动收集各省份的反馈信息并进行各省份的工单责任智能判定。通过将BERT模型与LightGBM和Bi-LSTM-Attention模型进行实验对比,结果表明BERT模型对各类别工单的预测准确率均达到了96%以上,具有较好的实际应用效果。

基于层间融合滤波器与社交神经引文网络的推荐算法

推荐算法是一种用于解决信息过载问题的方法,引文推荐通过引文上下文能够自动匹配候选论文列表。现有基于神经引文网络模型在引文上下文数据预处理的过程中,存在文本噪声和上下文学习不充分的问题。为此,提出一种基于层间融合滤波器和社交神经引文网络的推荐算法FS-Rec。首先,利用具有层间融合滤波器的BERT模型预处理引文上下文,在频域内从所有频率中提取有意义的特征,缓解引文上下文数据的噪声,同时在频域中对多层信息进行融合,增强上下文表示学习的能力;然后,在引文作者嵌入中引入社交关系,与其他引文信息嵌入通过编码器获得表示,将这些表示与经过BERT预训练的引文上下文表示进行融合,得到最终表示;最后,根据最终表示生成引文文本预测。实验结果表明,相较于现有的上下文引文推荐模型,FS-Rec在2个基准数据集arXivCS和PubMed取得了更高的召回率和平均倒数排名(MMR),证明了模型的有效性。

基于多采样双向编码表示的网络舆情主题识别研究

【目的/意义】舆情主题识别一直是舆情领域的研究热点,如今已有丰富的研究成果。现有研究对舆情信息进行表征时多采用了传统的词袋模型、主题模型或词向量模型,只能对词语进行唯一的向量表征且传统模型需对文本分词,可能会因分词错误、数据稀疏、出现集外词等情况影响识别效果。【方法/过程】本文构建了一种基于多采样双向编码表示的网络舆情主题识别模型,在训练前无需对文本进行分词,针对文本过长的情况采用头尾结合的方式进行截断,从字、段、位置三个维度提取特征嵌入,通过自注意力机制进行舆情表征,在训练过程中使用区分性微调和多采样dropout的方法增强泛化能力,提升识别效果。【结果/结论】实验结果表明构建模型在舆情主题分类任务中表现良好,可以在不对文本分词的情况下实现对舆情主题的准确识别。【创新/局限】创新之处在于构建了一种新型的网络主题识别模型,局限之处在于算法复杂,如何进一步调参优化是接下来的研究重点。

ALBERT预训练模型在医疗文书命名实体识别中的应用研究

中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transformers,ALBERT)预训练模型微调数据集和Tranfomers中的trainer训练器训练模型的方法,实现在医疗手术麻醉文书上识别手术麻醉事件命名实体与获取复杂麻醉医疗质量控制指标值。文章为医疗手术麻醉文书命名实体识别提供了可借鉴的思路,并且为计算复杂麻醉医疗质量控制指标值提供了一种新的解决方案。

基于MacBERT与对抗训练的机器阅读理解模型

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。

一种改进YOLOX_S的火焰烟雾检测算法

针对目前在火灾预警方面还存在火焰烟雾检测效果差、误报率高等问题,在YOLOX框架下提出改进YOLOX_S目标检测算法。首先在数据集建立方面,采用的数据集包括Bilkent University公开的数据集和部分自建数据集,共计9621张图片。并且通过对数据集采用Mosaic数据增强的方式,增加数据的多样性。其次对backbone部分采用swin-T骨干网络来代替原来的CSPDarkNet骨干网络,能够更好的捕捉不同尺度下的特征,有效地提升了目标检测的精度。然后对网络模型引入加权双向特征金字塔网络(bidirectional feature pyramid network,BiFPN)特征融合网络,提高检测的效率和网络模型的适应性,在复杂背景下同样可以保持较高的检测精度。最后引入CA注意力机制来加强此算法的特征提取能力。经过对比实验表明,改进后的YOLOX_S的火焰烟雾检测算法具有较高准确性,其mAP@0.5(预测框与真实框重合程度的阈值为0.5时的平均检测精度)达到81.5%,相比原网络提高了5.3%。改进后的YOLOX_S网络模型在火焰烟雾检测方面具有更高准确性和更低的误报率。