基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

改良Transformer模型应用于乳腺结节超声报告自主生成的可行性研究

目的将改良Transformer模型应用于乳腺结节超声报告自主生成,并对其可行性进行初步探讨。方法收集832例乳腺结节患者(共1284个结节)的超声图像构建BND数据集,引入一种改良Transformer模型对BND数据集进行智能分析,生成相应文本报告,并与Ensemble Model、SSD、R-FCN模型进行比较;同时引入LGK数据集,将改良Transformer模型与TieNet、Kerp、VTI、RNCM模型进行比较。采用BLEU评分评估各模型的性能。结果在BND数据集中,改良模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.547、0.474、0.352、0.282,均高于Ensemble Model、SSD、R-FCN模型。在LGK数据集中,改良Transformer模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.579、0.391、0.288、0.152。结论改良Transformer模型能够快速识别乳腺结节并自主生成标准报告,与Ensemble Model、SSD、R-FCN模型相比,获得了良好的BLEU评分,同时该模型在LGK数据集中BLEU评分也较高,表明改良Transformer模型具有较高的文本泛化性能。

基于双模态Transformer模型的话务量预测

为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

面向Transformer模型的轻量化方法研究

随着Transformer模型的改进与发展,模型的参数数量显著增加,使得Transformer模型及其衍生模型需要消耗大量的计算资源和存储资源。文章提出一种基于知识蒸馏的新的Transformer模型轻量化方法:使用预训练好的BERT模型(Bidirectional Encoder Representation from Transformers)作为教师模型,设计学生模型卷积神经网络(Convolutional Neural Network,CNN),加入注意力机制的循环神经网络(Recurrent Neural Network,RNN)和全连接神经网络(Full Connect Neu-ral Network,DNN),并采用logits和matching logits两种蒸馏方法,实现模型的轻量化。实验结果表明,当将BERT模型蒸馏给CNN时,参数数量减少93.46%,运行速度提升30余倍,在小规模数据集上准确率仅下降0.70%;当将BERT蒸馏给加入注意力机制的RNN时,参数数量减少了93.38%,速度提升100余倍,模型准确率轻微下降;当将DNN作为学生模型时,参数数量减少了93.77%,速度提升了200余倍,在大规模数据集上,准确率仅下降0.02%。

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别(re-identification,ReID)是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计和Transformer模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。基于国际公开的数据集Occluded-Duke开展实验验证。结果表明:PT-Net方法相对于基线模型,其均值平均精度(mAP)和相似度排序Rank-1指标分别提高了1.3、1.5个百分点,验证了该方法的有效性和优越性。

基于Transformer模型的轨道交通机器翻译系统设计

针对商用机器翻译引擎安全性无法保证、专业化领域翻译精准度低、翻译服务方式单一等问题,通过神经网络模型、知识蒸馏方法、专业语料库构建等技术,设计基于Transformer模型的轨道交通机器翻译系统——“铁译通”,实现文本翻译、文档翻译、Office插件翻译、浏览器插件翻译等多元化功能。应用表明,该系统可为行业用户提供专业化、多元化、定制化、安全性强的机器翻译服务。

面向Vision Transformer模型的剪枝技术研究

本文针对Vision Transformer(ViT)模型开展剪枝技术研究,探索了多头自注意力机制中的QKV(Query、Key、Value)权重和全连接层(Fully Connected,FC)权重的剪枝问题。针对ViT模型本文提出了3组剪枝方案:只对QKV剪枝、只对FC剪枝以及对QKV和FC同时进行剪枝,以探究不同剪枝策略对ViT模型准确率和模型参数压缩率的影响。本文开展的研究工作为深度学习模型的压缩和优化提供了重要参考,对于实际应用中的模型精简和性能优化具有指导意义。

基于Transformer模型的“暴力”虚开发票风险识别

自2016年“营改增”全面实施以来,与之相关的免税减税等税收优惠政策原旨在惠企助企、激发市场活力,但不法分子在巨额利润驱动下企图通过虚开增值税发票骗取出口退税、抵扣税款,严重扰乱了税收秩序。本文以“暴力”虚开发票的企业的犯罪特征为切入点,从基础征管数据和增值税发票数据中选取了24项虚开指标,构建了基于Transformer模型的虚开增值税发票识别模型,对虚开公司进行检测。实证分析表明Transformer模型对虚开增值税发票的识别召回率为0.934 7,准确率为0.986 9,AUC为0.963 9,显著优于SVM、Xgboost、MLP等传统机器学习模型,可辅助税务部门高效识别“暴力”虚开企业,节省人工筛查成本,对有效打击虚开增值税发票一类违法犯罪行为具有非常重要的实践意义。

生成式预训练Transformer模型的逻辑性优化方法

生成式预训练Transformer(Generative Pre-Trained Transformer,GPT)模型作为一种基于Transformer架构的预训练模型,在完成自然语言处理任务方面取得了巨大的成功。由于依赖于生成下一个词的局部贪婪过程,使对任务或输出的全局理解、逻辑推理和道德法规约束能力不够。为了提升计算的逻辑性和可靠性,结合的生成型计算过程,论述计算结果的逻辑局限性,从而引入一类和逻辑计算模型混合的优化结构。

基于Transformer模型的连续无创血压预测方法

动脉血压(ABP)波形包含丰富的心血管信息,有助于心血管疾病的预防和诊断。目前大部分基于光电容积脉搏波描记法(PPG)的血压预测方法仅预测收缩压(SBP)和舒张压(DBP),本文提出了一种由PPG信号预测ABP波形的血压测量方法。首先使用PPG信号作为输入,通过线性映射到高维空间,然后利用Transformer编码器结构进行特征提取,最后由线性层输出预测的ABP波形,由预测的ABP波形可计算出SBP和DBP等血压参数。实验结果显示,Transformer网络在MIMIC数据集中预测的ABP波形与实际波形的拟合效果良好,计算得到的SBP和DBP预测误差分别为(3.76±5.66)mmHg、(2.20±3.77)mmHg,且该方法符合美国医疗仪器促进协会(AAMI)的标准,同时在英国高血压协会(BHS)标准中达到A级。

基于MsTCN-Transformer模型的轴承剩余使用寿命预测研究

剩余使用寿命(remaining useful life, RUL)预测是PHM的核心问题之一,复杂的运行工况往往导致设备部件经历不同的故障退化过程,给RUL准确预测带来了巨大挑战。为此,提出了一种多尺度时间卷积网络(multi-scale temporal convolutional network, MsTCN)与Transformer(MsTCN-Transformer)融合模型用于变工况下滚动轴承RUL预测。该方法设计了一种新的多尺度膨胀因果卷积单元(multi-scale dilated causal convolution unit, MsDCCU),能够自适应地挖掘滚动轴承全寿命信号中固有的时序特征信息;然后构建了基于自注意力机制的Transformer网络模型,在克服预测序列记忆力退化的基础上,准确学习时序特征与轴承RUL之间的映射关系。此外,通过对轴承不同故障退化阶段所提取的时序特征可视化分析,验证了所提方法在变工况下所提取的时序特征泛化性较好。多种工况条件下滚动轴承RUL预测试验表明,所提方法能够较为准确地实现变工况下轴承的RUL预测,相比当前多种方法RUL预测结果准确性更高。

高光谱图像去噪的稀疏空谱Transformer模型

现阶段Transformer模型的应用提升了高光谱图像去噪的性能,但原始Transformer模型对图像空间-光谱耦合关联性的利用仍存在不足;对空间特征的处理存在过于平滑,容易丢失小尺度结构的现象;同时在光谱维度上也过于关注全部通道特征,缺乏对不同光谱波段间差异性的利用;为了应对这些问题,本文提出了一种新的稀疏空谱Transformer模型,提升了对空谱耦合关联性的利用。在空间维度,引入局部增强模块增强空间特征细节,应对过平滑问题;同时在光谱维度上提出了Top-k稀疏自注意力机制,自适应选择前K个最相关的光谱通道特征进行特征交互,从而能够有效捕获空谱特征。最终通过稀疏空谱Transformer的层级残差连接实现高光谱图像的去噪。在ICVL数据集上分别对高斯噪声和复杂噪声进行去噪处理,峰值信噪比分别达到40.56 dB和40.19 dB,证明了本文提出的稀疏空谱Transformer模型优越的性能。

基于改进Transformer模型的多声源分离方法

目前主流的语音分离算法模型都是基于复杂的递归网络或Transformer网络,Transformer网络复杂度高导致训练难度大以及音频的高采样率导致在样本级别上使用超长输入从而获取不完全特征,不能直接对长语音特征序列进行直接建模出现特征丢失问题。对此,该文提出了一种基于Transformer的改进网络模型。首先,在原有Transformer网络模型编码器里新添加下采样块,计算不同时间尺度上的高级特征同时降低特征空间复杂度;其次,在Transformer网络模型的解码器里添加上采样层与编码器下采样层特征融合保证特征不丢失,提高模型分离能力;最后,在模型分离层里引入一种改进的滑动窗口注意力机制,滑动窗口使用循环移位技术,新的特征窗口中包含老的特征窗口特征同时融合特征边缘信息完成了特征窗口之间的信息交互,获得特征编码以及特征位置编码同时提高特征信息之间的相关系数。实验表明,使用SI-SNR评价标准达到13.5 dB,使用SDR评价指标达到14.1 dB,分离效果优于之前的方法。

基于Transformer模型的高光谱图像分类算法研究

高光谱图像(Hyperspectral image, HSI)分类在遥感领域扮演着关键角色。然而,处理高光谱图像分类任务时,遇到了光谱相同但物质不同、光谱不同但物质相同的复杂情况。尽管现有基于卷积神经网络(Convolutional Neural Network, CNN)的方法在局部信息处理方面表现出色,但它们在表示能力上存在一定限制。为了应对这一挑战,本文提出了一种综合考虑光谱信息和空间信息的Transformer方法(Spatial Spectral Transformer Network, SSTN),即本文引入了Transformer结构,在光谱和空间中倾向于捕捉全局信息。通过构建Transformer,模型将空间光谱特征有机结合。通过规范的实验研究,本文发现:在IndianPines和Houston2013数据集的分类任务中,本文的方法相较于其它Transformer网络表现更为优越,并在与其他骨干网络的对比中具有显著的改进。

基于改进Transformer模型的模板攻击

模板攻击是最强的侧信道攻击方法,然而传统模板攻击在处理高维特征数据时,可能会遇到数值计算问题。掩码策略是抵抗侧信道攻击的常见策略之一,其主要思想是利用随机掩码使密码算法运行过程中的敏感信息泄露能耗随机化。针对传统模板攻击存在的问题和加掩抵抗策略,本文重点研究了在机器翻译领域取得了显著成果的Transformer网络模型,首次提出了一种基于Transformer网络模型的模板攻击新方法。为了使适用于机器翻译的神经网络适应侧信道一维数据特征,本文对网络模型结构进行了适当的调整。实验对加掩防护的AES128算法采集能耗曲线,选取第一轮第三个S盒的输出作为攻击点,分别采用了多层感知机、一维卷积神经网络和基于改进Transformer的神经网络模型建立模板。最终实验结果表明,改进Transformer模型的卷积层在训练过程中会结合能量迹的不同兴趣点进行学习,自注意力机制能够赋予大的权值给重要的特征来提取出对模型分类重要的兴趣点,由此基于改进Transformer模型的模板攻击能够成功实现对带掩防护数据集的攻击,且需要的能迹数少于多层感知机和一维卷积神经网络。

基于Transformer模型的滚动轴承剩余使用寿命预测方法

准确的滚动轴承剩余使用寿命(RUL)预测对保证机械安全运行和减小维修损失起着至关重要的作用。为提高滚动轴承RUL预测准确率,提出一种基于Transformer模型的轴承RUL预测方法,充分利用其自注意力机制与编码器-解码器结构的优势,解决轴承RUL预测中序列过长而导致的记忆力退化问题,挖掘出输入特征与轴承RUL之间复杂映射关系。同时,采用三角函数变换与累积变换来修正输入特征的单调性与趋势性,使其能更好地表征滚动轴承的退化过程。在PHM2012数据集上的实验结果表明:所提方法相比于对比方法平均绝对误差分别降低了9.25%、28.63%、34.14%,平均得分分别提高了2.78%、19.79%、29.38%;在XJTU-SY数据集上的实验结果表明,所提方法相比于对比方法均方根误差降低了17.4%,平均得分提高了18.6%,进一步证明了其可行性与优越性。

基于改进Transformer模型的运动想象脑电分类方法研究

运动想象(MI)脑电信号本身是由一组较长且连续的特征值组成的信号序列,传统Transformer模型无法捕捉较长序列之间的依赖,设置固定长度的序列又会产生碎片化问题,因此有待进一步调整和优化。针对上述问题,在传统Transformer模型中加入了片段重用的循环机制和重用之前片段信息的相对位置编码机制,使Transformer模型能够学习更长特征序列的特征信息,同时解决重用片段之间的位置编码信息错乱和重用等问题。然后,通过并行多分支CNN进一步捕捉脑电局部特征。最后,利用竞赛数据集2008 BCI-Competition 2A对改进的Transformer模型性能进行评估。结果表明,在不做任何人工特征提取的前提下,对于四分类数据集,改进Transformer模型的平均准确率和kappa值分别为94.27%和87.34%。

基于光谱-空间联合Transformer模型的黄河三角洲湿地高光谱影像分类

黄河三角洲湿地地物类型在光谱曲线上差异较小,且在空间上分布零散,呈破碎化特性。现有的分类方法受限于局部感受野难以捕捉到图像的长距离依赖关系,导致在黄河三角洲湿地高光谱影像中分类精度不理想,针对此问题,本文提出了一种光谱-空间联合Transformer模型。光谱和空间支路分别以光谱向量和空间邻域为输入,基于自注意力机制提取全局光谱和空间特征,在两个支路引入多阶特征交互层,实现浅层边缘信息和深层语义信息的融合,最后采用自适应相加的方式将两路特征融合,送入分类器实现最终分类。本文在黄河三角洲湿地高分五号GF-5和CHRIS两幅高光谱影像上验证方法的有效性,实验结果表明,该方法显著提高了湿地分类的精度,在选用3%的样本训练条件下总体精度分别达到了90.90%和94.17%,优于其他分类方法。研究结果可实现黄河三角洲湿地地物类型的高精度分类,为湿地的保护提供技术支持。

基于预训练的Swin Transformer模型构建及其对糖尿病视网膜病变的诊断效能分析

目的构建基于预训练的Swin Transformer模型,分析其对糖尿病视网膜病变诊断的效能。方法在数据建模及数据分析竞赛平台(https://www.kaggle.com/competitions/aptos2019-blindness-detection)下载APTOS 2019 Blindness Detection竞赛的训练数据集。使用OpenCV图像处理库通过更改亮度、不同角度翻转和直方图均衡化的方式来增广数据,共得到9160张彩色眼底图片作为完整数据集。构建预训练的Swin Transformer模型对图片进行病变等级分类,与预训练的Vision Transformer、EfficientNetV2、ResNet-50和GoogLeNet四个神经网络模型的训练结果进行对比。还与非预训练的随机初始化参数的Swin Transformer模型对比分析预训练对于模型的影响。结果基于预训练的Swin Transformer模型的二次加权Kappa值为0.977,准确率达94.6%,相较于Vision Transformer、EfficientNetV2、ResNet-50和GoogLeNet模型的准确率分别提高了1.9%、2.3%、5.4%和7.1%;相较于不使用预训练的Swin Transformer模型,准确率提高4.4%,训练轮数减少近400次。结论基于预训练的Swin Transformer模型对糖尿病视网膜病变的诊断准确率高,有较好的临床应用价值。