基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

Transformer模型和迁移学习在地震P波和噪声判别中的应用研究

准确可靠地区分地震和噪声信号对于地震危险性分析和地震预警至关重要.然而, 无处不在且复杂的噪声信号使这项任务充满挑战.针对中国和日本数据的差异, 本研究在深度学习模型训练过程中采取了不同的策略来区分地震和噪声信号.首先, 鉴于日本数据丰富, 直接训练一个Transformer模型, 该模型在日本的判别准确率为99.82%.其次, 为缓解数据不平衡, 对中国地震数据采用了随机滑动波形窗进行增强.还使用中国数据对预先训练的日本模型进行了微调, 以更好地适应中国数据集.经过微调后, 模型在中国的判别准确率为99.47%.结果表明, 使用原始波形训练的深度学习模型进行地震事件判别时能够取得很高的准确率.此外, 迁移学习模型在门源6.9级地震和漾濞序列震中得到了良好的验证, 表明迁移学习在台网稀疏地区的应用是有效的, 这为地震学和地震预警提供了一种潜在的方法.

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

改良Transformer模型应用于乳腺结节超声报告自主生成的可行性研究

目的将改良Transformer模型应用于乳腺结节超声报告自主生成,并对其可行性进行初步探讨。方法收集832例乳腺结节患者(共1284个结节)的超声图像构建BND数据集,引入一种改良Transformer模型对BND数据集进行智能分析,生成相应文本报告,并与Ensemble Model、SSD、R-FCN模型进行比较;同时引入LGK数据集,将改良Transformer模型与TieNet、Kerp、VTI、RNCM模型进行比较。采用BLEU评分评估各模型的性能。结果在BND数据集中,改良模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.547、0.474、0.352、0.282,均高于Ensemble Model、SSD、R-FCN模型。在LGK数据集中,改良Transformer模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.579、0.391、0.288、0.152。结论改良Transformer模型能够快速识别乳腺结节并自主生成标准报告,与Ensemble Model、SSD、R-FCN模型相比,获得了良好的BLEU评分,同时该模型在LGK数据集中BLEU评分也较高,表明改良Transformer模型具有较高的文本泛化性能。

基于双模态Transformer模型的话务量预测

为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。

面向用电负荷分解的特征融合与Transformer模型

针对目前非侵入式负荷分解中存在的特征提取不充分、分解精度较低等问题,本文提出了一种基于特征融合与Transformer的负荷分解模型MulTrm。首先使用滑动窗口法对负荷数据进行处理,增加训练样本数量;接着采用多个不同尺寸的卷积块提取总负荷功率值的多尺度特征并进行融合,同时结合总负荷序列中的位置特征,以获取更加丰富的特征信息;然后通过Transformer中的多头自注意力机制扩大感受野,以更好地捕获用电负荷序列中蕴含的长距离依赖关系,从而提高模型的分解精度;最后通过反卷积层和全连接层将特征映射为电器负荷序列,实现负荷分解。通过在REDD数据集和UK-DALE数据集上进行实验,验证了MulTrm模型的有效性。

面向Transformer模型的轻量化方法研究

随着Transformer模型的改进与发展,模型的参数数量显著增加,使得Transformer模型及其衍生模型需要消耗大量的计算资源和存储资源。文章提出一种基于知识蒸馏的新的Transformer模型轻量化方法:使用预训练好的BERT模型(Bidirectional Encoder Representation from Transformers)作为教师模型,设计学生模型卷积神经网络(Convolutional Neural Network,CNN),加入注意力机制的循环神经网络(Recurrent Neural Network,RNN)和全连接神经网络(Full Connect Neu-ral Network,DNN),并采用logits和matching logits两种蒸馏方法,实现模型的轻量化。实验结果表明,当将BERT模型蒸馏给CNN时,参数数量减少93.46%,运行速度提升30余倍,在小规模数据集上准确率仅下降0.70%;当将BERT蒸馏给加入注意力机制的RNN时,参数数量减少了93.38%,速度提升100余倍,模型准确率轻微下降;当将DNN作为学生模型时,参数数量减少了93.77%,速度提升了200余倍,在大规模数据集上,准确率仅下降0.02%。

融合增量学习与Transformer模型的股价预测研究

股票价格预测一直是金融研究和量化投资共同关注的重点话题。当前股价预测的深度学习模型多数基于批处理学习设置,这要求训练数据集是先验的,这些模型面对实时的数据流预测是不可扩展的,当数据分布动态变化时模型的预测效果将会下降。针对现有研究对非平稳股票价格数据预测精度不佳的问题,提出一种基于增量学习和持续注意力机制的在线股价预测模型(Increformer),通过持续自注意力机制挖掘特征变量之间的时序依赖关系,采用持续归一化机制处理数据非平稳问题,基于弹性权重巩固的增量训练策略获取数据流中的新知识,提高预测精度。在股票市场的股指与个股价格序列中选取五个公开数据集进行实验。实验结果表明,Increformer模型能够有效挖掘数据的时序信息以及特征维度的关联信息从而提高股票价格的预测性能。通过消融实验评估了Increformer模型的持续归一化机制、持续注意力机制以及增量训练策略的效果及必要性,验证了所提模型的准确性与普适性,Increformer模型能够有效捕捉股票价格序列的趋势与波动。

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别(re-identification,ReID)是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计和Transformer模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。基于国际公开的数据集Occluded-Duke开展实验验证。结果表明:PT-Net方法相对于基线模型,其均值平均精度(mAP)和相似度排序Rank-1指标分别提高了1.3、1.5个百分点,验证了该方法的有效性和优越性。

基于Transformer模型的轨道交通机器翻译系统设计

针对商用机器翻译引擎安全性无法保证、专业化领域翻译精准度低、翻译服务方式单一等问题,通过神经网络模型、知识蒸馏方法、专业语料库构建等技术,设计基于Transformer模型的轨道交通机器翻译系统——“铁译通”,实现文本翻译、文档翻译、Office插件翻译、浏览器插件翻译等多元化功能。应用表明,该系统可为行业用户提供专业化、多元化、定制化、安全性强的机器翻译服务。

一种基于Transformer模型的特征增强算法及其应用研究

Transformer模型在自动语音识别(ASR)任务中展现出优秀的性能,但在特征提取方面存在两个问题:一是模型集中于全局特征交互信息提取,忽略了其他有用的特征信息,如局部特征交互信息;二是模型对低层特征交互信息的利用不够充分。为了解决这两个问题,提出了卷积线性映射(CMLP)模块以强化局部特征交互,并设计低层特征融合(LF)模块来融合高低层特征。通过整合这些模块,构建了CLformer模型。在两个中文普通话数据集(Aishell-1和HKUST)上进行实验,结果表明,CLformer显著提升了模型性能,在Aishell-1上较基线提高0.3%,在HKUST上提高0.5%。

基于MLP和Transformer模型的大气温度预测

文章以运城市2015年1月1日至2020年12月21日期间监测的大气温度数据作为研究的基础资料,运用MLP模型和Transformer模型,预测了运城市大气温度。由于温度数据具有很强的时序性,对MLP模型与Transformer模型,各选取了两层、四层(MLP-2、MLP-4、Transformer-2、Transformer-4),进行了3天、5天、7天多组试验对比。结果显示:MLP-4模型7天的均方误差为3.2649,Transformer-4模型3天的均方误差为5.3767,预测精度都比较高,且MLP模型预测温度的精度高于Transformer模型预测温度的精度;MLP-2模型的均方误差分别为3.2662、3.2996、3.3579,MLP-4模型的均方误差分别为3.2674、3.2996、3.2649,均方误差有变化,但比较平稳;Transformer-2模型的均方误差分别为5.6225、5.9491、5.3892,Transformer-4模型的均方误差分别为5.3767、6.3787、6.1108,增加模型层数和参数量,均方误差增大,存在过拟合现象。运用Transformer模型进行预测,出现过拟合现象,原因是Transformer模型太过庞大(接近四百万个参数),而研究数据只有1531组,即使使用Weight decay和Dropout正则化的方法,仍然过拟合文章中提供的1531组研究数据,使其预测精度出现一定程度的下降。

基于Transformer模型的四旋翼无人机时空协同航迹预测方法设计

无人机在执行任务时面临的飞行环境复杂多变,为了减少事故的风险,并在飞行时对异常情况进行预测和响应,研究一种基于Transformer模型的四旋翼无人机时空协同航迹预测方法;采集四旋翼无人机原始航迹,实施异常点剔除和缺失点插值处理,以优化和清理原始航迹数据,便于后续的航迹预测;使用卷积神经网络实施特征进行数据提取,通过编码和解码过程获取学习数据低维,结合深度学习和表示学习方法完成数据降维;基于Transformer模型实现无人机时空协同航迹的精准预测,通过数据异常点剔除与插值补缺,对采集的四旋翼无人机原始航迹数据实施预处理,提高数据的质量和完整性;实验测试结果表明,设计方法的预测结果虽然相对于真实的坐标点稍有偏差,然而整体结果在可接受范围内,验证集所有数据的均方误差在数据条数为300时仅为0.32 m,拟合优度指标测试结果最接近1,具有良好的航迹预测能力;该方法可以更好地优化无人机的航迹规划,实现多无人机之间的时空协同航迹规划,避免碰撞和冲突,并优化飞行效率。

面向Vision Transformer模型的剪枝技术研究

本文针对Vision Transformer(ViT)模型开展剪枝技术研究,探索了多头自注意力机制中的QKV(Query、Key、Value)权重和全连接层(Fully Connected,FC)权重的剪枝问题。针对ViT模型本文提出了3组剪枝方案:只对QKV剪枝、只对FC剪枝以及对QKV和FC同时进行剪枝,以探究不同剪枝策略对ViT模型准确率和模型参数压缩率的影响。本文开展的研究工作为深度学习模型的压缩和优化提供了重要参考,对于实际应用中的模型精简和性能优化具有指导意义。

基于Transformer模型的“暴力”虚开发票风险识别

自2016年“营改增”全面实施以来,与之相关的免税减税等税收优惠政策原旨在惠企助企、激发市场活力,但不法分子在巨额利润驱动下企图通过虚开增值税发票骗取出口退税、抵扣税款,严重扰乱了税收秩序。本文以“暴力”虚开发票的企业的犯罪特征为切入点,从基础征管数据和增值税发票数据中选取了24项虚开指标,构建了基于Transformer模型的虚开增值税发票识别模型,对虚开公司进行检测。实证分析表明Transformer模型对虚开增值税发票的识别召回率为0.934 7,准确率为0.986 9,AUC为0.963 9,显著优于SVM、Xgboost、MLP等传统机器学习模型,可辅助税务部门高效识别“暴力”虚开企业,节省人工筛查成本,对有效打击虚开增值税发票一类违法犯罪行为具有非常重要的实践意义。

基于Transformer模型的中文文本生成方法研究

文章研究了基于Transformer模型的中文文本生成方法,重点探讨了Transformer模型的编码器-解码器结构及其工作原理。在详细分析了编码器和解码器的工作机制后,文章利用Hugging Face Transformers开源模型进行了中文文本生成实验。结果表明,该方法在自制数据集上取得了良好的效果,其准确率、精确率和召回率分别达到92.5%、91.8%和90.6%。该研究不仅拓展了中文自然语言处理的理论基础,还为实际应用提供了高效的技术支持。

Transformer模型的优势及应用前景研究

文章分析了Transformer模型的主要优势,并探讨了其在各种应用领域的前景。首先,Transformer模型具有独特的自注意力机制,能够有效捕捉数据中的长距离依赖关系,使得模型在自然语言处理和图像识别等任务上表现出色。其次,相较于传统的循环神经网络,Transformer模型能大幅提高训练效率。最后,本文对Transformer模型在未来的发展方向做出了新的展望。

基于轻量化Transformer模型的多变量风电功率预测

风电功率预测对电力调度和新能源管理极为重要。为准确高效预测多变量风电功率,提出一种基于轻量化Transformer(Light Transformer)的风电功率预测方法。首先,采用滚动序列建模方法,确定输入数据,然后采用Transformer预测模型,改进和精简原始结构,在前馈网络模块中使用GeLU激活函数来代替传统的ReLU激活函数,提升模型的质量,轻量化网络结构,利用多头注意力机制,加快模型训练速度,提升预测模型精度。

生成式预训练Transformer模型的逻辑性优化方法

生成式预训练Transformer(Generative Pre-Trained Transformer,GPT)模型作为一种基于Transformer架构的预训练模型,在完成自然语言处理任务方面取得了巨大的成功。由于依赖于生成下一个词的局部贪婪过程,使对任务或输出的全局理解、逻辑推理和道德法规约束能力不够。为了提升计算的逻辑性和可靠性,结合的生成型计算过程,论述计算结果的逻辑局限性,从而引入一类和逻辑计算模型混合的优化结构。

基于小波变换和CNN-Transformer模型的测井储层流体识别

针对具有复杂储集空间和极强的非均质性的低孔低渗储层,常规测井响应特征不够明显,使用传统解释手段难以有效识别储层流体的问题,提出了一种基于小波变换和CNN-Transformer混合模型的储层流体识别方法。首先,使用小波变换将测井信号从时域扩展到时频域,并生成时频谱图以增强信号特征,然后使用滑动时窗沿着测井曲线深度方向滑动采样,获取代表解释深度处地层信息的频谱特征图,最后,通过训练CNN-transformer模型深度挖掘特征图信息,实现储层流体识别。混合模型在利用储层对应深度处测井数据的同时,又兼顾测井曲线随深度的变化趋势和地层前后信息的关联性,挖掘时频谱图的局部细节和全局特征表示,自动识别流体类型。将模型应用于大港油田22口实测测井资料中,并与CNN和BiLSTM等多个模型的流体识别效果进行对比分析,基于小波变换和CNN-Transformer模型识别效果明显优于其他方法,在测试集上识别准确率达到了92.7%。研究结果表明该方法可以作为低孔渗油藏常规测井资料识别储层流体的有效手段,为流体评价提供了新思路。