基于残差U-Net和自注意力Transformer编码器的磁场预测方法

利用有限元方法对几何结构复杂的电机和变压器进行磁场分析,存在仿真时间长且无法复用的问题。因此,该文提出一种基于残差U-Net和自注意力Transformer编码器的磁场预测方法。首先建立永磁同步电机(PMSM)和非晶合金变压器(AMT)有限元模型,得到深度学习训练所需的数据集;然后将Transformer模块与U-Net模型结合,并引入短残差机制建立ResUnet-Transformer模型,通过预测图像的像素实现磁场预测;最后通过Targeted Dropout算法和动态学习率调整策略对模型进行优化,解决拟合问题并提高预测精度。计算实例证明,ResUnet-Transformer模型在PMSM和AMT数据集上测试集的平均绝对百分比误差(MAPE)均小于1%,且仅需500组样本。该文提出的磁场预测方法能减少实际工况和多工况下精细模拟和拓扑优化的时间和资源消耗,亦是虚拟传感器乃至数字孪生的关键实现方法之一。

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。

多尺度卷积结合Transformer的抑郁脑电分类研究

在通过深度学习模型进行抑郁症类脑电信号分析时,针对单一尺度的卷积存在特征提取不充分的问题和卷积神经网络在感知脑电信号全局依赖性方面的局限性,分别设计了多尺度动态卷积网络模块和门控Transformer编码器模块,并与时间卷积网络相结合,提出了混合网络模型(MGTTCNet)进行抑郁症患者和健康对照组的脑电信号分类。该模型首先通过多尺度动态卷积从空间域和频率域捕捉脑电信号的多尺度时频信息。其次通过门控Transformer编码器学习脑电信号中的全局依赖关系,其利用多头注意力机制有效增强网络表达相关脑电信号特征的能力。之后利用时间卷积网络提取脑电信号可用的时间特征,最后将提取的抽象特征输入到分类模块进行分类。在公开数据集MODMA上用留出法和十折交叉验证法对提出模型进行实验验证,分别取得了约98.51%和98.53%的分类准确率,相较于基线单尺度模型EEGNet,分类准确率分别提升了约1.89%和1.93%,F1值分别提升了约2.05%和2.08%,kappa系数值分别提高了约0.038 1和0.038 5;同时消融实验验证了文中设计的各个模块的有效性。

基于Swin Transformer和CNN的汉字书法教学系统

针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer,ST)模型和卷积神经网络(Convolutional Neural Network,CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识别准确率约为91.6%,较传统的ST模型提升了约0.5个百分点,较传统的CNN模型与ST模型,在收敛速度上分别提升了约10和30个百分点,开发的汉字书法教学系统性能良好。

基于CTC与Transformer的普通话单音节发音错误检测

提出CTC与Transformer结合的端到端模型,使用多编码器和字层级一致的方法,降低在复杂录制环境下的识别错误率.该端到端模型在自建数据集PSC_Monosyllable的测试集上的词错误率为5.6%.通过预训练,可以实现发音错误检测的正误分类,且比传统机器学习模型检测结果性能提升了16%,有效地提升了发音错误检出率,得出了较好的结果,检测率为0.589.

基于改进Transformer-BiLSTM的人体活动识别模型

针对可穿戴传感器采集的时间序列往往具有维度高、噪声大等缺点导致活动识别方法准确率下降的问题,提出了基于改进Transformer-BiLSTM的人体活动识别模型。模型采用了Transformer编码器在处理长距离依赖和并行化计算方面的优势来提高序列特征提取的效率;随后将特征传递给添加了跳跃残差连接的双向长短期记忆网络,两次残差连接代替大量卷积层的同时保留了有效信息;提出了一种集成有时间信息编码的注意力层增强了模型的表达能力和对时序数据的理解能力。实验结果表明,该模型在公开数据集上的准确率达到了98.38%,有效提高了人体活动识别的准确率。

基于Transformer的司法文书命名实体识别方法

命名实体识别是自然语言处理领域的关键任务之一,是实现下游任务的基础。目前针对司法领域的相关研究相对较少,司法系统的信息化和智能化转型仍有许多问题亟需解决。相比其他领域的文本,司法文书存在专业性强、语料资源少等局限,导致现有的司法文书识别结果较低。因此,从以下3方面开展研究:首先,提出了一种多标签层级迭代的文本标注方式,可以对原始司法文书文本进行自动化标注,同时有效地提升司法文书命名实体识别任务的实体识别效果;其次,提出了一种交融式的Transformer神经网络模型,对汉字固有属性的深层特征进行了充分利用,用于对司法文书进行命名实体识别;最后,对所提出的标注方法和模型与其他神经网络模型进行了对比实验。所提出的文本标注方式可以较为准确地实现司法文书的标注任务;同时,所提出的模型在通用数据集中相对于对照模型有较大的提高,并在司法领域数据集中取得了良好的效果。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

融合CNN和Transformer的图像去噪网络

目前基于深度学习的图像去噪算法无法综合考虑局部和全局的特征信息,进而影响细节处的图像去噪效果,针对该问题,提出了融合CNN和Transformer的图像去噪网络(hybrid CNN and Transformer image denoising network,HCT-Net).首先,提出CNN和Transformer耦合模块(CNN and Transformer coupling block,CTB),构造融合卷积和通道自注意力的双分支结构,缓解单纯依赖Transformer造成的高额计算开销,同时动态分配注意力权重使网络关注重要图像特征.其次,设计自注意力增强卷积模块(self-attention enhanced convolution module,SAConv),采用递进式组合模块和非线性变换,减弱噪声信号干扰,提升在复杂噪声水平下识别局部特征的能力.在6个基准数据集上的实验结果表明,HCT-Net相比当前一些先进的去噪方法具有更好的特征感知能力,能够抑制高频的噪声信号从而恢复图像的边缘和细节信息.

基于时频图与视觉Transformer的滚动轴承智能故障诊断方法

基于循环神经网络的故障诊断方法在计算过程中难以保存间隔时间过长的信息且无法并行计算,在大型数据建模方面存在不足,为提高轴承故障诊断工作的效率及准确性,提出了一种基于短时傅里叶变换时频图与视觉Transformer(ViT)的轴承故障诊断方法:通过短时傅里叶变换将原始振动信号转换为二维时频图像,再将时频图作为特征图输入ViT网络中进行训练,详细分析网络参数对故障诊断性能和计算复杂度的影响,构建最优模型结构,最终实现轴承的故障诊断。采用凯斯西储大学和江南大学轴承数据对模型进行验证,结果表明该模型可以有效结合短时傅里叶变换在处理时变信号方面的优势和ViT网络强大的图像分类能力,具有更高的诊断精度和更好的泛化性、通用性。

面向樱桃番茄采摘识别的轻量化Transformer架构优化研究

为进一步提升穗收型樱桃番茄识别准确率和识别速度,实现设施环境番茄自动采摘,提出了一种基于改进Transformer的轻量化樱桃番茄穗态识别模型。首先,构建了包含不同光照环境和采摘姿态的樱桃番茄数据集,并对樱桃番茄果穗姿态进行了划分。然后,提出了一种基于改进RE-DETR的轻量化穗收樱桃番茄识别模型,通过引入一个轻量级的骨干网络EfficientViT替换RT-DETR原有的骨干网络,显著减少了模型参数和计算量;同时设计了一个自适应细节融合模块,旨在高效处理并融合不同尺度特征图,并进一步降低计算复杂度。最后,引入加权函数滑动机制和指数移动平均思想来优化损失函数,来处理样本分类中的不确定性。实验结果表明,该轻量化模型在保持高识别准确率(90%)的同时,实现了快速检测(41.2 f/s)和低计算量(8.7×10^(9) FLOPs)。与原始网络模型、Faster R-CNN和Swin Transformer相比,平均识别准确率提高1.24%~15.38%,每秒处理帧数(FPS)提高25.61%~255.17%,同时浮点运算量实现了69.37%~92.37%的大幅降低。该模型在综合性能上有着较强的鲁棒性,兼顾了精度与速度,可为番茄采摘机器人完成视觉任务提供技术支撑。

基于LSTM与Transformer的地面沉降智能预测方法研究——以上海市为例

受地面沉降严重威胁到生命财产安全的人口已达19%,开展地面沉降模拟预测对防灾减灾具有非常重要的现实意义。针对现有地面沉降预测在模型参数难以获取、单一深度学习方法在预测精度低等方面的局限性,本文提出了集成大模型核心技术的地面沉降预测方法。首先,从地面沉降模拟预测的顶层设计,提出了基于深度学习的地面沉降预测包括算力层、数据层、模型层、评估层与应用层的总体架构;其次,基于LSTM与Transformer提出了地面沉降预测的实用方法;最后,利用上海的地面沉降数据进行了实验研究。结果表明:深度学习技术可以在地面沉降模拟预测中取得较好的结果,多模型法对地面沉降变化不大、回弹、变化较大均可进行预测,iTransformer模型对地面沉降变化较小的情况预测效果较好;在微量地面沉降时代,利用大模型的核心技术Transformer可以取得较高的精度。

基于Transformer-CNN的轻量级图像超分辨率重建网络

针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部−全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU(Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR(Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。

基于Transformer和GAN的多元时间序列异常检测方法

在时序数据分析中,异常检测是最为成熟的应用之一。它在量化交易、网络安全检测、自动驾驶和大型工业设备日常维护等现实领域广泛应用。随着业务组合的复杂性和时序数据量的增加,传统的人工和简单算法方法很难判断异常点。针对上述问题,对现有的检测方法进行了改进,提出了一种基于Transformer和生成式对抗网络(Generative Adversarial Networks,GAN)的时间序列异常检测模型,利用改进后的Transformer对时间序列的空间特征进行提取,并使用基于异常分数的异常检测算法和对抗训练以获得稳定性和准确性。模型采用自监督训练的方式,避免了需要手动标注异常数据的麻烦,同时减少了数据集对于监督模型训练的依赖。通过实验验证,本文提出的基于Transformer的时间序列异常检测模型在准确率上与先进的基于Transformer的模型相当,并且表现优于多元时间序列的大型数据集上的监督训练和传统异常检测方法。因此,该模型在实际应用中具有较好的潜力。

基于改进双分支视觉Transformer的艺术绘画分类

随着艺术数字化的发展,迫切需要准确分析和整理艺术绘画藏品的智能系统,并基于艺术绘画的视觉元素发掘不同艺术属性之间关系。为此,提出基于改进视觉Transformer模型和特征优化算法提高艺术绘画分类的深度学习方法。首先,使用改进双分支视觉Transformer(CrossViT)从艺术绘画图像中提取特征。通过双分支架构提取共享特征,获得多尺度特征表示。设计跨任务融合阶段,使用单独的分支处理特定任务的图元,并通过跨注意力模块交换信息。其后,结合混沌游戏优化(CGO)算法和坚果夹优化器(NO)确定特定最优特征子集。CEC2022基准测试8个函数的算法测试结果验证了所提改进CGO算法的有效性。此外,在SemArt数据集上对艺术绘画进行类型、流派和时期分类任务的实验结果表明,所提方法能够基于不同任务需求准确完成艺术绘画分类,性能优于其他先进方法。

面向图像分类的视觉Transformer研究进展

Transformer是一种基于自注意力机制的深度学习模型,在计算机视觉中展现出巨大的潜力。而在图像分类任务中,关键的挑战是高效而准确地捕捉输入图片的局部和全局特征。传统方法使用卷积神经网络的底层提取其局部特征,并通过卷积层堆叠扩大感受野以获取图像的全局特征。但这种策略在相对短的距离内聚合信息,难以建立长期依赖关系。相比之下,Transformer的自注意力机制通过直接比较特征在所有空间位置上的相关性,捕捉了局部和全局的长距离依赖关系,具备更强的全局建模能力。因此,深入探讨Transformer在图像分类任务中的问题是非常有必要的。首先以Vision Transformer为例,详细介绍了Transformer的核心原理和架构。然后以图像分类任务为切入点,围绕与视觉Transformer研究中的性能提升、计算成本和训练优化相关的三个重要方面,总结了视觉Transformer研究中的关键问题和最新进展。此外,总结了Transformer在医学图像、遥感图像和农业图像等多个特定领域的应用情况。这些领域中的应用展示了Transformer的多功能性和通用性。最后,通过综合分析视觉Transformer在图像分类方面的研究进展,对视觉Transformer的未来发展方向进行了展望。

视觉Transformer在低级视觉领域的研究综述

Transformer是一种革命性的神经网络模型架构,最初为自然语言处理而设计,但其由于卓越的性能,在计算机视觉领域获得了广泛的应用。虽然关于Transformer在自然语言处理领域的应用有大量的研究和文献,但针对低级视觉任务的综述相对匮乏。简要介绍了Transformer的原理并分析归纳了几种变体。在低级视觉任务的应用方面,将重点放在图像恢复、图像增强和图像生成这三个关键领域。通过详细分析不同模型在这些任务中的表现,探讨了它们在常用数据集上的性能差异。对Transformer在低级视觉领域的发展趋势进行了总结和展望,提出了未来的研究方向,以进一步推动Transformer在低级视觉任务中的创新和发展。这一领域的迅猛发展将为计算机视觉和图像处理领域带来更多的突破,为实际应用提供更加强大和高效的解决方案。

结合CSWin-Transformer和门卷积的壁画图像修复方法

敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁画图像修复方法。构建由全局层网络和局部层门卷积残差密集网络组成的并行网络,利用条纹窗口增强图像特征提取能力,并通过门卷积残差块提升结构纹理修复的准确性。设计全局-局部特征融合模块来融合全局层和局部层输出的特征图像,以保持修复结果整体的一致性。通过建立共享注意力机制实现全局层和局部层之间的信息交互,同时为了完成破损壁画的修复,采用谱归一化马尔科夫判别模型进行对抗训练。通过对真实破损壁画的修复实验,结果表明,所提方法在主客观指标上均优于所对比的方法。

基于双域Transformer耦合特征学习的CT截断数据重建模型

目的为解决CT扫描视野(FOV)不足导致的截断伪影和图像结构失真问题,本文提出了一种基于投影和图像双域Transformer耦合特征学习的CT截断数据重建模型(DDTrans)。方法基于Transformer网络分别构建投影域和图像域恢复模型,利用Transformer注意力模块的远距离依赖建模能力捕捉全局结构特征来恢复投影数据信息,增强重建图像。在投影域和图像域网络之间构建可微Radon反投影算子层,使得DDTrans能够进行端到端训练。此外,引入投影一致性损失来约束图像前投影结果,进一步提升图像重建的准确性。结果Mayo仿真数据实验结果表明,在部分截断和内扫描两种截断情况下,本文方法DDTrans在去除FOV边缘的截断伪影和恢复FOV外部信息等方面效果均优于对比算法。结论DDTrans模型可以有效去除CT截断伪影,确保FOV内数据的精确重建,同时实现FOV外部数据的近似重建。

基于Transformer的网络流量预测研究

网络流量预测是网络流量分析领域中亟待解决的关键任务之一。现基于机器学习的预测方法大多忽略了流量的长相关性,并且处理大量数据时耗时长。针对以上问题,文中将Transformer用于网络流量预测,通过多头注意力机制捕获流量的远程序列关系,学习流量的全局依赖关系。实验结果表明,该方法可以提高预测精度,并能有效降低训练时间。