基于Transformer的状态−动作−奖赏预测表征学习

为了提升具有高维动作空间的复杂连续控制任务的性能和样本效率,提出一种基于Transformer的状态−动作−奖赏预测表征学习框架(Transformer-based state-action-reward prediction representation learning framework,TSAR).具体来说,TSAR提出一种基于Transformer的融合状态−动作−奖赏信息的序列预测任务.该预测任务采用随机掩码技术对序列数据进行预处理,通过最大化掩码序列的预测状态特征与实际目标状态特征间的互信息,同时学习状态与动作表征.为进一步强化状态和动作表征与强化学习(Reinforcement learning,RL)策略的相关性,TSAR引入动作预测学习和奖赏预测学习作为附加的学习约束以指导状态和动作表征学习.TSAR同时将状态表征和动作表征显式地纳入到强化学习策略的优化中,显著提高了表征对策略学习的促进作用.实验结果表明,在DMControl的9个具有挑战性的困难环境中,TSAR的性能和样本效率超越了现有最先进的方法.

视觉Transformer(ViT)发展综述

视觉Transformer(Vision Transformer,ViT)是基于编码器-解码器结构的Transformer改进模型,已经被成功应用于计算机视觉领域。近几年基于ViT的研究层出不穷且效果显著,基于该模型的工作已经成为计算机视觉任务的重要研究方向,因此针对近年来ViT的发展进行概述。首先,简要回顾了ViT的基本原理及迁移过程,并分析了ViT模型的结构特点和优势;然后,根据各ViT变体模型的改进特点,归纳和梳理了基于ViT的主要骨干网络变体改进方向及其代表性改进模型,包括局部性改进、结构改进、自监督、轻量化及效率改进等改进方向,并对其进行分析比较;最后,讨论了当前ViT及其改进模型仍存在的不足,对ViT未来的研究方向进行了展望。可以作为研究人员进行基于ViT骨干网络的研究时选择深度学习相关方法的一个权衡和参考。

基于Transformer的动态双重处理动作识别框架

该框架采用双重处理策略:图像处理采用掩码图像建模,视频处理采用掩码视频建模。提出了一种新的自适应变压器,该变压器包含一种新的掩码方案,通过旋转掩码算法获得每帧的掩码,在掩码过程中保证一定的时空相关性,增强了模型的上下文感知能力。在主干中提出残差自适应块,有效地利用模型提取的特征信息进行动作分类。引入三维局部特征学习,提高特征表达能力,便于场景理解。在SSV2和Kinetics-400上进行了实验,结果证明了该模型的有效性。准确率分别为71.3%和81.4%。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

ConvFormer:基于Transformer的视觉主干网络

针对主流Transformer网络仅对输入像素块做自注意力计算而忽略了不同像素块间的信息交互,以及输入尺度单一导致局部特征细节模糊的问题,本文提出一种基于Transformer并用于处理视觉任务的主干网络ConvFormer. ConvFormer通过所设计的多尺度混洗自注意力模块(Channel-Shuffle and Multi-Scale attention,CSMS)和动态相对位置编码模块(Dynamic Relative Position Coding,DRPC)来聚合多尺度像素块间的语义信息,并在前馈网络中引入深度卷积提高网络的局部建模能力.在公开数据集ImageNet-1K,COCO 2017和ADE20K上分别进行图像分类、目标检测和语义分割实验,ConvFormer-Tiny与不同视觉任务中同量级最优网络RetNetY-4G,Swin-Tiny和ResNet50对比,精度分别提高0.3%,1.4%和0.5%.

基于Transformer紧凑编码的局部近重复视频检测算法

针对现有局部近重复视频检测算法特征存储消耗大、整体查询效率低、提取特征时并未考虑近重复帧之间细微的语义差异等问题,文中提出了一种基于Transformer紧凑编码的局部近重复视频检测算法。首先,提出了一个基于Transformer的特征编码器,其学习了大量近重复帧之间细微的语义差异,可以在编码帧特征时对各个区域特征图引入自注意力机制,在有效降低帧特征维度的同时也提高了编码后特征的表示性。该特征编码器通过孪生网络训练得到,该网络不需要负样本就可以有效学习近重复帧之间的相似语义信息,因此无需沉重和困难的难负样本标注工作,使得训练过程更加简易和高效。其次,提出了一个基于视频自相似度矩阵的关键帧提取方法,可以从视频中提取丰富但不冗余的关键帧,从而使关键帧特征序列能够更全面地描述原视频内容,提升算法的性能,同时也大幅减少了存储和计算冗余关键帧带来的开销。最后,基于关键帧的低维紧凑编码特征,采用基于图网络的时间对齐算法,实现局部近重复视频片段的检测和定位。该算法在公开的局部近重复视频检测数据集VCDB上取得了优于现有算法的实验性能。

基于改进Transformer的电力负载预测

针对电力负载预测任务,提出了一种改进的Transformer模型。使用全连接层替换原来的解码器结构,在降低模型复杂度的同时使模型更加契合电力负载数据,使用AdamW方法优化了深度学习中普遍存在的权重衰减处理上的缺陷。实验结果表明,在洛杉矶、纽约和萨克拉门托三个城市的真实电力负载数据集上,相较于ELM、RNN、LSTM和传统的Transformer模型,改进的Transformer模型可以更准确地进行电力负载预测。

基于多域信息融合的卷积Transformer脑电情感识别模型

当前脑电信号的情感识别方法很少融合空间、时间和频率信息,并且大多数识别方法只能提取局部的脑电特征,在全局信息关联方面存在着局限性。本文提出了一种基于多域信息融合的三维特征卷积神经网络Transformer机制(3D-CNN-Transformer mechanism, 3D-CTM)模型的脑电情感识别方法。该方法首先根据脑电信号的特性设计了一种三维特征结构,同时融合脑电信号的空间、时间以及频率信息;然后采用卷积神经网络模块学习多域信息融合的深层特征,再连接Transformer自注意力模块,提取特征信息内的全局关联性;最后利用全局平均池化整合特征信息进行分类。实验结果表明,3D-CTM模型在SEED数据集上的三分类平均准确率达到96.36%,在SEED-Ⅳ数据集上的四分类平均准确率达到87.44%,有效地提高了情感识别精度。

结合极化自注意力和Transformer的结直肠息肉分割方法

针对传统结直肠息肉图像分割方法存在的目标分割不够精确、对比度不足,以及边缘细节模糊等问题,文中结合极化自注意力和Transformer提出了一种新的结直肠息肉图像分割方法。首先,设计了一种改进的相位感知混合模块,通过动态捕捉Transformer结直肠息肉图像的多尺度上下文信息,以使目标分割更加精确。其次,在新方法中引入了极化自注意力机制,实现了图像的自我注意力强化,使得到的图像特征可以直接用于息肉分割任务中,以达到提高病灶区域与正常组织区域对比度的目的。另外,利用线索交叉融合模块加强动态分割时对图像几何结构的捕捉能力,以达到提升结果图像边缘细节的目的。实验结果表明,文中提出的方法不仅能够有效地提升结直肠息肉分割的精确度和对比度,并且还能够较好地克服分割图像细节模糊的问题。在数据集CVC-ClinicDB、Kvasir、CVC-ColonDB和ETIS-LaribPolypDB上的测试结果表明,文中所提新方法能够取得更好的分割效果,其Dice相似性指数分别为0.946、0.927、0.805和0.781。

基于Transformer的航空器航迹预测研究

为进一步提高航空器航迹预测精度,结合编码器-解码器结构和多头自注意力机制,构建了基于Transformer的航空器航迹预测模型。研究以航空器机载快速存取记录器(QAR)设备数据为研究内容,按8:2的比例划分模型训练集和测试集,提取经纬度、高度、速度等航迹特征构造航迹特征向量,输入Transformer预测模型进行训练。利用MSE和绝对系数R2模型评价指标,对Transformer模型、LSTM模型和BP模型的预测结果进行评估对比。评估结果表明,Transformer航迹预测模型相比其他两种预测模型,具有更高的预测精度。

LNG-Transformer:基于多尺度信息交互的图像分类网络

鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。

宽卷积局部特征扩展的Transformer网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。

基于Transformer的矿井内因火灾时间序列预测方法

传统的基于机器学习的矿井内因火灾预测方法尽管具备一定的预测能力,然而在处理复杂的多变量数据时不能有效捕捉数据间的全局依赖关系,导致预测精度较低。针对上述问题,提出了一种基于Transformer的矿井内因火灾时间序列预测方法。首先,采用Hampel滤波器和拉格朗日插值法对数据进行异常值检测和缺失值填补。然后,利用Transformer的自注意力机制对时间序列数据进行特征提取及趋势预测。最后,通过调节滑动窗口的大小与步长,在不同的时间步长和预测长度下对模型进行不同时间维度的训练。结合气体分析法将矿井火灾产生的标志性气体(CO,O_(2),N_(2),CO_(2),C_(2)H_(2),C_(2)H4,C_(2)H_(6))作为模型输入变量,其中CO作为模型输出的目标变量,O_(2),N_(2),CO_(2),C_(2)H_(2),C_(2)H4,C_(2)H_(6)作为模型输入的协变量。选取陕煤集团柠条塔煤矿S1206回风隅角火灾预警的束管数据进行实验验证,结果表明:①对CO进行单变量预测和多变量预测,多变量预测相比单变量预测有着更高的预测精度,说明多变量预测能通过捕捉序列间的相关性提高模型的预测精度。②当时间步长固定时,基于Transformer的矿井内因火灾预测模型的预测精度随着预测长度的增加而下降。当预测长度固定时,模型的预测精度随时间步长增加而提高。③Transformer算法的预测精度较长短时记忆(LSTM)算法和循环神经网络(RNN)算法分别提高了7.1%~12.6%和20.9%~24.9%。

面向图像分类的视觉Transformer研究进展

Transformer是一种基于自注意力机制的深度学习模型,在计算机视觉中展现出巨大的潜力。而在图像分类任务中,关键的挑战是高效而准确地捕捉输入图片的局部和全局特征。传统方法使用卷积神经网络的底层提取其局部特征,并通过卷积层堆叠扩大感受野以获取图像的全局特征。但这种策略在相对短的距离内聚合信息,难以建立长期依赖关系。相比之下,Transformer的自注意力机制通过直接比较特征在所有空间位置上的相关性,捕捉了局部和全局的长距离依赖关系,具备更强的全局建模能力。因此,深入探讨Transformer在图像分类任务中的问题是非常有必要的。首先以Vision Transformer为例,详细介绍了Transformer的核心原理和架构。然后以图像分类任务为切入点,围绕与视觉Transformer研究中的性能提升、计算成本和训练优化相关的三个重要方面,总结了视觉Transformer研究中的关键问题和最新进展。此外,总结了Transformer在医学图像、遥感图像和农业图像等多个特定领域的应用情况。这些领域中的应用展示了Transformer的多功能性和通用性。最后,通过综合分析视觉Transformer在图像分类方面的研究进展,对视觉Transformer的未来发展方向进行了展望。

引入轻量级Transformer的自适应窗口立体匹配算法

现有端到端的立体匹配算法为了减轻显存消耗和计算量而预设固定视差范围,在匹配精度和运行效率上难以平衡。提出一种基于轻量化Transformer的自适应窗口立体匹配算法。利用具有线性复杂度的坐标注意力层对低分辨率特征图进行位置编码,减轻计算量并增强相似特征的辨别力;设计轻量化Transformer特征描述模块,转换上下文相关的特征,并引入可分离多头自注意力层对Transformer进行轻量化改进,降低Transformer的延迟性;用可微匹配层对特征进行匹配,设计自适应窗口匹配细化模块进行亚像素级的匹配细化,在提高匹配精度的同时减少显存消耗;经视差回归后生成无视差范围的视差图。在KITTI2015、KITTI2012和SceneFlow数据集上的对比实验表明,该算法比基于标准Transformer的STTR在匹配效率上快了近4.7倍,具有更快的运行速度和更友好的存储性能;比基于3D卷积的PSMNet误匹配率降低了18%,运行时间快了5倍,实现了更好的速度和精度的平衡。

结合梯度指导和局部增强Transformer的图像去模糊网络

模糊图像不仅影响人类感知还会影响后续计算机视觉任务的性能,例如自动驾驶系统和户外监控系统中的视觉算法.针对以往基于深度学习的去模糊方法感受野较小,不能动态适应输入内容和重建图像细节信息困难等问题,提出了一种基于Transformer的图像去模糊网络.网络包含两个分支:图像内容分支和梯度分支,每条分支均以具有窗口机制的Transformer作为主干,通过梯度分支的信息指导图像去模糊重建,能够更好地恢复图像的边缘和纹理.同时,为了充分利用图像的内容信息和梯度信息,本文还设计了一个交互式融合模块来有效融合特征信息.此外,本文通过在Transformer块的自注意力机制和前馈网络中引入卷积来解决Transformer对局部信息建模不足的问题.在合成数据集和真实数据集上的大量实验结果表明,提出的算法能有效去除复杂模糊并且恢复清晰的细节,在定量指标和视觉效果上均优于目前的主流去模糊算法.

基于双通道Transformer的地铁站台异物检测

Transformer因其全局注意力优势在异物检测上取得了比卷积神经网络(CNN)更具竞争力的结果,但依然面临计算成本高、输入图像块尺寸固定、局部与全局信息交互匮乏等问题。提出一种基于双通道Transformer骨干网络、金字塔轻量化Transformer块和通道交叉注意力机制的DualF ormer模型,用以检测地铁站台屏蔽门与列车门间隙中存在的异物。针对输入图像块尺寸固定的问题,提出双通道策略,通过设计2种不同的特征提取通道对不同尺度的输入图像块进行特征提取,增强网络对粗、细粒度特征的提取能力,提高对多尺度目标的识别精度;针对计算成本高的问题,构建金字塔轻量化Transformer块,将级联卷积引入到多头自注意力(MHSA)模块中,并利用卷积的维度压缩能力来降低模型的计算成本;针对局部与全局信息交互匮乏的问题,提出通道交叉注意力机制,利用提取到的粗细粒度特征在通道层面进行交互,优化局部与全局信息在网络中的权重。在标准化地铁异物检测数据集上的实验结果表明,DualFormer模型参数量为1.98×10^(7),实现了89.7%的精度和24帧/s的速度,优于对比的Transformer检测算法。

EXTENDED SELF SIM ILARITY OF PASSIVE SCALAR IN RAYLEIGH-BNARD CONVECTION FLOW BASED ON WAVELET TRANSFORM

Wavelet transform is used to analyze the scaling rule of temperature data (passive scalar) in Rayleigh Bénard convection flow from two aspects. By utilizing the method of extended self similarity (ESS), one can find the obtained scaling exponent agrees well with the one obtained from the temperature data in a experiment of wind tunnel. And then we propose a newly defined formula based on wavelet transform, and can determine the scaling exponent ξ(q) of temperature data. The obtained results demonstrate that we can correctly extract ξ(q) by using the method which is named as wavelet transform maximum modulus (WTMM).

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果.

EXTENDED SELF SIMILARITY OF PASSIVE SCALAR IN RAYLEIGH-BNARD CONVECTION FLOW BASED ON WAVELET TRANSFORM

Wavetet transform was used to analyze the scaling law of temperature data (passive scalar) in Rayleigh-Bénard convection flow from two aspects. The first one was to utilize the method of extended self similarity, presented first by Benzi et al., to study the scaling exponent of temperature data. The obtained results show that the inertial range is much wider than that one determined directly from the conventional structure function, and find the obtained scaling exponent agrees well with the one obtained from the temperature data in an experiment of wind tunnel. The second one was that, by extending the formula which was proposed by A. Arneodo et al. for extracting the scaling exponent ζ(q) of velocity data to temperature data, a newly defined formula which is also based on wavelet transform, and can determine the scaling exponent ξ(q) of temperature data was proposed. The obtained results demonstrate that by using the method which is named as WTMM (wavelet transform maximum modulus) ξ(q) correctly can be extracted.