Scale transform algorithm used in FMCW SAR data processing

The frequency-modulated continuous-wave （FMCW） synthetic aperture radar （SAR） is a light-weight, cost-effective, high-resolution imaging radar, which is suitable for a small flight platform. The signal model is derived for FMCW SAR used in unmanned aerial vehicles （UAV） reconnaissance and remote sensing. An appropriate algorithm is proposed. The algorithm performs the range cell migration correction （RCMC） for continuous nonchirped raw data using the energy invariance of the scaling of a signal in the scale domain. The azimuth processing is based on step transform without geometric resampling operation. The complete derivation of the algorithm is presented. The algorithm performance is shown by simulation results.

Solving Schrodinger Equation with Non-Uniform Grids by Scale Transformation Method

A new scale transformation method is used in solving the Schrodinger equation. With it, the uniform grids in the discretization in conventional metho d are changed into non-uniform grids. Consequently, in some cases, the computing quantity will be greatly reduced at keeping the required accuracy. The calcul ation of the quantized inversion layer in MOS structure is used to demonstrate t he efficiency of the new method.

LNG-Transformer:基于多尺度信息交互的图像分类网络

鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.

基于Contextual Transformer的自动驾驶单目3D目标检测

针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。

多尺度局部特征和Transformer全局学习融合的发动机剩余寿命预测

飞机发动机剩余寿命(Remaining useful life,RUL)的准确预测对确保其安全性和可靠性至关重要.在基于多传感器检测数据预测时,需解决局部特征提取问题以全面捕捉设备在不同时间尺度下的退化趋势,并需解决时间序列中各元素之间长期依赖性的全局学习问题.因此,提出了结合多尺度局部特征增强单元(Multi-sacle local feature enhancement unit,MSLFU_BLOCK)和Transformer编码器的预测模型,称之为MS_Transformer.MSLFU_BLOCK利用堆叠的因果卷积逐层从时间序列数据中提取多尺度局部信息,同时避免了传统卷积计算中固有的未来数据泄漏问题.随后,Transformer编码器通过其自注意机制进一步捕获时间序列数据中的短期和长期依赖关系.通过将多尺度局部特征增强单元与Transformer编码器相结合,提出的MS_Transformer全面捕捉了时间序列数据中的局部和全局模式.在广泛使用的CMAPSS基准数据集上进行的消融和预测实验验证了模型的合理性和有效性.与13个先进预测模型的比较分析表明,MS_Transformer模型在操作条件更复杂的FD002和FD004数据集上的RMSE和Score指标优于其他模型,同时在四个数据集上的平均性能最优.该研究为发动机剩余寿命预测提供了更为可靠的解决方案.

基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

混合U型网络与Transformer的图像去模糊

针对现有去模糊方法不能有效地恢复图像精细细节的问题,提出了一种混合U型网络与Transformer的图像去模糊方法。首先,使用一个多尺度特征提取模块提取图像的浅层特征信息。然后,通过一个含逐级特征增强模块的层级嵌套U型子网络,在保留图像细节信息的同时获取图像深层特征信息。再次,构建了一个局部-全局残差细化模块,通过卷积神经网络和SwinTransformer之间的信息交互充分提取全局和局部信息,并实现特征信息的进一步细化。最后,使用一个1×1卷积层进行特征重建。所提方法在GoPro数据集上的实验结果显示,图像的峰值信噪比和结构相似度均值分别为32.92和0.964,均优于其他对比方法。实验结果表明,所提方法可以有效地去除模糊,重建出具有丰富细节的潜在清晰图像。

结合Swin Transformer的多尺度遥感图像变化检测研究

由于地物信息的复杂性及变化检测数据的多元性,遥感图像特征提取的充分性和有效性难以得到保证,导致变化检测方法获取的检测结果可靠性较低。虽然卷积神经网络(CNN)凭借有效提取语义特征的优势,被广泛应用于遥感领域的变化检测之中,但卷积操作固有的局部性导致感受野受限,无法捕获时空上的全局信息以至于特征空间对中远距离依赖关系的建模受限。为捕获远距离的语义依赖,提取深层全局语义特征,设计了一种基于Swin Transformer的多尺度特征融合网络SwinChangeNet。首先,SwinChangeNet采用孪生的多级Swin Transformer特征编码器进行远距离上下文建模;其次,编码器中引入特征差异提取模块,计算不同尺度下变化前后的多级特征差异,再通过自适应融合层将多尺度特征图进行融合;最后,引入残差连接和通道注意力机制对融合后的特征信息进行解码,从而生成完整准确的变化图。在CDD和CD_Data_GZ 2个公开数据集上分别与7种经典和前沿变化检测方法进行比较,CDD数据集中本文模型的性能最优,相比于性能第二的模型,F1分数提高了1.11%,精确率提高了2.38%。CD_Data_GZ数据集中本文模型的性能最优,相比于性能第二的模型,F1分数、精确率和召回率分别提高了4.78%,4.32%,4.09%,提升幅度较大。对比实验结果证明了该模型具有更好的检测效果。在消融实验中也证实了模型中各个改进模块的稳定性和有效性。本文模型针对遥感图像变化检测任务,引入了Swin Transformer结构,使网络可以对遥感图像的局部特征和全局特征进行更有效地编码,让检测结果更加准确,同时保证网络在地物要素种类繁多的数据集上容易收敛。

结合沙漏注意力与渐进式混合Transformer的图像分类方法

Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-上采样的沙漏自注意力建模全局特征关系,利用上采样补充下采样操作丢失的信息,同时采用可学习温度参数和负对角掩码锐化注意力的分数分布,避免因层数过多产生过度平滑的现象;其次,设计渐进式下采样模块获得细粒度多尺度特征图,有效捕获低维特征信息;最后,使用混合架构,在顶层阶段使用设计的沙漏注意力,底层阶段使用池化层替代注意力模块,并引入带有深度卷积的层归一化,增加网络局部性。所提方法在T-ImageNet、CIFAR10、CIFAR100、SVHN数据集上进行实验,分类精度可以达到97.42%,计算量和参数量分别为3.41G和25M。实验结果表明,与对比算法相比,该方法的分类精度有明显提升,计算量和参数量有明显降低,提高了Transformer模型在小数据集上的性能表现。

基于渐进式多尺度Transformer的图像去雾算法

现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相关特征,实现了特征和图像的多尺度学习和融合,渐进式地从有雾图像中复原清晰图像。所提出的MSP-Transformer分为编码、解码和复原3个阶段。在编码阶段,利用基于Transformer模块的编码器将输入图像分解为不同尺度的雾图像特征,以全面表征真实有雾图像的信息损失。在解码阶段,考虑到有雾图像的不同区域存在不同尺度的信息丢失,设计了一个包含多尺度注意力机制的特征聚合模块,利用通道注意力和多尺度空间注意力来融合不同尺度的特征信息。复原阶段包含了复原模块和融合模块,首先基于多尺度特征融合的复原模块聚合不同尺度的雾相关特征以增加不同尺度特征的联系,并在每个尺度复原出清晰的无雾图像,然后将每个尺度的复原图像送入融合模块以获得最终的去雾结果。定性和定量的实验结果表明,所提出的MSP-Transformer在真实图像和合成数据集上能够实现雾的有效去除,具有良好的鲁棒性。在公开的RESIDE数据集上与11种去雾方法进行定量和定性比较,MSP-Transformer取得了最高的PSNR(39.53db)和SSIM(0.9954),并获得了良好的视觉效果。此外,消融实验也证明了MSP-Transformer中所提出的模块的有效性。

基于感知增强Swin Transformer的遥感图像检测

随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。

多尺度融合卷积的轻量化Transformer无人机地物识别模型

Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度融合卷积方法,补充Transformer丢失的块内空间信息,从而有效提取多尺度上的粗、细粒度特征表示。其次,设计了多尺度缩减键值序列的方式,优化Transformer中的自注意力计算。最后,设计了轻量级的MLP解码器,进一步减少模型参数量。在Vaihingen和Potsdam数据集上与一些主流模型进行了对比实验,结果表明,所提模型的F 1值和交并比均有所提升。同时,在Potsdam数据集上准确度提升0.29%,参数量比双分支网络STransFuse减少18%。

卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法

高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。

基于多尺度金字塔Transformer的人群计数方法

针对密集人群场景中背景复杂、目标尺度变化较大导致人群计数精度较低的问题,本文提出一种基于多尺度金字塔Transformer的人群计数方法(multi-scale pyramid transformer network,MSPT-Net)。在特征提取阶段设计了一种基于深度可分离自注意力的金字塔Transformer主干网络结构,该网络结构能有效捕获图像的局部和全局信息,从而有效解决人群密度图像背景复杂导致计数精度低的问题;设计了一种特征金字塔融合模块及多尺度感受野的回归头,实现了密集人群图像浅层细节特征和深层语义特征的高效融合,增强了网络对不同尺度目标的捕获能力;采用深度监督的训练方法在3个公开数据集上对提出的方法进行验证。实验结果表明,本文方法在全监督与弱监督学习策略中,与目前主流的人群计数方法相比,实现了更高精度的人群计数,克服了主流方法对背景复杂、目标尺度变化大的密集人群图像计数精度低的问题,同时本文方法保持着更小的参数量与计算量。

特征细化和多尺度注意力的Transformer图像去噪网络

为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大规模图像的长程依赖问题,提高模型的去噪效率,还在上采样操作后加入位置感知层来增强网络对特征图中像素位置的感知能力。为了应对Transformer可能对像素间空间关系的忽略,导致局部细节失真,在特征重建阶段设计了特征细化模块(FRB),采用串行结构逐层引入非线性变换,加强对噪声水平复杂的图像局部特征的识别。同时,设计了多尺度注意力模块(MAB),采用并行双分支结构,对空间注意力和通道注意力联合建模,有效捕捉不同尺度的图像特征并进行加权,提高模型对多尺度特征的感知能力。在真实噪声数据集SIDD、DND和RNI15上的实验结果显示,TFRADNet能够兼顾全局信息和局部细节,相比其他先进方法展现出了更强的抑噪能力和稳健性。

融合卷积和Transformer的腹部多器官分割网络

腹部多器官分割在计算机辅助诊断中起着至关重要的作用,具有重要的研究价值。但由于腹部多器官边界模糊、背景复杂以及形状大小多变,使这项任务极具挑战性。为此,提出了一种融合卷积和Transformer的腹部多器官分割网络TCMSUnet。首先,在特征提取阶段设计了多尺度引导融合模块(GFM),利用高层特征提取的显著语义信息来引导低层特征以增强相邻特征的语义一致性,从而促进不同尺度特征的融合;随后设计了全局局部增强模块(GLE),通过空洞卷积和Transformer块结合来增强模型对全局局部上下文信息的提取,使模型在建立长距离依赖关系的同时加强特征的局部关联性;最后,在解码器部分引入多阶段损失聚合结构以加快模型的收敛并优化模型的性能。在Synapse数据集上评估了模型的性能,其平均Dice相似系数(DSC)为81.20%。实验结果表明,所提方法整体性能优于多种比较网络,并对形状大小多变的器官有更好的分割效果。

基于多尺度U-Net与Transformer特征融合的航空遥感图像飞机检测方法

航空遥感图像(ARSI)飞机检测一直是一个重要且具有挑战性的课题。针对现有ARSI飞机检测方法(ARSIAD)检测目标的边缘模糊、小目标的检测精度低、没有充分利用ARSI的全局上下文信息等问题,提出一种基于多尺度U-Net与Transformer(MSU-Trans)特征融合的ARSIAD方法。通过多尺度卷积模块Inception提取ARSI中多样性目标的分类特征,通过Transformer增强模型的全局语义检测性能,通过特征融合模块整合高层和低层特征,得到航空目标图像完整的边缘和纹理特征。该模型结合多尺度U-Net较强的局部特征提取能力和Transformer较强的全局上下文依存关系提取能力,进而提高MSU-Trans的整体检测性能。在ARSI集上的试验表明,与U-Net、多尺度U-Net、注意力U-Nets相比,MSU-Trans具有较高的检测精度,精度超过95%,该方法为ARSIAD提供一定的技术支撑。

多尺度卷积神经网络融合Transformer的竹材缺陷识别方法

在竹材缺陷识别的研究中,竹片形状、缺陷部位颜色深浅及裂纹大小差异都是制约模型识别准确率的关键。针对上述问题,提出一种适用于中小数据集的多尺度卷积神经网络融合Transformer的竹材缺陷识别方法,以更好地提高竹材缺陷识别的准确率。该方法在卷积神经网络的主干上进行改进,从获取不同尺度语义信息的角度出发,首先利用卷积神经网络在不同尺度的特征图上捕捉图像局部语义信息,然后将不同尺度的语义特征映射为特征符号,同时引入Sinkhorn分词器对不同阶段的卷积神经网络特征符号化以减少特征冗余,再通过Transformer对特征符号之间的关系进行建模以学习图像全局语义信息。试验结果表明,与VGG16、ResNet50、DenseNet121、ViT这4种深度学习模型相比,基于多尺度卷积神经网络融合Transformer的方法能够更高效地提高竹材缺陷识别模型的性能,在竹材缺陷图像数据集上的平均识别准确率达到了99.13%。该方法识别速度更快、精度更高,且具有良好的鲁棒性,为竹材缺陷的实时自动识别提供了新思路,同时也验证了所提出方法的有效性。

基于Swin-Transformer改进的目标跟踪算法

基于STARK目标跟踪方法中采用ResNet为骨干网络,其特征提取能力不足,跟踪效果较差。针对此问题,本文基于Swin-Transformer网络,提出了一种改进的目标跟踪算法。首先,对Swin-Transformer内窗口注意力机制进行多尺度改进,设计多尺度窗口模块MW-MSA,旨在提取更为丰富的局部细节信息,与全局上下文信息共同构成多尺度判别性特征。接着,结合Transformer的编码-解码结构作为特征融合网络,采用优化的多层感知机作为更新分数判断网络构成状态感知模块。最后,针对目标消失、重现挑战,提出了一种多跟踪器融合方法。融合多尺度改进的跟踪算法和SuperDiMP跟踪算法,设计消失状态判断模块,综合考虑两种跟踪器的置信度分数及目标在预测框附近的可能性估计。实验结果表明,相较STARK跟踪算法,本文算法在GOT-10K数据集上的平均重叠率(AO)提升2.7%、成功率SR_(0.5)提高3.3%。在L-LaSOT数据集上,相较于STARK算法,成功率(AUC)提升0.8%,在目标消失重现挑战下成功率提升1%。