Scale transform algorithm used in FMCW SAR data processing

The frequency-modulated continuous-wave （FMCW） synthetic aperture radar （SAR） is a light-weight, cost-effective, high-resolution imaging radar, which is suitable for a small flight platform. The signal model is derived for FMCW SAR used in unmanned aerial vehicles （UAV） reconnaissance and remote sensing. An appropriate algorithm is proposed. The algorithm performs the range cell migration correction （RCMC） for continuous nonchirped raw data using the energy invariance of the scaling of a signal in the scale domain. The azimuth processing is based on step transform without geometric resampling operation. The complete derivation of the algorithm is presented. The algorithm performance is shown by simulation results.

Solving Schrodinger Equation with Non-Uniform Grids by Scale Transformation Method

A new scale transformation method is used in solving the Schrodinger equation. With it, the uniform grids in the discretization in conventional metho d are changed into non-uniform grids. Consequently, in some cases, the computing quantity will be greatly reduced at keeping the required accuracy. The calcul ation of the quantized inversion layer in MOS structure is used to demonstrate t he efficiency of the new method.

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.

多尺度局部特征和Transformer全局学习融合的发动机剩余寿命预测

飞机发动机剩余寿命(Remaining useful life,RUL)的准确预测对确保其安全性和可靠性至关重要.在基于多传感器检测数据预测时,需解决局部特征提取问题以全面捕捉设备在不同时间尺度下的退化趋势,并需解决时间序列中各元素之间长期依赖性的全局学习问题.因此,提出了结合多尺度局部特征增强单元(Multi-sacle local feature enhancement unit,MSLFU_BLOCK)和Transformer编码器的预测模型,称之为MS_Transformer.MSLFU_BLOCK利用堆叠的因果卷积逐层从时间序列数据中提取多尺度局部信息,同时避免了传统卷积计算中固有的未来数据泄漏问题.随后,Transformer编码器通过其自注意机制进一步捕获时间序列数据中的短期和长期依赖关系.通过将多尺度局部特征增强单元与Transformer编码器相结合,提出的MS_Transformer全面捕捉了时间序列数据中的局部和全局模式.在广泛使用的CMAPSS基准数据集上进行的消融和预测实验验证了模型的合理性和有效性.与13个先进预测模型的比较分析表明,MS_Transformer模型在操作条件更复杂的FD002和FD004数据集上的RMSE和Score指标优于其他模型,同时在四个数据集上的平均性能最优.该研究为发动机剩余寿命预测提供了更为可靠的解决方案.

基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估

与从现实场景中拍摄的自然图像不同,屏幕内容图像是一种合成图像,通常由计算机生成的文本、图形和动画等各种多媒体形式组合而成.现有评估方法通常未能充分考虑图像边缘结构信息和全局上下文信息对屏幕内容图像质量感知的影响.为解决上述问题,本文提出一种基于边缘辅助和多尺度Transformer的无参考屏幕内容图像质量评估模型.首先,使用高斯拉普拉斯算子构造由失真屏幕内容图像高频信息组成的边缘结构图,然后通过卷积神经网络(Convolutional Neural Network,CNN)对输入的失真屏幕内容图像和相应的边缘结构图进行多尺度的特征提取与融合,以图像的边缘结构信息为模型训练提供额外的信息增益.此外,本文进一步构建了基于Transformer的多尺度特征编码模块,从而在CNN获得的局部特征基础上更好地建模不同尺度图像和边缘特征的全局上下文信息.实验结果表明,本文提出的方法在指标上优于其他现有的无参考和全参考屏幕内容图像质量评估方法,能够取得更高的主客观视觉感知一致性.

LNG-Transformer:基于多尺度信息交互的图像分类网络

鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。

结合沙漏注意力与渐进式混合Transformer的图像分类方法

Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-上采样的沙漏自注意力建模全局特征关系,利用上采样补充下采样操作丢失的信息,同时采用可学习温度参数和负对角掩码锐化注意力的分数分布,避免因层数过多产生过度平滑的现象;其次,设计渐进式下采样模块获得细粒度多尺度特征图,有效捕获低维特征信息;最后,使用混合架构,在顶层阶段使用设计的沙漏注意力,底层阶段使用池化层替代注意力模块,并引入带有深度卷积的层归一化,增加网络局部性。所提方法在T-ImageNet、CIFAR10、CIFAR100、SVHN数据集上进行实验,分类精度可以达到97.42%,计算量和参数量分别为3.41G和25M。实验结果表明,与对比算法相比,该方法的分类精度有明显提升,计算量和参数量有明显降低,提高了Transformer模型在小数据集上的性能表现。

基于渐进式多尺度Transformer的图像去雾算法

现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相关特征,实现了特征和图像的多尺度学习和融合,渐进式地从有雾图像中复原清晰图像。所提出的MSP-Transformer分为编码、解码和复原3个阶段。在编码阶段,利用基于Transformer模块的编码器将输入图像分解为不同尺度的雾图像特征,以全面表征真实有雾图像的信息损失。在解码阶段,考虑到有雾图像的不同区域存在不同尺度的信息丢失,设计了一个包含多尺度注意力机制的特征聚合模块,利用通道注意力和多尺度空间注意力来融合不同尺度的特征信息。复原阶段包含了复原模块和融合模块,首先基于多尺度特征融合的复原模块聚合不同尺度的雾相关特征以增加不同尺度特征的联系,并在每个尺度复原出清晰的无雾图像,然后将每个尺度的复原图像送入融合模块以获得最终的去雾结果。定性和定量的实验结果表明,所提出的MSP-Transformer在真实图像和合成数据集上能够实现雾的有效去除,具有良好的鲁棒性。在公开的RESIDE数据集上与11种去雾方法进行定量和定性比较,MSP-Transformer取得了最高的PSNR(39.53db)和SSIM(0.9954),并获得了良好的视觉效果。此外,消融实验也证明了MSP-Transformer中所提出的模块的有效性。

多尺度融合卷积的轻量化Transformer无人机地物识别模型

Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度融合卷积方法,补充Transformer丢失的块内空间信息,从而有效提取多尺度上的粗、细粒度特征表示。其次,设计了多尺度缩减键值序列的方式,优化Transformer中的自注意力计算。最后,设计了轻量级的MLP解码器,进一步减少模型参数量。在Vaihingen和Potsdam数据集上与一些主流模型进行了对比实验,结果表明,所提模型的F 1值和交并比均有所提升。同时,在Potsdam数据集上准确度提升0.29%,参数量比双分支网络STransFuse减少18%。

基于感知增强Swin Transformer的遥感图像检测

随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。

基于多尺度金字塔Transformer的人群计数方法

针对密集人群场景中背景复杂、目标尺度变化较大导致人群计数精度较低的问题,本文提出一种基于多尺度金字塔Transformer的人群计数方法(multi-scale pyramid transformer network,MSPT-Net)。在特征提取阶段设计了一种基于深度可分离自注意力的金字塔Transformer主干网络结构,该网络结构能有效捕获图像的局部和全局信息,从而有效解决人群密度图像背景复杂导致计数精度低的问题;设计了一种特征金字塔融合模块及多尺度感受野的回归头,实现了密集人群图像浅层细节特征和深层语义特征的高效融合,增强了网络对不同尺度目标的捕获能力;采用深度监督的训练方法在3个公开数据集上对提出的方法进行验证。实验结果表明,本文方法在全监督与弱监督学习策略中,与目前主流的人群计数方法相比,实现了更高精度的人群计数,克服了主流方法对背景复杂、目标尺度变化大的密集人群图像计数精度低的问题,同时本文方法保持着更小的参数量与计算量。

特征细化和多尺度注意力的Transformer图像去噪网络

为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大规模图像的长程依赖问题,提高模型的去噪效率,还在上采样操作后加入位置感知层来增强网络对特征图中像素位置的感知能力。为了应对Transformer可能对像素间空间关系的忽略,导致局部细节失真,在特征重建阶段设计了特征细化模块(FRB),采用串行结构逐层引入非线性变换,加强对噪声水平复杂的图像局部特征的识别。同时,设计了多尺度注意力模块(MAB),采用并行双分支结构,对空间注意力和通道注意力联合建模,有效捕捉不同尺度的图像特征并进行加权,提高模型对多尺度特征的感知能力。在真实噪声数据集SIDD、DND和RNI15上的实验结果显示,TFRADNet能够兼顾全局信息和局部细节,相比其他先进方法展现出了更强的抑噪能力和稳健性。

融合卷积和Transformer的腹部多器官分割网络

腹部多器官分割在计算机辅助诊断中起着至关重要的作用,具有重要的研究价值。但由于腹部多器官边界模糊、背景复杂以及形状大小多变,使这项任务极具挑战性。为此,提出了一种融合卷积和Transformer的腹部多器官分割网络TCMSUnet。首先,在特征提取阶段设计了多尺度引导融合模块(GFM),利用高层特征提取的显著语义信息来引导低层特征以增强相邻特征的语义一致性,从而促进不同尺度特征的融合;随后设计了全局局部增强模块(GLE),通过空洞卷积和Transformer块结合来增强模型对全局局部上下文信息的提取,使模型在建立长距离依赖关系的同时加强特征的局部关联性;最后,在解码器部分引入多阶段损失聚合结构以加快模型的收敛并优化模型的性能。在Synapse数据集上评估了模型的性能,其平均Dice相似系数(DSC)为81.20%。实验结果表明,所提方法整体性能优于多种比较网络,并对形状大小多变的器官有更好的分割效果。

基于多尺度U-Net与Transformer特征融合的航空遥感图像飞机检测方法

航空遥感图像(ARSI)飞机检测一直是一个重要且具有挑战性的课题。针对现有ARSI飞机检测方法(ARSIAD)检测目标的边缘模糊、小目标的检测精度低、没有充分利用ARSI的全局上下文信息等问题,提出一种基于多尺度U-Net与Transformer(MSU-Trans)特征融合的ARSIAD方法。通过多尺度卷积模块Inception提取ARSI中多样性目标的分类特征,通过Transformer增强模型的全局语义检测性能,通过特征融合模块整合高层和低层特征,得到航空目标图像完整的边缘和纹理特征。该模型结合多尺度U-Net较强的局部特征提取能力和Transformer较强的全局上下文依存关系提取能力,进而提高MSU-Trans的整体检测性能。在ARSI集上的试验表明,与U-Net、多尺度U-Net、注意力U-Nets相比,MSU-Trans具有较高的检测精度,精度超过95%,该方法为ARSIAD提供一定的技术支撑。

卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法

高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。

改进视觉Transformer的视频插帧方法

针对现有的视频插帧方法无法有效处理大运动和复杂运动场景的问题,提出了一种改进视觉Transformer的视频插帧方法。该方法融合了基于跨尺度窗口的注意力和可分离的时空局部注意力,增大了注意力的感受野并聚合了多尺度信息;对时空依赖和远程像素依赖关系进行联合建模,进而增强了模型对大运动场景的处理能力。实验结果表明,该方法在Vimeo90K测试集和DAVIS数据集上的PSNR指标分别达到了37.13 dB和28.28 dB,SSIM指标分别达到了0.978和0.891。同时,可视化结果表明,该方法针对存在大运动、复杂运动和遮挡场景的视频能产生清晰合理的插帧结果。

Scale effect removal and range migration correction for hypersonic target coherent detection

The detection of hypersonic targets usually confronts range migration(RM)issue before coherent integration(CI).The traditional methods aiming at correcting RM to obtain CI mainly considers the narrow-band radar condition.However,with the increasing requirement of far-range detection,the time bandwidth product,which is corresponding to radar’s mean power,should be promoted in actual application.Thus,the echo signal generates the scale effect(SE)at large time bandwidth product situation,influencing the intra and inter pulse integration performance.To eliminate SE and correct RM,this paper proposes an effective algorithm,i.e.,scaled location rotation transform(ScLRT).The ScLRT can remove SE to obtain the matching pulse compression(PC)as well as correct RM to complete CI via the location rotation transform,being implemented by seeking the actual rotation angle.Compared to the traditional coherent detection algorithms,Sc LRT can address the SE problem to achieve better detection/estimation capabilities.At last,this paper gives several simulations to assess the viability of ScLRT.

基于动态Transformer的轻量化目标检测算法

针对Transformer检测模型计算复杂度高以及检测效率低的问题,提出一种轻量化的动态Transformer目标检测改进算法。首先,在自注意力模块中引入动态门来筛选重要的关注区域,设计了从局部到全局的动态稀疏自注意力机制,在减轻计算负载的同时增强模型的多尺度泛化能力;其次,在模型结构层面上引入了动态跳层机制,使模型在推理过程中能够根据输入自适应调整参数和结构,在检测速率与精度之间取得更好的权衡。实验结果表明,改进后检测模型的计算冗余有效降低,相比现有的基准模型更加高效,实际应用空间更加广阔。

融合卷积和Transformer的多尺度皮肤病变分割算法

皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系,而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此,提出了一种融合卷积和Transformer的多尺度自动分割网络。采用ResNet34作为基础编码块,利用其金字塔结构建立病灶的多级局部相关性;采用Swin Transformer模块捕获上下文特征的长程依赖关系,考虑到病灶形状多变、大小不一等情况,提出多尺度特征聚合模块来进一步提取上下文特征多尺度信息;采用具有注意力机制的解码块逐步融合编码块提取到的多级语义信息。实验结果表明,所提模型在ISIC 2017数据集上测试所得的Dice系数分别高达89.55%,FPS高达83,与其他先进模型相比,本模型参数更少、推理速度更快、精度更高。

基于多尺度transformer的伪造人脸检测方法

考虑到目前大多数伪造人脸分类方法存在分类精度低、泛化能力差的问题,提出一种结合多尺度transformer和卷积块注意力模块的伪造人脸分类方法。多尺度transformer用来学习卷积层所提取特征图的高级语义特征,卷积块注意力模块用来增强此高级语义特征,使其更具有区分性,使用增强后的特征来进行分类。实验结果表明,该方法可以显著提高伪造人脸分类的准确性和泛化能力。