Scale transform algorithm used in FMCW SAR data processing

The frequency-modulated continuous-wave （FMCW） synthetic aperture radar （SAR） is a light-weight, cost-effective, high-resolution imaging radar, which is suitable for a small flight platform. The signal model is derived for FMCW SAR used in unmanned aerial vehicles （UAV） reconnaissance and remote sensing. An appropriate algorithm is proposed. The algorithm performs the range cell migration correction （RCMC） for continuous nonchirped raw data using the energy invariance of the scaling of a signal in the scale domain. The azimuth processing is based on step transform without geometric resampling operation. The complete derivation of the algorithm is presented. The algorithm performance is shown by simulation results.

Solving Schrodinger Equation with Non-Uniform Grids by Scale Transformation Method

A new scale transformation method is used in solving the Schrodinger equation. With it, the uniform grids in the discretization in conventional metho d are changed into non-uniform grids. Consequently, in some cases, the computing quantity will be greatly reduced at keeping the required accuracy. The calcul ation of the quantized inversion layer in MOS structure is used to demonstrate t he efficiency of the new method.

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.

LNG-Transformer:基于多尺度信息交互的图像分类网络

鉴于Transformer的Self-Attention机制具有优秀的表征能力,许多研究者提出了基于Self-Attention机制的图像处理模型,并取得了巨大成功。然而,基于Self-Attention的传统图像分类网络无法兼顾全局信息和计算复杂度,限制了Self-Attention的广泛应用。文中提出了一种有效的、可扩展的注意力模块Local Neighbor Global Self-Attention(LNG-SA),该模块在任意时期都能进行局部信息、邻居信息和全局信息的交互。通过重复级联LNG-SA模块,设计了一个全新的网络,称为LNG-Transformer。该网络整体采用层次化结构,具有优秀的灵活性,其计算复杂度与图像分辨率呈线性关系。LNG-SA模块的特性使得LNG-Transformer即使在早期的高分辨率阶段,也可以进行局部信息、邻居信息和全局信息的交互,从而带来更高的效率、更强的学习能力。实验结果表明,LNG-Transformer在图像分类任务中具有良好的性能。

基于渐进式多尺度Transformer的图像去雾算法

现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相关特征,实现了特征和图像的多尺度学习和融合,渐进式地从有雾图像中复原清晰图像。所提出的MSP-Transformer分为编码、解码和复原3个阶段。在编码阶段,利用基于Transformer模块的编码器将输入图像分解为不同尺度的雾图像特征,以全面表征真实有雾图像的信息损失。在解码阶段,考虑到有雾图像的不同区域存在不同尺度的信息丢失,设计了一个包含多尺度注意力机制的特征聚合模块,利用通道注意力和多尺度空间注意力来融合不同尺度的特征信息。复原阶段包含了复原模块和融合模块,首先基于多尺度特征融合的复原模块聚合不同尺度的雾相关特征以增加不同尺度特征的联系,并在每个尺度复原出清晰的无雾图像,然后将每个尺度的复原图像送入融合模块以获得最终的去雾结果。定性和定量的实验结果表明,所提出的MSP-Transformer在真实图像和合成数据集上能够实现雾的有效去除,具有良好的鲁棒性。在公开的RESIDE数据集上与11种去雾方法进行定量和定性比较,MSP-Transformer取得了最高的PSNR(39.53db)和SSIM(0.9954),并获得了良好的视觉效果。此外,消融实验也证明了MSP-Transformer中所提出的模块的有效性。

多尺度融合卷积的轻量化Transformer无人机地物识别模型

Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度融合卷积方法,补充Transformer丢失的块内空间信息,从而有效提取多尺度上的粗、细粒度特征表示。其次,设计了多尺度缩减键值序列的方式,优化Transformer中的自注意力计算。最后,设计了轻量级的MLP解码器,进一步减少模型参数量。在Vaihingen和Potsdam数据集上与一些主流模型进行了对比实验,结果表明,所提模型的F 1值和交并比均有所提升。同时,在Potsdam数据集上准确度提升0.29%,参数量比双分支网络STransFuse减少18%。

基于多尺度金字塔Transformer的人群计数方法

针对密集人群场景中背景复杂、目标尺度变化较大导致人群计数精度较低的问题,本文提出一种基于多尺度金字塔Transformer的人群计数方法(multi-scale pyramid transformer network,MSPT-Net)。在特征提取阶段设计了一种基于深度可分离自注意力的金字塔Transformer主干网络结构,该网络结构能有效捕获图像的局部和全局信息,从而有效解决人群密度图像背景复杂导致计数精度低的问题;设计了一种特征金字塔融合模块及多尺度感受野的回归头,实现了密集人群图像浅层细节特征和深层语义特征的高效融合,增强了网络对不同尺度目标的捕获能力;采用深度监督的训练方法在3个公开数据集上对提出的方法进行验证。实验结果表明,本文方法在全监督与弱监督学习策略中,与目前主流的人群计数方法相比,实现了更高精度的人群计数,克服了主流方法对背景复杂、目标尺度变化大的密集人群图像计数精度低的问题,同时本文方法保持着更小的参数量与计算量。

基于感知增强Swin Transformer的遥感图像检测

随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。

改进视觉Transformer的视频插帧方法

针对现有的视频插帧方法无法有效处理大运动和复杂运动场景的问题,提出了一种改进视觉Transformer的视频插帧方法。该方法融合了基于跨尺度窗口的注意力和可分离的时空局部注意力,增大了注意力的感受野并聚合了多尺度信息;对时空依赖和远程像素依赖关系进行联合建模,进而增强了模型对大运动场景的处理能力。实验结果表明,该方法在Vimeo90K测试集和DAVIS数据集上的PSNR指标分别达到了37.13 dB和28.28 dB,SSIM指标分别达到了0.978和0.891。同时,可视化结果表明,该方法针对存在大运动、复杂运动和遮挡场景的视频能产生清晰合理的插帧结果。

Scale effect removal and range migration correction for hypersonic target coherent detection

The detection of hypersonic targets usually confronts range migration(RM)issue before coherent integration(CI).The traditional methods aiming at correcting RM to obtain CI mainly considers the narrow-band radar condition.However,with the increasing requirement of far-range detection,the time bandwidth product,which is corresponding to radar’s mean power,should be promoted in actual application.Thus,the echo signal generates the scale effect(SE)at large time bandwidth product situation,influencing the intra and inter pulse integration performance.To eliminate SE and correct RM,this paper proposes an effective algorithm,i.e.,scaled location rotation transform(ScLRT).The ScLRT can remove SE to obtain the matching pulse compression(PC)as well as correct RM to complete CI via the location rotation transform,being implemented by seeking the actual rotation angle.Compared to the traditional coherent detection algorithms,Sc LRT can address the SE problem to achieve better detection/estimation capabilities.At last,this paper gives several simulations to assess the viability of ScLRT.

基于动态Transformer的轻量化目标检测算法

针对Transformer检测模型计算复杂度高以及检测效率低的问题,提出一种轻量化的动态Transformer目标检测改进算法。首先,在自注意力模块中引入动态门来筛选重要的关注区域,设计了从局部到全局的动态稀疏自注意力机制,在减轻计算负载的同时增强模型的多尺度泛化能力;其次,在模型结构层面上引入了动态跳层机制,使模型在推理过程中能够根据输入自适应调整参数和结构,在检测速率与精度之间取得更好的权衡。实验结果表明,改进后检测模型的计算冗余有效降低,相比现有的基准模型更加高效,实际应用空间更加广阔。

融合卷积和Transformer的多尺度皮肤病变分割算法

皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系,而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此,提出了一种融合卷积和Transformer的多尺度自动分割网络。采用ResNet34作为基础编码块,利用其金字塔结构建立病灶的多级局部相关性;采用Swin Transformer模块捕获上下文特征的长程依赖关系,考虑到病灶形状多变、大小不一等情况,提出多尺度特征聚合模块来进一步提取上下文特征多尺度信息;采用具有注意力机制的解码块逐步融合编码块提取到的多级语义信息。实验结果表明,所提模型在ISIC 2017数据集上测试所得的Dice系数分别高达89.55%,FPS高达83,与其他先进模型相比,本模型参数更少、推理速度更快、精度更高。

基于多尺度transformer的伪造人脸检测方法

考虑到目前大多数伪造人脸分类方法存在分类精度低、泛化能力差的问题,提出一种结合多尺度transformer和卷积块注意力模块的伪造人脸分类方法。多尺度transformer用来学习卷积层所提取特征图的高级语义特征,卷积块注意力模块用来增强此高级语义特征,使其更具有区分性,使用增强后的特征来进行分类。实验结果表明,该方法可以显著提高伪造人脸分类的准确性和泛化能力。

基于多尺度Transformer的多视图三维形状分析方法

基于多视图的三维形状分析方法是三维计算机视觉领域中的重要研究分支,通过整合三维形状在多个视角下的二维图像的特征来完成三维形状的识别、检索等任务。然而,如何有效地探索不同视角之间的关联性,并运用这些关联性来聚合多视图图像的特征仍然是三维形状分析中一个亟待解决的核心问题。受到最近兴起的Transformer网络在关系建模问题上成功应用的启发,研究工作引入了一种创新的多尺度Transformer架构,提出了基于多尺度Transformer的多视图三维形状分析方法(Multi-View Multi-Scale Transformer,MVMST)。此方法能够有效地学习不同视角之间的关联性,将多视图图像的特征聚合为一个具有强大表达能力的整体描述符。与以往方法使用感受野为全局的Transformer建模多视图特征的关系不同,该方法受到多尺度学习方法的启发,使用多尺度的Transformer来建模不同尺度下的多视图图像特征之间的关系,并设计了一个多尺度融合模块将多个尺度下经过Transformer处理的特征进行融合,得到一个相比单一尺度更加有效的多尺度表示。多个视图的多尺度表示最终经过视角池化模块融合成三维形状的一个整体描述符。研究了在多个合成和真实扫描三维形状分类数据集上进行了实验,结果表明所提出的方法在三维形状分类任务上表现出令人满意的性能。

时空关联的Transformer骨架行为识别

目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练,造成训练成本高,另外,在特征提取过程中,忽略了对复杂时空依赖关系的建模,以及在时域上的信息交流采取大尺度卷积,导致聚合大量冗余信息。针对以上问题,提出一种时空关联的Transformer骨架行为识别方法。首先,构建运动融合模块,以关节流和骨骼流作为双流输入,在特征级别将各自的运动信息进行融合,减少单独训练运动流的成本;其次,提出移位Transformer模块,利用时间移位操作混合时空信息的特性,配合Transformer低成本地捕获短期时空依赖关系;然后,设计多尺度时间卷积进行时域长期信息交流;最后,融合双流得分获得最终分类预测。在大规模数据集NTU RGB+D以及NTU RGB+D 120上进行实验,结果表明,该模型在NTU RGB+D数据集的两种评价标准X-Sub和X-View上分别达到了91.5%和96.3%的识别准确率,在NTU RGB+D 120数据集两种评价标准X-Sub和X-Set上分别达到了87.2%和89.3%的识别准确率,本文所提方法的识别准确率相对主流骨架行为识别方法有明显提升,验证了模型的有效性和通用性。

基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法

脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能.

融合CNN与Transformer的跨年龄人脸识别

提出融合CNN与Transformer的跨年龄人脸识别模型,模型先使用深度可分离T2T-ViT网络提取丰富的面部特征,然后利用多尺度注意力分解模块非线性地解耦年龄和身份特征,最后通过互信息最小化、交叉熵和Arcface函数共同约束特征分解。模型在3个基准数据集FG-NET、CACD_VS、CALFW上的准确率分别达到94.97%、99.51%、95.81%,接近或超越SOTA性能,表明所提模型能够提取健全的面部信息并可进行高效特征解耦,实现较为先进的识别性能。

位置敏感Transformer航拍图像目标检测模型

针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测(PS-TOD)模型。设计了一个基于位置通道嵌入三维注意力(PCE3DA)的多尺度特征融合(MSFF)模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力(PSSA)机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型(DETR)相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。

融合卷积和Transformer的多尺度肝肿瘤分割方法

精确的肝脏和肝脏肿瘤自动分割方法对帮助医生进行肝癌诊断、治疗和术后观察具有重要的意义。由于卷积的局部性,现有基于卷积的方法难以建立长距离的依赖关系。Transformer的级联注意力机制可以建立全局的信息关联,但是会破坏局部细节。基于此,提出了一种融合卷积和Transformer的特征建模方法。该方法通过混合嵌入的方式交互融合局部表示和全局表示,最大程度地建立不同分辨率下的全局依赖关系。在跳跃连接处通过多级特征融合模块捕捉来自不同编码阶段的上下文信息以获取更丰富的语义信息。为了应对肝脏肿瘤在大小和形状上的变化,使用可变形多尺度模块提取肿瘤的多尺度特征。实验主要采用Dice相关性系数(Dice similarity coefficient,DSC)作为评价指标,在LiTS17数据集上肝脏和肿瘤的DSC分别为0.920和0.748,结果表明提出的网络相比基线具有更准确的肝脏肿瘤分割结果。

Preliminary Application of Scale Transformation Stochastic Resonance in Dual-Sequence Frequency Hopping System

Aiming at the detection failure of strong noise interference in the dual channel of the dual-sequence frequency hopping(DSFH),the scale transformation stochastic resonance(STSR)is applied for the first time,and the output signal to noise ratio(SNR)is raised effectively,at the same time,the symbol reception is completed for DSFH at low input SNR.Firstly,the radio frequency(RF)and intermediate frequency(IF)signals are analyzed based on the super-heterodyne reception of DSFH;secondly,the equations of probability density function(PDF),output power spectrum and SNR of the STSR output are derived for the IF signal;finally,the algorithm of the optimal matching STSR is proposed with the optimal matching parameters.The simulation results show that the algorithm can effectively solve the detection failure,as the global output SNR of DSFH is strongly improved that the output SNR can reach-17.72 d B when the input SNR is-20 d B after the processing of the optimal matching STSR.