期刊文献+
共找到857篇文章
< 1 2 43 >
每页显示 20 50 100
基于多层次特征融合的Transformer人脸识别方法
1
作者 夏桂书 朱姿翰 +2 位作者 魏永超 朱泓超 徐未其 《四川大学学报(自然科学版)》 CAS CSCD 北大核心 2024年第1期61-68,共8页
卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入... 卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性. 展开更多
关键词 人脸识别 transformER 多尺度特征 特征融合
下载PDF
多尺度融合卷积的轻量化Transformer无人机地物识别模型
2
作者 肖斌 罗浩 +2 位作者 张恒宾 刘宏伟 张兴鹏 《郑州大学学报(理学版)》 CAS 北大核心 2024年第1期32-39,共8页
Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度... Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度融合卷积方法,补充Transformer丢失的块内空间信息,从而有效提取多尺度上的粗、细粒度特征表示。其次,设计了多尺度缩减键值序列的方式,优化Transformer中的自注意力计算。最后,设计了轻量级的MLP解码器,进一步减少模型参数量。在Vaihingen和Potsdam数据集上与一些主流模型进行了对比实验,结果表明,所提模型的F 1值和交并比均有所提升。同时,在Potsdam数据集上准确度提升0.29%,参数量比双分支网络STransFuse减少18%。 展开更多
关键词 无人机遥感影像 transformER 语义分割 轻量级 多尺度 卷积神经网络
下载PDF
基于渐进式多尺度Transformer的图像去雾算法
3
作者 周宇 陈志华 +1 位作者 盛斌 梁磊 《计算机科学》 CSCD 北大核心 2024年第5期117-124,共8页
现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相... 现有的去雾方法难以在复原图像细节的同时保持全局信息。为了解决此问题,文中提出了一种基于渐进式多尺度Transformer(Multi Scale Progressive Transformer,MSP-Transformer)的图像去雾算法。该模型能够有效提取和利用不同尺度的雾相关特征,实现了特征和图像的多尺度学习和融合,渐进式地从有雾图像中复原清晰图像。所提出的MSP-Transformer分为编码、解码和复原3个阶段。在编码阶段,利用基于Transformer模块的编码器将输入图像分解为不同尺度的雾图像特征,以全面表征真实有雾图像的信息损失。在解码阶段,考虑到有雾图像的不同区域存在不同尺度的信息丢失,设计了一个包含多尺度注意力机制的特征聚合模块,利用通道注意力和多尺度空间注意力来融合不同尺度的特征信息。复原阶段包含了复原模块和融合模块,首先基于多尺度特征融合的复原模块聚合不同尺度的雾相关特征以增加不同尺度特征的联系,并在每个尺度复原出清晰的无雾图像,然后将每个尺度的复原图像送入融合模块以获得最终的去雾结果。定性和定量的实验结果表明,所提出的MSP-Transformer在真实图像和合成数据集上能够实现雾的有效去除,具有良好的鲁棒性。在公开的RESIDE数据集上与11种去雾方法进行定量和定性比较,MSP-Transformer取得了最高的PSNR(39.53db)和SSIM(0.9954),并获得了良好的视觉效果。此外,消融实验也证明了MSP-Transformer中所提出的模块的有效性。 展开更多
关键词 图像去雾 多尺度 transformER 注意力机制 特征融合
下载PDF
基于感知增强Swin Transformer的遥感图像检测 被引量:1
4
作者 祝冰艳 陈志华 盛斌 《计算机工程》 CSCD 北大核心 2024年第1期216-223,共8页
随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本... 随着遥感技术的快速发展,遥感图像检测被广泛应用于农业、军事、国防安全等众多领域。遥感图像相较于传统图像检测存在诸多难点,如何实现高效精准的遥感图像检测成为该领域的研究热点。针对遥感图像检测中存在的计算复杂度高、正负样本不平衡、目标尺度小等问题,提出一种基于感知增强Swin Transformer的遥感图像检测网络,以提升遥感图像检测性能。在主干网络设计过程中,利用Swin Transformer分层设计和移动窗口的优点有效减小计算复杂度,同时插入空间局部感知块,加强网络对局部相关性和结构信息的提取能力。设计区域分布回归损失为小目标分配更大的权重,解决了正负样本不平衡的问题,同时结合改进的IoU-aware分类损失消除不同分支之间的差距,降低分类和回归损失。在公共遥感数据集DOTA上的多组实验结果表明,该网络获得了78.47%的平均精度均值和10.8帧/s的检测速度,检测性能优于经典的目标检测网络Faster R-CNN、Mask R-CNN以及现有优秀的遥感图像检测网络,并且在各类不同尺度的目标上均具有较好的性能表现。 展开更多
关键词 遥感图像 目标检测 Swin transformer 多尺度特征 深度学习
下载PDF
基于多尺度金字塔Transformer的人群计数方法
5
作者 张少乐 雷涛 +3 位作者 王营博 周强 薛明园 赵伟强 《智能系统学报》 CSCD 北大核心 2024年第1期67-78,共12页
针对密集人群场景中背景复杂、目标尺度变化较大导致人群计数精度较低的问题,本文提出一种基于多尺度金字塔Transformer的人群计数方法(multi-scale pyramid transformer network,MSPT-Net)。在特征提取阶段设计了一种基于深度可分离自... 针对密集人群场景中背景复杂、目标尺度变化较大导致人群计数精度较低的问题,本文提出一种基于多尺度金字塔Transformer的人群计数方法(multi-scale pyramid transformer network,MSPT-Net)。在特征提取阶段设计了一种基于深度可分离自注意力的金字塔Transformer主干网络结构,该网络结构能有效捕获图像的局部和全局信息,从而有效解决人群密度图像背景复杂导致计数精度低的问题;设计了一种特征金字塔融合模块及多尺度感受野的回归头,实现了密集人群图像浅层细节特征和深层语义特征的高效融合,增强了网络对不同尺度目标的捕获能力;采用深度监督的训练方法在3个公开数据集上对提出的方法进行验证。实验结果表明,本文方法在全监督与弱监督学习策略中,与目前主流的人群计数方法相比,实现了更高精度的人群计数,克服了主流方法对背景复杂、目标尺度变化大的密集人群图像计数精度低的问题,同时本文方法保持着更小的参数量与计算量。 展开更多
关键词 密集人群 人群计数 多尺度 金字塔 transformER 自注意力 密度图 深度监督
下载PDF
特征细化和多尺度注意力的Transformer图像去噪网络 被引量:1
6
作者 袁姮 耿仪坤 《计算机科学与探索》 CSCD 北大核心 2024年第7期1838-1851,共14页
为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大... 为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大规模图像的长程依赖问题,提高模型的去噪效率,还在上采样操作后加入位置感知层来增强网络对特征图中像素位置的感知能力。为了应对Transformer可能对像素间空间关系的忽略,导致局部细节失真,在特征重建阶段设计了特征细化模块(FRB),采用串行结构逐层引入非线性变换,加强对噪声水平复杂的图像局部特征的识别。同时,设计了多尺度注意力模块(MAB),采用并行双分支结构,对空间注意力和通道注意力联合建模,有效捕捉不同尺度的图像特征并进行加权,提高模型对多尺度特征的感知能力。在真实噪声数据集SIDD、DND和RNI15上的实验结果显示,TFRADNet能够兼顾全局信息和局部细节,相比其他先进方法展现出了更强的抑噪能力和稳健性。 展开更多
关键词 图像去噪 特征细化 多尺度注意力 transformER 真实噪声
下载PDF
基于多尺度U-Net与Transformer特征融合的航空遥感图像飞机检测方法
7
作者 张善文 邵彧 +1 位作者 李萍 令伟锋 《弹箭与制导学报》 北大核心 2024年第3期51-58,共8页
航空遥感图像(ARSI)飞机检测一直是一个重要且具有挑战性的课题。针对现有ARSI飞机检测方法(ARSIAD)检测目标的边缘模糊、小目标的检测精度低、没有充分利用ARSI的全局上下文信息等问题,提出一种基于多尺度U-Net与Transformer(MSU-Trans... 航空遥感图像(ARSI)飞机检测一直是一个重要且具有挑战性的课题。针对现有ARSI飞机检测方法(ARSIAD)检测目标的边缘模糊、小目标的检测精度低、没有充分利用ARSI的全局上下文信息等问题,提出一种基于多尺度U-Net与Transformer(MSU-Trans)特征融合的ARSIAD方法。通过多尺度卷积模块Inception提取ARSI中多样性目标的分类特征,通过Transformer增强模型的全局语义检测性能,通过特征融合模块整合高层和低层特征,得到航空目标图像完整的边缘和纹理特征。该模型结合多尺度U-Net较强的局部特征提取能力和Transformer较强的全局上下文依存关系提取能力,进而提高MSU-Trans的整体检测性能。在ARSI集上的试验表明,与U-Net、多尺度U-Net、注意力U-Nets相比,MSU-Trans具有较高的检测精度,精度超过95%,该方法为ARSIAD提供一定的技术支撑。 展开更多
关键词 航空遥感图像飞机检测 多尺度U-Net transformER 多尺度U-Net与transformer
下载PDF
An infrared and visible image fusion method based upon multi-scale and top-hat transforms 被引量:1
8
作者 何贵青 张琪琦 +3 位作者 纪佳琪 董丹丹 张海曦 王珺 《Chinese Physics B》 SCIE EI CAS CSCD 2018年第11期340-348,共9页
The high-frequency components in the traditional multi-scale transform method are approximately sparse, which can represent different information of the details. But in the low-frequency component, the coefficients ar... The high-frequency components in the traditional multi-scale transform method are approximately sparse, which can represent different information of the details. But in the low-frequency component, the coefficients around the zero value are very few, so we cannot sparsely represent low-frequency image information. The low-frequency component contains the main energy of the image and depicts the profile of the image. Direct fusion of the low-frequency component will not be conducive to obtain highly accurate fusion result. Therefore, this paper presents an infrared and visible image fusion method combining the multi-scale and top-hat transforms. On one hand, the new top-hat-transform can effectively extract the salient features of the low-frequency component. On the other hand, the multi-scale transform can extract highfrequency detailed information in multiple scales and from diverse directions. The combination of the two methods is conducive to the acquisition of more characteristics and more accurate fusion results. Among them, for the low-frequency component, a new type of top-hat transform is used to extract low-frequency features, and then different fusion rules are applied to fuse the low-frequency features and low-frequency background; for high-frequency components, the product of characteristics method is used to integrate the detailed information in high-frequency. Experimental results show that the proposed algorithm can obtain more detailed information and clearer infrared target fusion results than the traditional multiscale transform methods. Compared with the state-of-the-art fusion methods based on sparse representation, the proposed algorithm is simple and efficacious, and the time consumption is significantly reduced. 展开更多
关键词 infrared and visible image fusion multi-scale transform mathematical morphology top-hat trans- form
下载PDF
卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法
9
作者 赵凤 耿苗苗 +2 位作者 刘汉强 张俊杰 於俊 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第5期2237-2248,共12页
高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复... 高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。 展开更多
关键词 高光谱图像分类 卷积神经网络 视觉transformer 多尺度特征 融合网络
下载PDF
基于动态Transformer的轻量化目标检测算法
10
作者 方思凯 孙广玲 +1 位作者 陆小锋 刘学锋 《电光与控制》 CSCD 北大核心 2024年第2期52-57,共6页
针对Transformer检测模型计算复杂度高以及检测效率低的问题,提出一种轻量化的动态Transformer目标检测改进算法。首先,在自注意力模块中引入动态门来筛选重要的关注区域,设计了从局部到全局的动态稀疏自注意力机制,在减轻计算负载的同... 针对Transformer检测模型计算复杂度高以及检测效率低的问题,提出一种轻量化的动态Transformer目标检测改进算法。首先,在自注意力模块中引入动态门来筛选重要的关注区域,设计了从局部到全局的动态稀疏自注意力机制,在减轻计算负载的同时增强模型的多尺度泛化能力;其次,在模型结构层面上引入了动态跳层机制,使模型在推理过程中能够根据输入自适应调整参数和结构,在检测速率与精度之间取得更好的权衡。实验结果表明,改进后检测模型的计算冗余有效降低,相比现有的基准模型更加高效,实际应用空间更加广阔。 展开更多
关键词 目标检测 transformER 轻量化 动态门 多尺度 动态跳层
下载PDF
Denoising of seismic data via multi-scale ridgelet transform 被引量:4
11
作者 Henglei Zhang Tianyou Liu Yuncui Zhang 《Earthquake Science》 CSCD 2009年第5期493-498,共6页
Noise has traditionally been suppressed or eliminated in seismic data sets by the use of Fourier filters and, to a lesser degree, nonlinear statistical filters. Although these methods are quite useful under specific c... Noise has traditionally been suppressed or eliminated in seismic data sets by the use of Fourier filters and, to a lesser degree, nonlinear statistical filters. Although these methods are quite useful under specific conditions, they may produce undesirable effects for the low signal to noise ratio data. In this paper, a new method, multi-scale ridgelet transform, is used in the light of the theory of ridgelet transform. We employ wavelet transform to do sub-band decomposition for the signals and then use non-linear thresholding in ridgelet domain for every block. In other words, it is based on the idea of partition, at sufficiently fine scale, a curving singularity looks straight, and so ridgelet transform can work well in such cases. Applications on both synthetic data and actual seismic data from Sichuan basin, South China, show that the new method eliminates the noise portion of the signal more efficiently and retains a greater amount of geologic data than other methods, the quality and consecutiveness of seismic event are improved obviously as well as the quality of section is improved. 展开更多
关键词 ridgelet transform multi-scale random noise sub-band decomposition complex Morlet wavelet
下载PDF
融合卷积和Transformer的多尺度皮肤病变分割算法
12
作者 蒋新辉 李筱林 +1 位作者 韦春苗 覃镇锋 《无线电工程》 2024年第3期670-678,共9页
皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系,而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此,提出了一种融合卷积... 皮肤病变自动分割对协助医生临床诊断、治疗及术后观察都具有非常重要的意义。现有卷积擅长建立局部相关性但无法捕获像素长程依赖关系,而Tansformer可以建立特征信息的全局依赖关系但会造成局部细节信息丢失。因此,提出了一种融合卷积和Transformer的多尺度自动分割网络。采用ResNet34作为基础编码块,利用其金字塔结构建立病灶的多级局部相关性;采用Swin Transformer模块捕获上下文特征的长程依赖关系,考虑到病灶形状多变、大小不一等情况,提出多尺度特征聚合模块来进一步提取上下文特征多尺度信息;采用具有注意力机制的解码块逐步融合编码块提取到的多级语义信息。实验结果表明,所提模型在ISIC 2017数据集上测试所得的Dice系数分别高达89.55%,FPS高达83,与其他先进模型相比,本模型参数更少、推理速度更快、精度更高。 展开更多
关键词 图像处理 Swin transformer 多尺度特征聚合模块 注意力机制
下载PDF
Multi-scale phase average waveform of electroencephalogram signals in childhood absence epilepsy using wavelet transformation 被引量:1
13
作者 Meiyun Zhang Benshu Zhang +2 位作者 Fenglou Wang Ying Chen Nan Jiang 《Neural Regeneration Research》 SCIE CAS CSCD 2010年第10期774-780,共7页
BACKGROUND: Recent studies have focused on various methods of wavelet transformation for electroencephalogram (EEG) signals. However, there are very few studies reporting characteristics of multi-scale phase waves ... BACKGROUND: Recent studies have focused on various methods of wavelet transformation for electroencephalogram (EEG) signals. However, there are very few studies reporting characteristics of multi-scale phase waves during epileptic discharge.OBJECTIVE: To extract multi-scale phase average waveforms from childhood absence epilepsy EEG signals between time and frequency domains using wavelet transformation, and to compare EEG signals of absence seizure with pre-epileptic seizure and normal children, and to quantify multi-scale phase average waveforms from childhood absence epilepsy EEG signals. DESIGN, TIME AND SETTING: The case-comparative experiment was performed at the Department of Neuroelectrophysiology, Tianjin Medical University from August 2002 to May 2005. PARTICIPANTS: A total of 15 patients with childhood absence epilepsy from the General Hospital of Tianjin Medical University were enrolled in the study. The patients were not administered anti-epileptic drugs or sedatives prior to EEG testing. In addition, 12 healthy, age- and gender-matched children were also enrolled.METHODS: EEG signals were tested on 15 patients with childhood absence epilepsy and 12 normal children. Epileptic discharge signals during clinical and subclinical seizures were collected 10 and 20 times, respectively. The collected EEG signals were treated with wavelet transformation to extract multi-scale characteristics during absence epilepsy seizure using a conditional sampling method. Multi-scale phase average waveforms were collected using a conditional phase averaging technique. Amplitude of phase average waveform from EEG signals of epilepsy seizure, subclinical epileptic discharge, and EEG signals of normal children were compared and statistically analyzed in the first half-cycle.MAIN OUTCOME MEASURES: Multi-scale wavelet coefficient and the evolution of EEG signals were observed during childhood absence epilepsy seizures using wavelet transformation. Multi-scale phase average waveforms from EEG signals were observed using a conditional sampling method and phase averaging technique.RESULTS: Multi-scale characteristics of EEG signals demonstrated that 12-scale (3 Hz) rhythmical activity was significantly enhanced during childhood absence epilepsy seizure and co-existed with background structure (〈1 Hz, low frequency discharge). The phase average wave exhibited opposed phase abnormal rhythm at 3 Hz. Prior to childhood absence epilepsy seizure, EEG detected opposed abnormal a rhythm and 3 Hz composition, which were not detected with traditional EEG. Compared to EEG signals from normal children, epileptic discharges from clinical and subclinical childhood absence epilepsy seizures were positive and amplitude was significantly greater (P〈0.05).CONCLUSION: Wavelet transformation was used to analyze EEG signals from childhood absence epilepsy to obtain multi-scale quantitative characteristics and phase average waveforms. Multi-scale wavelet coefficients of EEG signals correlated with childhood absence epilepsy seizure, and multi-scale waveforms prior to epilepsy seizure were similar to characteristics during the onset period. Compared to normal children, EEG signals during epilepsy seizure exhibited an opposed phase model. 展开更多
关键词 EEG multi-scale absence epilepsy wavelet transform phase average waveform neuroelectrophysiology neural regeneration
下载PDF
基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法
14
作者 姚宗亮 黄荣 +2 位作者 董爱华 韩芳 王青云 《宁夏大学学报(自然科学版)》 CAS 2024年第1期16-24,共9页
脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性... 脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能. 展开更多
关键词 脑肿瘤分割 transformER 模态交叉连接 多尺度特征融合 token融合 自适应剪枝
下载PDF
时空关联的Transformer骨架行为识别
15
作者 卢先领 杨嘉琦 《信号处理》 CSCD 北大核心 2024年第4期766-775,共10页
目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练,造成训练成本高,另外,在特征提取过程中,忽略了对复杂时空依赖关系的建模,以及在时域上的信息交流采取大尺度卷积,导致聚合大量冗余信息。针对... 目前主流的骨架行为识别方法采取关节流、骨骼流及其对应的运动流作为多流网络分别进行训练,造成训练成本高,另外,在特征提取过程中,忽略了对复杂时空依赖关系的建模,以及在时域上的信息交流采取大尺度卷积,导致聚合大量冗余信息。针对以上问题,提出一种时空关联的Transformer骨架行为识别方法。首先,构建运动融合模块,以关节流和骨骼流作为双流输入,在特征级别将各自的运动信息进行融合,减少单独训练运动流的成本;其次,提出移位Transformer模块,利用时间移位操作混合时空信息的特性,配合Transformer低成本地捕获短期时空依赖关系;然后,设计多尺度时间卷积进行时域长期信息交流;最后,融合双流得分获得最终分类预测。在大规模数据集NTU RGB+D以及NTU RGB+D 120上进行实验,结果表明,该模型在NTU RGB+D数据集的两种评价标准X-Sub和X-View上分别达到了91.5%和96.3%的识别准确率,在NTU RGB+D 120数据集两种评价标准X-Sub和X-Set上分别达到了87.2%和89.3%的识别准确率,本文所提方法的识别准确率相对主流骨架行为识别方法有明显提升,验证了模型的有效性和通用性。 展开更多
关键词 transformer网络 人体骨架 多尺度卷积 运动信息 动作识别
下载PDF
基于多尺度Transformer的多视图三维形状分析方法
16
作者 卫鑫 孙剑 《工程数学学报》 CSCD 北大核心 2024年第1期164-174,共11页
基于多视图的三维形状分析方法是三维计算机视觉领域中的重要研究分支,通过整合三维形状在多个视角下的二维图像的特征来完成三维形状的识别、检索等任务。然而,如何有效地探索不同视角之间的关联性,并运用这些关联性来聚合多视图图像... 基于多视图的三维形状分析方法是三维计算机视觉领域中的重要研究分支,通过整合三维形状在多个视角下的二维图像的特征来完成三维形状的识别、检索等任务。然而,如何有效地探索不同视角之间的关联性,并运用这些关联性来聚合多视图图像的特征仍然是三维形状分析中一个亟待解决的核心问题。受到最近兴起的Transformer网络在关系建模问题上成功应用的启发,研究工作引入了一种创新的多尺度Transformer架构,提出了基于多尺度Transformer的多视图三维形状分析方法(Multi-View Multi-Scale Transformer,MVMST)。此方法能够有效地学习不同视角之间的关联性,将多视图图像的特征聚合为一个具有强大表达能力的整体描述符。与以往方法使用感受野为全局的Transformer建模多视图特征的关系不同,该方法受到多尺度学习方法的启发,使用多尺度的Transformer来建模不同尺度下的多视图图像特征之间的关系,并设计了一个多尺度融合模块将多个尺度下经过Transformer处理的特征进行融合,得到一个相比单一尺度更加有效的多尺度表示。多个视图的多尺度表示最终经过视角池化模块融合成三维形状的一个整体描述符。研究了在多个合成和真实扫描三维形状分类数据集上进行了实验,结果表明所提出的方法在三维形状分类任务上表现出令人满意的性能。 展开更多
关键词 三维形状分析 transformER 多尺度方法
下载PDF
基于多尺度transformer的伪造人脸检测方法
17
作者 黄继胜 《南阳理工学院学报》 2024年第2期69-73,91,共6页
考虑到目前大多数伪造人脸分类方法存在分类精度低、泛化能力差的问题,提出一种结合多尺度transformer和卷积块注意力模块的伪造人脸分类方法。多尺度transformer用来学习卷积层所提取特征图的高级语义特征,卷积块注意力模块用来增强此... 考虑到目前大多数伪造人脸分类方法存在分类精度低、泛化能力差的问题,提出一种结合多尺度transformer和卷积块注意力模块的伪造人脸分类方法。多尺度transformer用来学习卷积层所提取特征图的高级语义特征,卷积块注意力模块用来增强此高级语义特征,使其更具有区分性,使用增强后的特征来进行分类。实验结果表明,该方法可以显著提高伪造人脸分类的准确性和泛化能力。 展开更多
关键词 多尺度transformer 卷积块注意力模块 伪造人脸分类 高级语义特征
下载PDF
融合CNN-Transformer的红外弱小目标检测方法
18
作者 李建 丁乐琪 +1 位作者 王碧云 蔡云泽 《飞控与探测》 2024年第2期62-72,共11页
针对远距离红外目标探测技术中存在的弱小目标特征信息提取困难、局部背景噪声干扰强导致检测算法虚警率和漏检率偏高的问题,提出了融合CNN-Transformer的单帧红外弱小目标检测算法。针对已有方法在提取红外弱小目标特征信息时感受野受... 针对远距离红外目标探测技术中存在的弱小目标特征信息提取困难、局部背景噪声干扰强导致检测算法虚警率和漏检率偏高的问题,提出了融合CNN-Transformer的单帧红外弱小目标检测算法。针对已有方法在提取红外弱小目标特征信息时感受野受限且易受到局部噪声干扰的问题,对Swin Transformer中的窗口自注意力计算模块进行改进,设计了基于可分离卷积的局部感知增强模块,兼顾对全局信息和局部信息的提取,提升骨干网络对弱小目标空间分布信息的提取能力。针对小目标特征难以在深层网络中保留的问题,设计了自下而上的多尺度特征融合模块,在不同层级的特征图之间利用注意力机制确保小目标的低层特征信息能够在高层特征图中得以保留。在公开数据集NUAA-SIRST上进行了测试,验证了本文所提算法相比已有算法取得了更佳的检测效果,同时能够兼顾对检测精度和召回率的优化。 展开更多
关键词 红外图像 弱小目标检测 CNN-transformer 多尺度特征融合 注意力机制
下载PDF
基于卷积与Transformer融合框架的列车轮对轴承损伤识别方法
19
作者 邓飞跃 蔡毓龙 +1 位作者 王锐 郑守禧 《工程科学学报》 EI CSCD 北大核心 2024年第10期1834-1844,共11页
针对传统机器视觉方法在列车轮对轴承损伤检测中存在的图像特征提取不敏感、专家经验要求高以及识别准确率偏低等问题,本文提出了一种基于卷积与Transformer融合框架的列车轮对轴承损伤识别方法.首先,发展了一种图像增强类别重组的预处... 针对传统机器视觉方法在列车轮对轴承损伤检测中存在的图像特征提取不敏感、专家经验要求高以及识别准确率偏低等问题,本文提出了一种基于卷积与Transformer融合框架的列车轮对轴承损伤识别方法.首先,发展了一种图像增强类别重组的预处理方法,消除不同类别数据样本不均衡的影响,提高图像数据集质量;其次,基于卷积与自注意力融合思想,设计了VGG与Transformer双分支并行融合网络(VGG and Transformer parallel fusion network,VTPF-Net),综合获取图像全局轮廓特征与局部细节特征信息;再次,构建了多尺度膨胀空间金字塔卷积(Multiscale dilation spatial pyramid convolution,MDSPC)模块,利用多尺度膨胀卷积递进融合充分挖掘特征图中多尺度语义特征;最后,基于NEU-DET图像缺陷数据集与自建列车轮对轴承图像数据集进行了实验分析.结果表明,所提模型对NEU-DET数据中6类缺陷图像与轮对轴承4类故障图像的识别准确率分别为99.44%与98%,能够较为准确识别不同损伤类型图像样本,在不明显增加模型复杂度基础上各项评价指标要显著优于当前CNN模型、自注意力机制ViT模型以及CNN-Transformer融合模型. 展开更多
关键词 轮对轴承 损伤识别 卷积网络 transformer网络 多尺度特征
下载PDF
位置敏感Transformer航拍图像目标检测模型
20
作者 李大湘 辛嘉妮 刘颖 《光学精密工程》 EI CAS CSCD 北大核心 2024年第5期727-739,共13页
针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测(PS-TOD)模型。设计了一个基于位置通道嵌入三维注意力(PCE3DA)的多尺度特征融合(MSFF)模块,即PCE3DA利用空间与通道信息的相互依赖关系生成... 针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测(PS-TOD)模型。设计了一个基于位置通道嵌入三维注意力(PCE3DA)的多尺度特征融合(MSFF)模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力(PSSA)机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型(DETR)相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。 展开更多
关键词 目标检测 无人机图像 位置敏感transformer 多尺度特征融合 注意力机制
下载PDF
上一页 1 2 43 下一页 到第
使用帮助 返回顶部