期刊文献+
共找到421,798篇文章
< 1 2 250 >
每页显示 20 50 100
锂离子电池健康状态的DCAE-Transformer预测方法研究
1
作者 李浩平 于波涛 +3 位作者 孟荣华 金朱鸿 杜昕毅 李景瑞 《三峡大学学报(自然科学版)》 CAS 北大核心 2025年第1期106-112,共7页
提出了一种基于Transformer的DCAE-Transformer模型,旨在改善健康状态(SOH)估计的准确性.该方法通过Pearson相关系数筛选关键特征,利用去噪自编码器(DAE)和卷积神经网络(CNN)相结合进行数据预处理和特征提取,再将数据输入Transformer框... 提出了一种基于Transformer的DCAE-Transformer模型,旨在改善健康状态(SOH)估计的准确性.该方法通过Pearson相关系数筛选关键特征,利用去噪自编码器(DAE)和卷积神经网络(CNN)相结合进行数据预处理和特征提取,再将数据输入Transformer框架完成预测.使用NASA和CALCE提供的数据集进行验证,DCAE-Transformer模型在NASA电池样本上的误差指标(EMA、EMAP和ERMS)均低于1%,R2值超过99.5%;在CALCE样本上,误差指标低于5%,R2值超过98%.结果表明,该模型在锂电池SOH估计方面具有较高的精确性和泛化性. 展开更多
关键词 锂电池 健康状态估计 卷积去噪自编码器 transformer 预测性能
下载PDF
AI-based Correction of Wave Forecasts Using the Transformer-enhanced UNet Model
2
作者 Yanzhao CAO Shouwen ZHANG +2 位作者 Guannan LV Mengchao YU Bo AI 《Advances in Atmospheric Sciences》 2025年第1期221-231,共11页
Grid forecasting can be used to effectively enhance the spatial and temporal density of forecast products,thereby improving the capability of short-term marine disaster forecasting and warnings in terms of proximity.T... Grid forecasting can be used to effectively enhance the spatial and temporal density of forecast products,thereby improving the capability of short-term marine disaster forecasting and warnings in terms of proximity.The traditional method that relies on forecasters'subjective correction of station observation data for forecasting has been unable to meet the practical needs of refined forecasting.To address this problem,this paper proposes a Transformer-enhanced UNet(TransUNet)model for wave forecast AI correction,which fuses wind and wave information.The Transformer structure is integrated into the encoder of the UNet model,and instead of using the traditional upsampling method,the dual-sampling module is employed in the decoder to enhance the feature extraction capability.This paper compares the TransUNet model with the traditional UNet model using wind speed forecast data,wave height forecast data,and significant wave height reanalysis data provided by ECMWF.The experimental results indicate that the TransUNet model yields smaller root-meansquare errors,mean errors,and standard deviations of the corrected results for the next 24-h forecasts than does the UNet model.Specifically,the root-mean-square error decreased by more than 21.55%compared to its precorrection value.According to the statistical analysis,87.81%of the corrected wave height errors for the next 24-h forecast were within±0.2m,with only 4.56%falling beyond±0.3 m.This model effectively limits the error range and enhances the ability to forecast wave heights. 展开更多
关键词 TransUNet transformer wave forecasting bias correction
下载PDF
基于Depth-wise卷积和视觉Transformer的图像分类模型 被引量:4
3
作者 张峰 黄仕鑫 +1 位作者 花强 董春茹 《计算机科学》 CSCD 北大核心 2024年第2期196-204,共9页
图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关... 图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。 展开更多
关键词 深度学习 图像分类 depth-wise卷积 视觉transformer 注意力机制
下载PDF
CNN联合多尺度Transformer的高光谱与多光谱图像融合
4
作者 徐光宪 周伟杰 马飞 《红外技术》 北大核心 2025年第1期52-62,共11页
高光谱图像具有丰富的光谱信息,多光谱图像具有精妙的几何特征,融合高分辨率的多光谱图像和低分辨率的高光谱图像可以获取更为全面的遥感数据图像。然而现有的融合网络大多数基于卷积神经网络所设计,对于结构复杂的遥感类图像而言,依赖... 高光谱图像具有丰富的光谱信息,多光谱图像具有精妙的几何特征,融合高分辨率的多光谱图像和低分辨率的高光谱图像可以获取更为全面的遥感数据图像。然而现有的融合网络大多数基于卷积神经网络所设计,对于结构复杂的遥感类图像而言,依赖于核大小的卷积运算,容易导致特征融合阶段缺乏一些全局上下文信息。为保证图像融合的质量,本文提出了一种CNN(Convolutional Neural Network,CNN)联合多尺度transformer网络来实现多光谱和高光谱图像融合,结合了CNN的特征提取能力与transformer的全局建模优势。网络将融合任务分为了两个阶段,特征提取阶段和融合阶段。特征提取阶段,针对图像特性,基于卷积神经网络分别设计了不同模块用于特征提取。融合阶段,通过多尺度transformer模块从局部到全局建立信息间长距离关联,最后通过多层卷积层将特征映射为高分辨率的高光谱图像。经过在CAVE和Harvard数据集的实验结果表明,本文所提算法与其他经典算法相比,能更好地提升融合图像的质量。 展开更多
关键词 高光谱图像 多光谱图像 卷积神经网络 transformer 图像融合
下载PDF
基于Transformer模型的时序数据预测方法综述
5
作者 孟祥福 石皓源 《计算机科学与探索》 北大核心 2025年第1期45-64,共20页
时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据... 时序数据预测(TSF)是指通过分析历史数据的趋势性、季节性等潜在信息,预测未来时间点或时间段的数值和趋势。时序数据由传感器生成,在金融、医疗、能源、交通、气象等众多领域都发挥着重要作用。随着物联网传感器的发展,海量的时序数据难以使用传统的机器学习解决,而Transformer在自然语言处理和计算机视觉等领域的诸多任务表现优秀,学者们利用Transformer模型有效捕获长期依赖关系,使得时序数据预测任务取得了飞速发展。综述了基于Transformer模型的时序数据预测方法,按时间梳理了时序数据预测的发展进程,系统介绍了时序数据预处理过程和方法,介绍了常用的时序预测评价指标和数据集。以算法框架为研究内容系统阐述了基于Transformer的各类模型在TSF任务中的应用方法和工作原理。通过实验对比了各个模型的性能、优点和局限性,并对实验结果展开了分析与讨论。结合Transformer模型在时序数据预测任务中现有工作存在的挑战提出了该方向未来发展趋势。 展开更多
关键词 深度学习 时序数据预测 数据预处理 transformer模型
下载PDF
FMA-DETR:一种无编码器的Transformer目标检测方法 被引量:1
6
作者 周全 倪英豪 +2 位作者 莫玉玮 康彬 张索非 《信号处理》 CSCD 北大核心 2024年第6期1160-1170,共11页
DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导... DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。 展开更多
关键词 目标检测 transformer 编码器 dETR 混合注意力
下载PDF
基于Transformer和动态3D卷积的多源遥感图像分类 被引量:1
7
作者 高峰 孟德森 +2 位作者 解正源 亓林 董军宇 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期606-614,共9页
多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解... 多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明:所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。 展开更多
关键词 高光谱图像 激光雷达 transformer 多源特征融合 动态卷积
下载PDF
基于Transformer与注意力机制的肺部肿瘤分割方法
8
作者 曾安 王丹 +4 位作者 杨宝瑶 张小波 石镇维 刘再毅 潘丹 《广东工业大学学报》 2025年第1期24-32,共9页
肺部肿瘤的准确分割对于肿瘤的诊断和治疗具有重要作用,然而肺部肿瘤分割中存在病灶与周围组织的对比度低、肿瘤与正常组织易粘连和背景噪声大等问题。针对这些问题,本文提出了一种基于Transformer和注意力机制的肺部肿瘤分割方法。在Tr... 肺部肿瘤的准确分割对于肿瘤的诊断和治疗具有重要作用,然而肺部肿瘤分割中存在病灶与周围组织的对比度低、肿瘤与正常组织易粘连和背景噪声大等问题。针对这些问题,本文提出了一种基于Transformer和注意力机制的肺部肿瘤分割方法。在Transformer编码器阶段引入全局和局部的注意力机制,使得网络可以同时关注全局和局部的上下文信息;在跳跃连接阶段,使用通道优先卷积注意力机制,可以增强复杂病灶的空间感知能力和降低通道维度冗余,从而提高肿瘤的分割精度。在私有数据集GDPH和公共数据集LUNG1上的测试结果表明,本文方法相比其他8种分割方法,Dice指标在两个数据集上表现最优,分别为90.96%和88.18%,可以为临床的诊疗提供可靠辅助。 展开更多
关键词 肺部肿瘤 医学图像分割 卷积神经网络 transformer 注意力机制
下载PDF
基于Contextual Transformer的自动驾驶单目3D目标检测
9
作者 厍向阳 颜唯佳 董立红 《计算机工程与应用》 CSCD 北大核心 2024年第19期178-189,共12页
针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构... 针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。 展开更多
关键词 自动驾驶 单目3d目标检测 Contextual transformer 多尺度感知 坐标注意力机制
下载PDF
基于Transformer改进的YOLOv5+DeepSORT的车辆跟踪算法
10
作者 何水龙 张靖佳 +1 位作者 张林俊 莫德赟 《汽车技术》 CSCD 北大核心 2024年第7期9-16,共8页
针对传统目标检测跟踪算法检测精度低、全局感知能力差、对遮挡和小目标物体的识别能力差等问题,提出了一种基于轻量化Transformer改进的YOLOv5和DeepSORT算法的车辆跟踪方法。首先,利用EfficientFormerV2模型改进YOLOv5算法模型,增强... 针对传统目标检测跟踪算法检测精度低、全局感知能力差、对遮挡和小目标物体的识别能力差等问题,提出了一种基于轻量化Transformer改进的YOLOv5和DeepSORT算法的车辆跟踪方法。首先,利用EfficientFormerV2模型改进YOLOv5算法模型,增强车辆的目标检测能力;然后,利用移位窗口(Swin)模型的优点改进DeepSORT多目标跟踪算法中的重识别(Re-Identification)模块,提高车辆的跟踪能力和精度;最后,通过数据集KITTI和VeRi开展对比试验和消融实验。结果表明,在复杂工况下,该方法的性能在车辆遮挡和小目标识别方面显著提高,平均准确度达到96.7%,目标跟踪准确度提高了9.547%,编号(ID)切换总次数减少了26.4%。 展开更多
关键词 YOLOv5 车辆检测 deepSORT transformer
下载PDF
Dual-Path Vision Transformer用于急性缺血性脑卒中辅助诊断
11
作者 张桃红 郭学强 +4 位作者 郑瀚 罗继昌 王韬 焦力群 唐安莹 《电子科技大学学报》 EI CAS CSCD 北大核心 2024年第2期307-314,共8页
急性缺血性脑卒中是由于脑组织血液供应障碍导致的脑功能障碍,数字减影脑血管造影(DSA)是诊断脑血管疾病的金标准。基于患者的正面和侧面DSA图像,对急性缺血性脑卒中的治疗效果进行分级评估,构建基于Vision Transformer的双路径图像分... 急性缺血性脑卒中是由于脑组织血液供应障碍导致的脑功能障碍,数字减影脑血管造影(DSA)是诊断脑血管疾病的金标准。基于患者的正面和侧面DSA图像,对急性缺血性脑卒中的治疗效果进行分级评估,构建基于Vision Transformer的双路径图像分类智能模型DPVF。为了提高辅助诊断速度,基于EdgeViT的轻量化设计思想进行了模型的构建;为了使模型保持轻量化的同时具有较高的精度,提出空间-通道自注意力模块,促进Transformer模型捕获更全面的特征信息,提高模型的表达能力;此外,对于DPVF的两分支的特征融合,构建交叉注意力模块对两分支输出进行交叉融合,促使模型提取更丰富的特征,从而提高模型表现。实验结果显示DPVF在测试集上的准确率达98.5%,满足实际需求。 展开更多
关键词 急性缺血性脑卒中 视觉transformer 双分支网络 特征融合
下载PDF
SVMD-PE-BP-Transformer短期光伏功率预测
12
作者 王瑞 靳鑫鑫 逯静 《电网与清洁能源》 CSCD 北大核心 2024年第8期141-150,共10页
考虑到光伏功率受气象因素变化影响而波动性大难以预测的问题,将逐次变分模态分解SVMD-排列熵PE与BPTransformer相结合,给出了一种组合预测方法,以下简称SPBT模型。在去除非相关因子的基础上,利用SOM聚类方法,对全年光伏数据进行3种类... 考虑到光伏功率受气象因素变化影响而波动性大难以预测的问题,将逐次变分模态分解SVMD-排列熵PE与BPTransformer相结合,给出了一种组合预测方法,以下简称SPBT模型。在去除非相关因子的基础上,利用SOM聚类方法,对全年光伏数据进行3种类型的分类;针对光伏发电初始时序中所蕴含的重要信息,利用SVMD自适应K值的方法,对其进行分解。再利用PE方法计算各个子序列的熵值,即序列的起伏复杂程度,根据熵的大小,对频率接近的成分进行重构,将其分为两个区间:复杂度低的部分和复杂度高的部分。最后利用BP网络与Transformer分别对其进行预测,并对预测输出进行综合处理。该文以江苏省一光伏电站观测的气象与功率数据为例,通过比较试验验证了该模型的优势,该模型具有较低的预测误差,有助于提高预测精度。 展开更多
关键词 逐次变分模态分解 排列熵 transformer 功率预测
下载PDF
CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类
13
作者 吴海滨 戴诗语 +2 位作者 王爱丽 岩堀祐之 于效宇 《光学精密工程》 EI CAS CSCD 北大核心 2024年第7期1087-1100,共14页
针对高光谱图像(hyperspectral images,HSI)与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络(Contrastive Learning based CNNTransformer Network,CL... 针对高光谱图像(hyperspectral images,HSI)与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络(Contrastive Learning based CNNTransformer Network,CLCT-Net)。CLCT-Net通过由ConvNeXt V2 Block构成的共有特征提取模块,获得不同模态间的共性特征,解决异构传感器数据之间语义对齐的问题。构建了包含空间-通道分支和光谱上下文分支的双分支HSI编码器,以及结合频域自注意力机制的LiDAR编码器,以获取更丰富的特征表示。利用集成对比学习进行分类,进一步提升多模态数据协同分类的精度。在Houston 2013和Trento数据集上的实验结果表明,相较于其他高光谱图像和Li‐DAR数据分类模型,本文所提模型获得了更高的地物分类精度,分别达到了92.01%和98.90%,实现了跨模态数据特征的深度挖掘和协同提取。 展开更多
关键词 高光谱图像 激光雷达数据 transformer 卷积神经网络 对比学习
下载PDF
基于Transformer-GRU网络的4D航迹预测 被引量:1
14
作者 翟文鹏 宋一峤 张兆宁 《重庆交通大学学报(自然科学版)》 CAS CSCD 北大核心 2024年第6期94-101,共8页
航空器的4D航迹预测作为基于航迹运行(TBO)的关键技术之一具有非常重要的意义。基于Transformer-GRU(T-GRU)网络,提出了一种新的航迹预测方法,结合Adamax优化器实现了4D航迹预测。利用Transformer网络的自注意力机制对输入序列进行建模... 航空器的4D航迹预测作为基于航迹运行(TBO)的关键技术之一具有非常重要的意义。基于Transformer-GRU(T-GRU)网络,提出了一种新的航迹预测方法,结合Adamax优化器实现了4D航迹预测。利用Transformer网络的自注意力机制对输入序列进行建模,通过GRU网络获取时序数据的特征;对原始航迹数据进行重采样插值和中值滤波等预处理,以便消除数据缺失和异常值等对预测的影响;通过E E、E AT、E CT、E A等误差指标对实验结果进行评价,并与其他常用的航迹预测方法进行对比。研究结果表明:与传统深度学习方法相比,基于T-GRU网络的4D航迹预测模型在航迹预测中具有更高的准确性和鲁棒性。 展开更多
关键词 交通工程 空中交通管理 TBO 4d航迹预测 深度学习
下载PDF
基于改进Detection Transformer的棉花幼苗与杂草检测模型研究
15
作者 冯向萍 杜晨 +3 位作者 李永可 张世豪 舒芹 赵昀杰 《计算机与数字工程》 2024年第7期2176-2182,共7页
基于深度学习的目标检测技术在棉花幼苗与杂草检测领域已取得一定进展。论文提出了基于改进Detection Transformer的棉花幼苗与杂草检测模型,以提高杂草目标检测的准确率和效率。首先,引入了可变形注意力模块替代原始模型中的Transforme... 基于深度学习的目标检测技术在棉花幼苗与杂草检测领域已取得一定进展。论文提出了基于改进Detection Transformer的棉花幼苗与杂草检测模型,以提高杂草目标检测的准确率和效率。首先,引入了可变形注意力模块替代原始模型中的Transformer注意力模块,提高模型对特征图目标形变的处理能力。提出新的降噪训练机制,解决了二分图匹配不稳定问题。提出混合查询选择策略,提高解码器对目标类别和位置信息的利用效率。使用Swin Transformer作为网络主干,提高模型特征提取能力。通过对比原网络,论文提出的模型方法在训练过程中表现出更快的收敛速度,并且在准确率方面提高了6.7%。 展开更多
关键词 目标检测 detection transformer 棉花幼苗 杂草检测
下载PDF
基于Transformer的胃癌显微高光谱图像分割方法
16
作者 张然 金伟 +8 位作者 牟颖 于丙文 柏怡文 邵益波 平金良 宋鹏涛 何湘漪 刘飞 付琳琳 《光谱学与光谱分析》 北大核心 2025年第2期551-557,共7页
胃癌是全球第五常见的恶性肿瘤并死亡率较高,严重威胁人类的生命健康。因此,早期识别胃癌病变对早期胃癌诊断至关重要。显微高光谱成像技术作为一种新兴技术,可以在微观层面同时获取生物组织丰富的光谱信息和空间信息,为早期病理切片诊... 胃癌是全球第五常见的恶性肿瘤并死亡率较高,严重威胁人类的生命健康。因此,早期识别胃癌病变对早期胃癌诊断至关重要。显微高光谱成像技术作为一种新兴技术,可以在微观层面同时获取生物组织丰富的光谱信息和空间信息,为早期病理切片诊断提供了一种新的思路。利用显微高光谱成像系统,采集了在400~1000 nm波段范围的胃癌显微高光谱病理图像,通过光谱校正等预处理构建了包含230张图像的胃癌显微高光谱数据集。尽管基于空间注意力的方法在图像分类、分割等领域已取得了显著成果,但在处理高光谱图像时仍面临计算复杂度高以及光谱信息利用不充分的问题。为此,提出了基于卷积和注意力机制的混合双分支Transformer(MDBT)的特征提取主干网络模型。该模型通过交替应用空间混合模块和通道混合模块,实现块间和块内的空间和通道特征聚合。具体而言,设计了窗口注意力和卷积双分支以及空间和通道交互结构。这种设计不仅降低了计算复杂度,还通过卷积交互实现了窗口间信息交互和特征融合,从而克服了窗口注意力感受野受限的问题,进一步提高了Transformer的全局建模能力。在进行图像分割实验中,采用UperNet模型作为解码头网络对主干网络提取得到的特征进行还原,以得到最终的分割结果。在采集得到的胃癌高光谱数据集上进行了五折交叉验证实验,结果表明本模型的平均mDice和mIoU分别达到85.39、74.66,性能优于目前UNet、Swin、PVT、VIT等主流图像分割网络模型。同时设计一系列消融实验,验证本文提出空间和通道双混合模块、卷积与窗口注意力双分支等结构对实验结果的优化效果。实验结果表明本文提出的MDBT模型能够有效利用高光谱图像丰富的空间和光谱信息,提高胃癌图像分割准确率,证明显微高光谱成像技术在胃癌诊断方面具有一定的研究意义和应用价值。 展开更多
关键词 显微高光谱 图像分割 深度学习 transformer
下载PDF
图像处理中CNN与视觉Transformer混合模型研究综述 被引量:2
17
作者 郭佳霖 智敏 +1 位作者 殷雁君 葛湘巍 《计算机科学与探索》 北大核心 2025年第1期30-44,共15页
卷积神经网络(CNN)与视觉Transformer是目前图像处理领域中两大重要的深度学习模型,两者经过多年来不断的研究与进步,已在该领域取得了非凡的成就。近些年来,CNN与视觉Transformer的混合模型正在逐步兴起,广泛的研究不断克服两种模型存... 卷积神经网络(CNN)与视觉Transformer是目前图像处理领域中两大重要的深度学习模型,两者经过多年来不断的研究与进步,已在该领域取得了非凡的成就。近些年来,CNN与视觉Transformer的混合模型正在逐步兴起,广泛的研究不断克服两种模型存在的弱项,高效地发挥出各自的亮点,在图像处理任务中表现出优异的效果。基于CNN与视觉Transformer混合模型进行深入阐述。总体概述了CNN与Vision Transformer模型的架构和优缺点,并总结混合模型的概念及优势。围绕串行结构融合方式、并行结构融合方式、层级交叉结构融合方式以及其他融合方式等四个方面全面回顾梳理了混合模型的研究现状和实际进展,并针对各种融合方式的主要代表模型进行总结与剖析,从多方面对典型混合模型进行评价对比。多角度叙述了混合模型在图像识别、图像分类、目标检测和图像分割等实际图像处理特定领域中应用研究,展现出混合模型在具体实践中的适用性和高效性。深入分析混合模型未来研究方向,并为后续该模型在图像处理中的研究与应用提出展望。 展开更多
关键词 卷积神经网络(CNN) 视觉transformer 混合模型 图像处理 深度学习
下载PDF
基于TF-IDF和多头注意力Transformer模型的文本情感分析 被引量:9
18
作者 高佳希 黄海燕 《华东理工大学学报(自然科学版)》 CAS CSCD 北大核心 2024年第1期129-136,共8页
文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Documen... 文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。 展开更多
关键词 文本情感分析 自然语言处理 多头注意力机制 TF-IdF算法 transformer模型
下载PDF
基于改进Transformer模型的多元时间序列预测
19
作者 程艺锐 李果 《南阳师范学院学报》 CAS 2025年第1期38-45,共8页
在无线数据传输中,环境干扰和网络拥塞导致的数据丢包和缺失问题显著影响了时间序列预测的稳定性。为了解决这个问题,提出了一种名为TFKNet的时间序列预测模型。该模型基于Transformer的多维时间序列数据预测方法,在传统Transformer模... 在无线数据传输中,环境干扰和网络拥塞导致的数据丢包和缺失问题显著影响了时间序列预测的稳定性。为了解决这个问题,提出了一种名为TFKNet的时间序列预测模型。该模型基于Transformer的多维时间序列数据预测方法,在传统Transformer模型的基础上,结合时间卷积网络(TCN)和傅立叶频率特征提取技术增强了模型对局部特征的捕捉能力和多频率特征的提取能力,引入Kernel Attention Networks(KAN)提高了模型的预测性能。实验结果表明,与Transformer、Informer、Reformer、Autoformer传统方法相比,TFKNet模型在时间序列长预测任务中预测误差MAE分别平均降低0.0522、0.1117、0.1209、0.1922。 展开更多
关键词 数据预测 transformer TCN KAN 傅立叶频率特征
下载PDF
ViTAU:基于Vision transformer和面部动作单元的面瘫识别与分析
20
作者 高嘉 蔡文浩 +1 位作者 赵俊莉 段福庆 《工程科学学报》 EI 北大核心 2025年第2期351-363,共13页
面部神经麻痹(Facial nerve paralysis,FNP),通常称为贝尔氏麻痹或面瘫,对患者的日常生活和心理健康产生显著影响,面瘫的及时识别和诊断对于患者的早期治疗和康复至关重要.随着深度学习和计算机视觉技术的快速发展,面瘫的自动识别变得可... 面部神经麻痹(Facial nerve paralysis,FNP),通常称为贝尔氏麻痹或面瘫,对患者的日常生活和心理健康产生显著影响,面瘫的及时识别和诊断对于患者的早期治疗和康复至关重要.随着深度学习和计算机视觉技术的快速发展,面瘫的自动识别变得可行,为诊断提供了一种更准确和客观的方式.目前的研究主要集中关注面部的整体变化,而忽略了面部细节的重要性.面部不同部位对识别结果的影响力并不相同,这些研究尚未对面部各个区域进行细致区分和分析.本项研究引入结合Vision transformer(ViT)模型和动作单元(Action unit,AU)区域检测网络的创新性方法用于面瘫的自动识别及区域分析.ViT模型通过自注意力机制精准识别是否面瘫,同时,基于AU的策略从StyleGAN2模型提取的特征图中,利用金字塔卷积神经网络分析受影响区域.这一综合方法在YouTube Facial Palsy(YFP)和经过扩展的Cohn Kanade(CK+)数据集上的实验中分别达到99.4%的面瘫识别准确率和81.36%的面瘫区域识别准确率.通过与最新方法的对比,实验结果展示了所提的自动面瘫识别方法的有效性. 展开更多
关键词 transformer 面部动作单元 多分辨率特征图 生成器 热力图回归
下载PDF
上一页 1 2 250 下一页 到第
使用帮助 返回顶部