结合混合卷积和多尺度注意力的视频异常检测算法

基于U-net风格的无监督视频异常检测模型有着较好的检测效果,但由于普通卷积运算使用固有的局部特性,使U-Net风格的编码器无法有效地提取全局上下文信息,并且使用简单的跳跃连接无法获得有效的特征信息,使用的L2损失函数是仅考虑了像素级别的差异而无法捕捉图像的结构特征。对此提出了结合混合卷积和多尺度注意力的视频异常检测算法,并加入结构相似性损失函数(SSIM)优化模型。具体来说,在编码器最后一层添加混合卷积模块,混合空间和位置的特征来提取全局上下文信息。在编码器和解码器之间的跳跃连接中添加多尺度注意力模块,使模型能提取更有价值的特征,实现有效的跳跃连接。使用参数约束结构相似性损失函数与L2损失函数的权重,从而更准确地优化模型。实验结果表明,所提算法在UCSD-Ped2和CUHK Avenue公开数据集上的AUC指标达到96.7%和86.1%,与改进前的模型相比提高了1.6%和1.4%,证明了所提模型的有效性。

多尺度注意力机制下的人脸表情识别算法设计

为了优化在人脸表情较模糊情况下的识别效果,并更好地获取表情的表征数据,设计一种多尺度注意力机制下的人脸表情识别方法。对人脸表情图像进行缩放与扩充预处理操作,从图像中提取人脸表情解耦表征皮沟数据,通过卷积神经网络对提取到的解耦表征皮沟数据进行特征捕捉。引入了多尺度注意力机制,有选择性地关注重要的表情特征。同时,利用多通道的表情识别方法,自适应地提取人脸组件区域内的表情信息,从而识别人脸表情。实验分析结果表明,所提方法在四类不同表情标签对应的人脸表情识别召回率始终高于对照组,均达到了98%以上,识别效果优势显著。

基于自适应多尺度注意力机制的CNN-GRU矿用电动机健康状态评估

利用多传感器信息融合技术进行电动机健康状态评估时,矿用电动机监测数据中存在异常值和缺失值,而卷积神经网络和循环神经网络等深度学习模型在数据质量下降严重的情况下难以有效提取数据特征和更新网络权重,导致梯度消失或爆炸等问题。针对上述问题,提出了一种基于自适应多尺度注意力机制的CNN-GRU(CNN-GRU-AMSA)模型,用于评估矿用电动机健康状态。首先,对传感器采集的电动机运行数据进行填补、剔除和标准化处理,并以环境温度变化作为依据对矿用电动机运行数据进行工况划分。然后,根据马氏距离计算出电动机电流、电动机三相绕组温度、电动机前端轴承温度和电动机后端轴承温度等健康评估指标的健康指数(HI),采用Savitzky–Golay滤波器对指标HI进行降噪、平滑、归一化处理,并结合主成分分析法计算的不同指标对矿用电动机的贡献度,对指标HI进行加权融合得到矿用电动机HI。最后,将矿用电动机HI输入CNN-GRU-AMSA模型中,该模型通过动态调整注意力权重,实现对不同尺度特征的信息融合,从而准确输出电动机健康状态评估结果。实验结果表明,与其他常见的深度学习模型CNN,CNN-GRU,CNN-LSTM,CNN-LSTM-Attention相比,CNN-GRU-AMSA模型在均方根误差、平均绝对误差、准确率、Macro F1及Micro F1等评价指标上更优,且预测残差的波动范围更小,稳定性更优。

基于多尺度注意力机制的实时激光雷达点云语义的分割

为既能提高分割精度,又能克服车载计算资源局限,提出一种面向移动机器人平台的车载实时点云语义分割方法,并进行了综合实验。该方法采用基于投影的激光雷达语义分割方法,将三维点云投影到球面图像,并结合二维卷积进行分割。引入多头注意力机制(MHSA),实现轻量级语义分割模型,以一种全新的方式,将一种深度学习模型架构Transformer映射到卷积。将Transformer的MHSA迁移至卷积,以形成多尺度自注意力机制(MSSA)。结果表明:与当前主流方法CENet、FIDNet、PolarNet相比,本方法在NVIDIA JETSON AGX Xavier计算平台上保持了较高的分割精度(平均交并比为63.9%)及较高的检测速率(41帧/s),从而证明了其对移动机器人平台的适用性。

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

结合坡度增强与多尺度注意力的滑坡检测算法

遥感影像滑坡区域快速精确识别在灾害应急响应、防灾减灾等方面发挥重要作用。传统滑坡区域遥感影像目视解译高度依赖人力、经验等,导致处理效率较低,难以满足快速响应需求。为此,文中提出一种结合坡度增强机制与多尺度注意力机制(SMARDN)的多源遥感影像滑坡自动检测算法,对多源数据进行特征提取与分割,高效生成滑坡检测二值图。在该模型框架下,提出多尺度注意力模块进行地物目标的尺度差异化特征提取与特征映射权重校准;充分考虑坡度影像与滑坡图的强相关性,提出坡度增强机制,强化坡度信息挖掘与特征重用;采用交叉熵与Dice联合损失函数对网络模型训练进行约束,提升模型分割精度。文中采用LandSlide4Sense多源数据集对提出的滑坡检测模型进行验证。定性实验表明,SMARDN网络在中分辨率多源数据上的滑坡检测能力优于主流滑坡检测方法,表明文中方法能更精准地刻画滑坡区域。定量实验表明,相较于经典Unet网络,文中方法在IoU和F 1分数两项定量指标上分别提升4.31%和3.33%,具有更高的滑坡检测精度。

特征细化和多尺度注意力的Transformer图像去噪网络

为增强全局上下文信息的关联性,加强对多尺度特征的关注,在提升图像去噪效果的同时最大程度保留细节特征,提出一种基于Transformer的特征细化和多尺度注意力的图像去噪网络(TFRADNet)。该网络不仅在编解码器部分利用Transformer解决大规模图像的长程依赖问题,提高模型的去噪效率,还在上采样操作后加入位置感知层来增强网络对特征图中像素位置的感知能力。为了应对Transformer可能对像素间空间关系的忽略,导致局部细节失真,在特征重建阶段设计了特征细化模块(FRB),采用串行结构逐层引入非线性变换,加强对噪声水平复杂的图像局部特征的识别。同时,设计了多尺度注意力模块(MAB),采用并行双分支结构,对空间注意力和通道注意力联合建模,有效捕捉不同尺度的图像特征并进行加权,提高模型对多尺度特征的感知能力。在真实噪声数据集SIDD、DND和RNI15上的实验结果显示,TFRADNet能够兼顾全局信息和局部细节,相比其他先进方法展现出了更强的抑噪能力和稳健性。

基于多尺度注意力机制网络的玉米害虫识别方法

玉米是我国主要的农业粮食作物,害虫严重影响其产量和质量。为快速、准确地识别玉米害虫,针对现有卷积神经网络识别方法需要大量数据集和关键特征易丢失等问题,提出一种基于多尺度注意力机制网络(MCANet)的玉米害虫识别方法。首先,该方法采用空间金字塔循环(SPR)模块提取不同害虫图像的类型和位置信息;其次,在特征融合模块中引入多级通道注意力机制模块,以保障高维语义信息与低维特征的有效融合;同时将多尺度空洞卷积模块引入多级通道注意力网络模型,构建多尺度多通道注意力网络模型,来提取多尺度判别特征,提高模型的识别效率;最后,在1个较小的玉米害虫图像数据集上进行试验,实现对玉米红缘灯蛾、叶夜蛾、玉米黏虫、玉米螟害虫的识别,当训练样本与测试样本之比为90∶10时,玉米害虫识别准确率高达91.60%,与多尺度残差神经网络(MSRNN)、改进卷积神经网络(ICNN)、VGG-ICNN、轻量级CNN(LWCNN)相比,识别率分别提高24.40、18.77、8.00、4.40百分比。结果表明,该方法在小训练样本集中具有较强的鲁棒性和较高的识别率,为农作物病虫害智能化防治提供技术支持。

多尺度注意力特征融合的单图像超分辨率研究

高分辨率意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。基于生成对抗网络的图像超分辨率由于具有生成丰富细节的潜力,近年来受到越来越多的关注。针对现有的网络模型忽略从特征中学习本质纹理特征和感受野有限的问题,基于Real-ESRGAN和多尺度注意力特征融合,对网络进行优化,将残差稠密块替换成大核分解和多尺度学习相结合模块与全局学习与下采样模块的双分支结构方法,提出一种多尺度注意力融合的单图像超分辨率重建算法,增强每个局部与全局令牌对之间的交互,从而形成更丰富和信息量更大的表示。对数据集进行2,3,4倍超分辨率重建实验,通过峰值信噪比(PSNR)、结构相似性(SSIM)对重建结果进行评价,与SRCNN、SRGAN、ACMF、MSRDN、WYD、LBW、YJX、Real-ESRGAN等方法进行对比。结果表明,该算法优于其他模型,且具有更好的直观视觉效果。

多尺度注意力的服装场合分类方法

针对服装场合分类方法效率低等问题,提出了一种多尺度注意力的服装场合分类方法。该方法把收集的包含对应场合标签的服装图片,通过全局特征信息指导不同尺度的特征图产生局部注意力图,再联合全局特征信息和局部特征信息共同训练提高分类的准确率。实验表明:提出的模型比Resnet-CBAM分类模型在Top-1、Top-3和Top-5分别提高了4.75%、6.44%和5.92%。得出结论:提出的多尺度注意力服装分类模型优于现有的分类方法,并且该模型和数据集能够很好地应用于推荐系统任务。

基于分组卷积的多尺度注意力行人重识别方法

针对传统基于注意力的行人重识别方法存在仅学习全局注意力图以及对明显不同领域或体系结构无法适应参数调整等问题,提出使用ResNet-50作为基础模型。通过结合多尺度注意力机制和分组卷积,实现行人重识别。此外,采用分类损失和三元组损失,使网络模型能够学习具有鉴别性的特征。实验结果表明,所提出的基于分组卷积的多尺度注意力机制的行人重识别模型在性能上取得了提升,同时增强了网络模型在未知数据域的泛化能力,并加快了模型的运算速度。

基于多尺度注意力导向网络的单目图像深度估计

针对现有基于深度学习的单目图像深度估计算法存在的空间分辨率低和边缘模糊等问题,提出了一种基于多尺度注意力导向网络的单目图像深度估计算法。首先设计了一个端到端的编码器-解码器模型,编码器以多个尺度进行特征提取。为了保证更好的深度连续性,解码器结合残差学习以及通道注意力融合,对提取的多尺度特征逐步优化细节以及场景结构。考虑到多次下采样会导致深度图细节的丢失,设计了边界增强模块,通过引入空间注意力,提升不同物体的类间对比度以增强图像的边界细节。最后,优化模块融合来自解码器和边界增强模块的多尺度特征,生成深度图像。实验结果表明,与当前主流的算法相比,文中算法生成的深度图像质量得到了提高,表现出了更细致的物体轮廓信息,在客观指标和主观效果上均有良好的表现。

基于新型多尺度注意力机制的密集人群计数算法

密集人群计数是计算机视觉领域的一个经典问题,仍然受制于尺度不均匀、噪声和遮挡等因素的影响。该文提出一种基于新型多尺度注意力机制的密集人群计数方法。深度网络包括主干网络、特征提取网络和特征融合网络。其中,特征提取网络包括特征支路和注意力支路,采用由并行卷积核函数组成的新型多尺度模块,能够更好地获取不同尺度下的人群特征,以适应密集人群分布的尺度不均匀特性;特征融合网络利用注意力融合模块对特征提取网络的输出特征进行增强,实现了注意力特征与图像特征的有效融合,提高了计数精度。在ShanghaiTech,UCF_CC_50,Mall和UCSD等公开数据集的实验表明,提出的方法在MAE和MSE两项指标上均优于现有方法。

融合边缘增强与多尺度注意力的皮肤病变分割

皮肤病变形状、颜色、大小类型多样,给皮肤病变的准确分割带来了巨大挑战。针对这一问题,提出了一种融合边缘增强与多尺度注意力的皮肤病变分割网络(BEMA U-Net)。该网络包含一个用于提取全局特征的空间多尺度注意力模块和一个用于增强病变区域边缘特征的边缘增强模块,将两种模块添加到以编码解码结构为主干的网络(U-Net)中,能够有效抑制病变图像中背景噪声的干扰并强化病灶的边缘细节。此外,设计了混合损失函数,结合Dice Loss和Boundary Loss,并在训练过程中实现混合损失函数的动态权重调整,使网络对病变图像整体特征和边缘细节特征的提取进行多重监督,缓解了皮肤病变图像分割中毛发干扰和边缘模糊的问题。在ISIC2017和ISIC2018两个公开数据集上的实验结果表明,所提算法对皮肤病变部位的分割图像边缘连续、轮廓清晰,具有更好的分割效果。

基于改进U-net多尺度注意力的多曝光图像融合算法

自然场景具有宽广的动态范围,但是现有的商用成像设备并不能达到较好记录这些高动态范围的需求,因此多曝光图像融合的提出是一种经济、快速且高效的高动态范围(HDR)实现方法。然而,现阶段的多曝光图像融合算法存在数据需求量大,融合结果存在对比度差和色彩失真等问题。针对这些问题,提出了一种基于多尺度注意力的多曝光图像融合方法,该方法将两幅极端曝光图像序列发送到网络,通过多尺度模块和通道、空间双注意力机制,自主学习并输出最优融合权重。此外,模型采用了真实值训练,并通过一个新的自定义损失函数使输出更接近真实图像。实验结果表明,该方法在客观和主观方面均优于现有方法。

融合多尺度注意力的太赫兹图像目标检测研究

基于太赫兹技术的安检设备具有独特的无损伤检测特性,在安防领域具有良好的发展前景.太赫兹图像分辨率低,特征信息有限,且高亮区域多,目标与背景亮度相近,为太赫兹图像中的目标检测带来了一定的困难.针对此,本文提出一种融合多尺度注意力的目标检测框架MSAD-SSD,在SSD算法的基础上,采用ResNet101作为特征提取网络,并设计一种多尺度注意力模块.该模块采用多支路膨胀卷积进行多尺度特征提取,扩展网络的感受野,充分获取目标的上下文信息;通过注意力机制对特征图的通道特征进行权重分配,增强有用特征,抑制无关信息的干扰;最后对多个分支进行特征融合.实验结果表明,所提MASD-SSD在太赫兹图像数据集中达到82.63%的平均检测精度,能够有效提高目标的检测精度.

风格感知和多尺度注意力的人脸图像修复

人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network,GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。

基于语义融合与多尺度注意力的红外行人检测

针对红外图像特征提取困难、检测准确率低等问题。以YOLOv5为基线网络,在特征提取和特征融合阶段构建多尺度注意力模块,解决特征提取困难问题;对特征融合网络构建加权特征金字塔以保留浅层网络行人特征,解决检测精度低的问题;对红外与可见光图像特征进行融合再分割得到语义信息,利用语义损失引导高级语义信息流回图像融合模块,丰富融合图像特征。为验证所提算法的有效性,在KAIST数据集上与主流算法YOLOv5s和YOLOv7进行对比,本算法mAP分别提高了1.9%和0.8%。实验结果表明,在KAIST数据集上,YOLO-EB检测网络得到的平均精度有明显提高,夜间行人检测效果较好。

基于多尺度注意力卷积网络的作物害虫检测

田间作物害虫检测是精确防治虫害和减少农药使用量的前提。由于田间害虫种类多,同种害虫个体间差异大,田间同一只害虫的大小、颜色、姿态、位置和背景变化多样、无规律,而且田间背景复杂、对比度低,使得传统的作物害虫检测方法的性能不高。现有的基于深度学习的作物害虫检测方法需要大量高质量的标注训练样本,而且训练时间长。在VGG16模型的基础上,本研究提出一种基于多尺度注意力卷积网络(Multi-scale convolutional network with attention,MSCNA)的作物害虫检测方法。在MSCNA中,多尺度结构和注意力模型用于提取多尺度害虫检测特征,增强对形态较小害虫的检测能力;在训练过程中引入二阶项残差模块,减少网络损失和加速网络训练。试验结果表明,该方法能较好地检测到农田中各种各样、大小不同的害虫,检测平均准确率为92.44%。说明该方法能够实现自然场景下作物害虫的精准检测,可应用于田间作物害虫自动检测。

基于多尺度注意力的皮肤镜图像自动分割算法

针对现有的皮肤镜图像分割算法存在边缘分割时效果较差和对中小目标的识别能力较弱等问题。提出了一种基于多尺度注意力融合的分割网络MAU-Net(multi-scale attention U-Net)。MAU-Net网络是以U-Net网络为基础的分割模型,通过设计的多尺度注意力模块(MA),在特征提取时融合不同层次的特征,并将重要的目标特征给予一定的权重,从而使网络能更快和更精准的分割出目标区域。实验结果显示,在ISIC2017数据集上平均交并比(MIOU)、精确度(PRE)和Kappa值分别为83.61%、93.58%和81.70%,性能比U-Net分别提高了5.27%、2.01%和6.83%;并在ISIC2017挑战赛数据集上进行了消融实验,实验结果验证了MA模型有助于网络性能的提升。提出的MAU-Net网络在皮肤病变分割任务中表现优异,同时具有良好的泛化性能。