双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

基于多尺度特征融合的跨视角步态识别

在跨视角步态识别中,针对衣着遮挡情况下难以提取具有可辨别性和多样性的步态特征,导致识别准确率下降的问题,提出了一种基于多尺度特征融合网络的跨视角步态识别方法。该方法能够有效利用步态特征间的互补性,获得具有可辨别性和多样性的步态特征,从而解决因衣着遮挡造成可辨别性差以及单一性的问题,进而提升跨视角步态识别的准确性。为验证所提方法的有效性,在公共数据集CASIA-B上进行了验证,实验结果表明所提方法在处理具有遮挡条件下的跨视角步态识别问题的识别性能达到了73.4%,同时在正常和背包两种行走条件下的识别性能分别达到了95.5%和88.0%。此外,我们的方法在处理遮挡条件下的识别性能优于同类典型的步态识别方法。

多尺度特征融合与空间优化的弱监督高分遥感建筑变化检测

针对建筑物变化检测中深度学习方法严重依赖大量高成本高难度的像素级标注样本进行模型训练的问题,本文提出一种基于图像级标注样本的高分辨率遥感建筑物弱监督变化检测方法MDF-LSR-Net。该方法首先提取双时相多尺度差异特征,并对多尺度差异特征进行渐进式融合,利用充分融合后的多层次多尺度差异特征来生成变化热力图;然后,利用低层融合差异特征的局部空间相似性来优化初始的变化热力图,进一步增强热力图中变化区域的完整性和准确性;最后,基于高质量的变化热力图训练最终的变化检测模型。在公开的建筑物变化检测数据集WHU和LEVIR上的多组试验结果表明,本文方法能够获取更加完整且准确的变化热力图,从而使得基于此训练的变化检测模型也取得更高的检测精度,其中最终的变化检测模型在WHU数据集上的IOU和F 1值分别可达65%和79%以上。

基于多尺度特征融合重建学习的深度伪造人脸检测算法

随着深度伪造技术的快速发展,针对深度伪造人脸的检测已经成为计算机视觉领域的研究热点。虽然现有的基于噪声、局部纹理或频率特征的检测方法能够在特定场景中表现出良好的检测效果,但这些方法缺乏对人脸细粒度表征特征的深入挖掘,限制了其泛化能力。为了解决上述问题,文章提出了一种新型的基于多尺度特征融合重建的分类网络模型MSFFR,该网络模型从重建学习的角度学习挖掘人脸细粒度内容和梯度表征特征信息,并采用多尺度特征融合的方式实现伪造人脸的检测,通过融合这两种信息来识别伪造面孔。文章提出的模型包含3个创新模块,设计了双分支特征提取模块,用于揭示真实人脸与伪造人脸之间的分布差异;提出了细粒度内容和梯度特征融合模块,用于探索挖掘人脸细粒度内容特征与梯度特征之间的相关性;引入了基于重建视差的双向注意力模块,有效地指导模型对融合后的特征进行分类。在大规模基准数据集上进行的广泛实验表明,与现有技术相比,文章提出的方法在检测性能方面具有显著提高,尤其是在泛化能力方面表现出色。

基于多尺度特征融合的由粗到精点云形状补全

为了以由粗到精的方式实现点云形状补全,提出一个端到端的两阶段多尺度特征融合网络,其中的每个阶段都是由一个编码器-解码器构成.第1阶段中,首先利用点集抽取模块提取残缺点云的全局特征,在获取不同分辨率点特征的同时能关注更多的局部邻域特征,然后使用多层感知机作为解码器生成粗糙的点云骨架;第2阶段中,利用点云骨架和残缺点云提取多尺度局部特征,并通过注意力机制与第1阶段中的多尺度全局特征相互融合,使得每个点都包含全局和局部几何信息;最后将第2阶段中的全局特征和多尺度局部特征逐步进行上采样,并通过多层感知机生成精细的完整点云.采用倒角距离作为评价标准,在ShapeNet,MVP和Completion3D数据集上进行点云补全实验的结果表明,误差分别比基准网络降低17.1%,3.9%和13.9%,验证了所提网络的有效性.

多尺度特征融合注意力新冠肺炎病灶分割网络

新冠病毒传染性极强,尽早的诊断和治疗是减少疫情造成损失的关键因素。为辅助医生诊断新冠病情,高效、准确地从肺部CT切片中分割新冠病灶,提出了一种改进的编码器-解码器深度神经网络———多尺度融合注意力网络MSANet(Multi-scale Attention Network),以图像分割效果较为出色的U-Net网络为基础,通过全局池化层和设置空洞卷积的采样率,增大网络感受野,捕获多尺度信息,实现对大目标的有效分割;使用通道注意力与空间注意力,在空间维度上建模,有效提取图像深层特征。测试结果表明,改进后的算法与U-Net网络相比,分割的平均交并比提升了1.46%,类别平均像素准确率提升了0.8%,准确率提升了1.17%。

结合多尺度特征融合和注意力机制的肺腺癌病理图像分类胶囊网络

病理学家通过分析肺腺癌低级别组织和癌旁组织来确定病灶切除范围,然而,两者间的细胞形态差异较小,分析时依赖病理学家的主观经验,耗时且易误诊.故提出一种结合多尺度特征融合和通道自注意力的胶囊网络(Multi-Scale Feature Fusion with Self-Channel Attention for Capsule Network, MSCNet),用于帮助医生高效诊断疾病,为患者提供更好的治疗方案.首先,设计了多尺度特征融合模块来提升胶囊网络以捕捉同源图像不同尺度间的语义信息,试图减少模型计算量以提高处理速度及分类准确性.其次,通道自注意力(Self-Channel Attention, SCA)模块作为MSCNet的另一重要组件,可以寻找到更具代表性的特征,辅助识别组织病理学图像中的细微特征,降低误诊风险.实验结果表明,在肺腺癌低级别组织与癌旁组织的二分类任务中,MSCNet实现了99.34%的分类准确率、97.65%的F1-Score值和97.57%的精确度.

多尺度特征融合的膀胱癌磁共振成像分割算法

针对膀胱癌磁共振成像(magnetic resonance imaging, MRI)图像肿瘤区域面积小、膀胱壁边界模糊及像素不平衡等问题,本研究基于特征融合过程和不同图像像素之间的相关性,提出了一种多尺度特征融合的膀胱癌MRI图像分割算法。在编码阶段设计多尺度特征融合模块,用于学习不同编码器的多尺度信息,提取膀胱壁和肿瘤更加丰富的特征;在解码阶段设计的像素对比模块,可增加膀胱壁和膀胱肿瘤间的差异性,解决对比度低及像素不平衡问题,提高膀胱壁与肿瘤相邻边界区域的分割性能,实现膀胱癌多区域分割。本研究在膀胱癌MRI数据集上进行实验,结果显示,算法在膀胱壁和肿瘤区域的Dice分别为89.70%和89.13%、交并比(intersection over union, IoU)分别为81.32%和80.51%、豪斯多夫距离(Hausdorff distance, HD)分别为1.30和1.37,分割结果较已有算法均有一定提升。本研究能较好地辅助临床影像学诊断,可为后续肿瘤分期和临床诊疗提供重要依据。

基于多尺度特征融合的遥感影像场景分类方法

针对遥感场景影像存在类间相似性高、类内多样性大、且不同尺度下遥感影像差异大等问题,导致场景分类任务精确度受限,提出一种基于多尺度特征融合的遥感影像场景分类算法。首先利用轻量级网络MobileNetV2作为主干网络,以更少的网络参数实现更高的分类准确率。网络通过一维卷积提升输入通道,设计的多尺度特征融合模块能够捕获遥感影像的高级特征和低级特征,融合影像的多尺度特征,能够有效缓解不同尺度下遥感影像差异大的问题。通过在三个公开遥感数据集上进行实验对比,验证了所提方法的有效性。

基于分层特征提取和多尺度特征融合的高分辨率遥感影像水体提取深度学习算法

高精度的水体提取有助于水资源监测和管理。目前基于遥感影像的水体提取方法缺乏对于边界质量的重视,造成边界划分不准确,细节保留度低的问题。为了提升遥感影像水体提取的边界与细节的精度,提出了一种基于多尺度特征融合的高分辨率遥感影像水体提取深度学习算法,包括分层特征提取模块与融合多尺度特征的堆叠连接解码器模块。分层特征提取模块中,引入了通道注意力结构,用于整合高分辨率遥感影像中水体的形状、纹理和色调信息,以便更好地理解水体的形状和边界。在融合多尺度特征的堆叠连接解码器模块中,进行了多层次语义信息的堆叠连接,并加强了特征提取,同时捕捉了广泛的背景信息和细微的细节信息,以实现更好的水体提取效果。在自行标注的数据集与公开数据集上的试验结果表明,模型的准确率达到了98.37%和91.23%,与现有的语义分割模型相比,提取的水体边缘更加完整,同时保留细节的能力更强。提出的模型提升了水体提取的精度和泛化能力,为高分辨率遥感影像水体提取提供了参考。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于多尺度特征融合的轻量化道路提取模型

针对当前用于遥感图像道路提取领域的语义模型存在计算复杂度较高、道路提取效果不佳的问题,提出基于多尺度特征融合的轻量化道路提取模型(MFL-DeepLab V3+).为了减少模型参数量并降低模型的计算复杂度,骨干网络选用轻量化Mobilenet V2网络代替原模型的Xception网络,在空洞空间金字塔池化(ASPP)模块中引入深度可分离卷积.为了增强模型的道路提取能力,优化对细小路段的提取效果,在解码区提出联合注意力的多尺度特征融合(MFFA).基于Massachusetts roads数据集的各项实验表明,MFL-DeepLab V3+模型的参数规模显著降低,较原模型参数量压缩了88.67%,道路提取图像完整,边缘清晰,精确率、召回率和F1分数分别达到88.45%、86.41%和87.42%,与其他模型相比取得了更好的提取效果.

多尺度特征融合的改进残差网络乳腺癌病理图像分类

现有模型病理特征提取不充分以及开源数据集各类型数量不平衡等问题,使得乳腺癌病理图像的多分类研究仍具挑战性。本研究提出了一种多尺度特征融合的改进残差网络乳腺癌病理图像多分类方法。首先,以ResNet101残差网络作为基础,将CBAM注意力模块插入到每一个残差块中;接着,为了优化特征提取,将横向和纵向的多尺度特征融合集成到残差网络中;最后,引入焦点损失函数以解决数据分配不平衡问题。经BreakHis公开数据集混合放大倍数1582张病理图像训练验证,所提出的改进残差网络在乳腺癌病理图像八分类上的识别准确率为94.4%,较原始模型提升2.8%,优于大多数已有公开深度学习模型。该模型的提出为女性乳腺癌的筛查诊断和病理分类提供了更为有效的方法。

基于多尺度特征融合的功耗建模分析方法

在数字化浪潮推动下,5G和6G技术的快速发展正引领移动通信系统步入新阶段.先进的硬件设备和加密芯片为不断增长的数据处理需求和日益关注的安全保障提供了强有力的支持.在这一背景下,搭载现代密码技术的各类硬件设备逐渐演变为不可或缺的生活基石.这些设备已经具备抵御传统密码分析的能力.近年来,学术界的研究重点之一是对设备在实际运行过程中产生的物理泄漏进行分析.这一领域被称为侧信道分析(Side-Channel Analysis,SCA).深度学习驱动的侧信道分析已被广泛认可为一种有效的方法,针对当前神经网络模型的功耗曲线数量需求大、鲁棒性差和收敛速度慢等问题,本文提出一种基于CNNbest的多尺度特征融合侧信道分析方法.首先,重构特征提取网络结构,以解决深层特征向量容易过度解释噪声细节的问题和模型过拟合问题.而后,使用滤波器阵列执行离散小波变换(Dis‐crete Wavelet Transform,DWT)分析方法构造多解析度时频,提升数据质量.最后,引入轻量级的结合通道空间的卷积块注意力模块(Convolutional Block Attention Module,CBAM),以提高功耗曲线关键特征的学习效率.实验结果表明,本文方法对侧信道分析所需的功耗曲线较原模型减少了88.27%,显著提高了分析性能,能够满足侧信道建模和分析的要求.

多尺度特征融合的双模态目标检测方法

基于可见光图像的目标检测,难以适应弱光、无光、强光等复杂光照条件,而基于红外图像的目标检测,受背景噪声影响大,且红外目标缺乏颜色信息,纹理细节特征弱,给目标检测带来较大挑战。对此,提出了一种能够有效融合可见光与红外图像特征的双模态目标检测方法。对输入的成对的双模态图像分别提取其初级特征;提出了多尺度特征注意力模块,对输入的红外与可见光图像分别提取其多尺度局部特征,并引入通道注意力和空间像素注意力,从通道和像素两个维度聚焦双模态图像的多尺度特征信息;提出双模态特征融合模块,对双模态特征信息进行自适应融合,得到双模态图像的多尺度融合特征。在大规模双模态图像数据集DroneVehicle上,与基准算法YOLOv5s利用可见光或红外单模态图像进行检测相比,所提算法检测精度分别提升了13.42和2.27个百分点,同时检测速度达到164 frame/s,具备端到端的实时检测能力。所提算法有效提高了复杂场景下目标检测的鲁棒性和准确性,具有良好的应用前景。

基于多尺度特征融合与多任务学习框架的非侵入式负荷监测方法

随着建筑物能源消耗的不断升高,高精度与高泛化能力的非侵入式负荷监测技术的研究具有重大意义。针对当前负荷分解方法存在的问题,提出了一种基于多尺度特征融合与多任务学习框架的非侵入式负荷监测方法。将实例-批归一化网络与U形网络结合,提取总负荷数据的上下文信息,并利用跨越连接实现对不同尺度的细节特征与全局特征的融合。针对多特征特点,引入高效通道注意力网络,使模型聚焦重要特征。引入多任务学习框架与后处理操作,去除输出的假阳性片段,实现对目标电器的精准识别。将所提模型与几种代表性模型在UK-DALE(UK domestic appliance-level electricity)数据集与REDD(reference energy disaggregation data set)上进行对比实验,结果表明,所提模型的性能优于对比模型,具有出色的负荷分解能力与状态识别能力。

多尺度特征融合对比学习结合PointMetaBase的点云分割

点云场景边界的精确分割对提升三维点云整体分割精度和小目标的分割精度都非常重要。针对现有三维点云语义分割算法中存在的对点云场景边界分割不准确的问题,设计了一种新的多尺度特征融合对比学习方法,并将其集成到PointMetaBase网络上,提出了MFFCL-PMB三维点云语义分割网络。该网络将解码器各层的输入和输出平行多路径地输入多尺度特征提取网络,其次将多尺度特征进行拼接融合,最后由边界搜索模块确定点云场景边界点,在边界点对应的多尺度融合特征上进行对比学习,使网络学习到使特征区分度更大的权重。MFFCL-PMB在数据集S3DIS的测试集区域5上的mIoU为70.9%,相比原始的PointMetaBase,在边界上的mIoU增加了1.4%,内部区域mIoU增加了1.2%,总体mIoU增加了1.2%,边界mIoU增量比内部区域增加的mIoU更大,说明MFFCL-PMB有效增强了PointMetaBase在边界上的分割表现并提高了网络在点云总体上的语义分割性能。

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与4个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。

基于多尺度特征融合与注意力的肝脏分割方法

由于CT影像对比度低、肝脏形状不规则、相邻器官边界模糊,目前基于卷积神经网络的方法在肝脏分割任务上的表现不佳,尤其是在边界识别和小目标检测方面。基于此,提出一种基于多尺度特征融合与注意力的肝脏分割方法(MFFA UNet)。首先,利用多尺度特征融合获取丰富的分割信息,同时使用空间和通道注意力机制捕获全局空间和通道间的关系。其次,通过深度监督模块充分利用中间隐藏层的输出,增强网络的学习能力,加快网络收敛速度。此外,采用一种混合损失函数,以解决类别不平衡的问题,进一步提升模型的分割效能。实验结果表明,所提出的MFFA UNet方法在公共数据集LITS上的表现超越当前主流分割网络,分割结果更接近真实值。

基于残差网络多尺度特征融合的滚动轴承故障诊断

针对传统故障诊断方法在面临复杂工况时出现的特征提取不足、分类器选取困难、诊断精度不高等问题,提出了一种基于残差神经元网络多尺度特征融合的滚动轴承故障诊断模型并用于电机轴承的故障诊断。首先,采用小波变换将轴承振动信号转换为二维时频图作为输入数据集;然后,在残差网络中构建多尺度特征融合模块,提取故障样本不同尺度下的特征;最后,将轴承数据集输入到网络中,实现特征提取及故障诊断。实验结果表明,基于残差网络多尺度特征融合的故障诊断模型可以有效提取信号特征,提高了故障诊断的准确性。