基于边缘引导和多尺度感知的遥感图像道路提取

为了解决遥感道路提取中边缘细节特征利用不充分,以及复杂背景遮挡区域的道路难以实现准确分割等问题,提出一种基于边缘引导和多尺度感知的遥感道路提取模型(Edge-guidance and Multi-scale perception U-Net,EMUNet)。以U-Net为基础,增加遥感图像的Canny边缘检测结果作为输入,并通过设计结合注意力的边缘引导融合模块对各层编码器进行特征引导,以此充分利用边缘信息提高最终的道路提取质量;其次,针对图像中存在的背景遮挡问题,通过构建多尺度并行空洞卷积模块增强网络的多尺度感知能力,从而捕获更多的上下文信息,对一些受到背景遮挡的区域实现准确提取。在Massachusetts道路数据集上进行实验验证,与U-Net相比,EMUNet能实现对细小道路和受遮挡区域更准确的分割,并且召回率、F1分数和交并比均优于其他对比算法,能够实现更为完整和准确的道路信息提取。

一种轻量化尺度感知调制Swin Transformer模型的轴箱轴承故障诊断方法

针对当前Transformer网络模型运算效率偏低,且难以用于复杂工况条件下高速列车轴箱轴承故障诊断的问题,提出了一种基于时频多域融合与轻量化结构的尺度感知调制Swin Transformer(SMST)模型的轴箱轴承故障诊断方法。首先,采用格拉姆角场法、双谱法与Chirplet变换法,将轴承振动信号转化为时域、频域与时频域内的二维图像,基于多域特征融合思想集成为新的特征图像;然后,设计了一种新的轻量化结构SMST模块,在其内部实现了卷积运算与Transformer自注意力运算的进一步融合;最后,在层次化模型框架中引入特征金字塔模块(FPB),弥补不同层输出特征的不一致性,实现了上下文信息的特征深度融合及复杂工况条件下轴箱轴承故障诊断。实验结果表明:相比格拉姆角场法、双谱法、Chirplet变换法、短时傅里叶变换法、连续小波变换法等单一领域图像生成方法,时频多域融合方法生成的图像特征信息表征能力更好;所提网络模型在1010、760、505 r/min这3种转速变工况任务中的轴箱轴承故障识别准确率分别为99.88%、99.92%与99.96%;对比ResNets、GoogleNet、ViT、Swin Transformer和SMT这5种模型,所提方法的故障识别准确率更高,模型轻量化程度更好。所提方法可为实际工况中列车轴箱轴承故障诊断提供参考。

基于多尺度感知和图像关联的人群计数方法

人群计数广泛应用于公共安防、视频监控等领域,但由于目标遮挡、背景干扰以及人群尺度变化等因素的影响,人群计数模型的准确率有所降低。基于深度学习卷积神经网络架构,提出了一种基于多尺度感知和图像关联的人群计数方法。其中,多尺度感知模型包括初级特征提取网络、多尺度特征提取模块、特征融合模块和一个后段架构用来提取图像的多尺度特征,从而适应尺度的变化;而图像关联模型使用特征关联模块和融合模块将输入图像与相干图像进行联系,通过学习图像之间的深层关联性来提升预测密度图的质量。在ShanghaiTech Part_A、Part_B和UCF_CC_50等公开数据集上的实验结果表明,提出的方法在MAE、RMSE和SSIM三项指标上均有较好性能。

基于无人机图像的多尺度感知麦穗计数方法

小麦是世界上重要的粮食作物,其产量的及时、准确预估对世界粮食安全至关重要,小麦穗数是估产的重要数据,因此该研究通过构建普适麦穗计数网络(Wheat Ear Counting Network,WECnet)对灌浆期小麦进行精准的计数与密度预估。选用多个国家不同品种的麦穗图像进行训练,并且对数据集进行增强,以保证麦穗多样性。在原始人群计数网络CSRnet基础上,针对小麦图像特点构建WECnet网络。在网络前端,通过使用VGG19的前12层进行特征提取,同时与上下文语义特征进行融合,充分提取麦穗的特征信息。后端网络使用不同空洞率的卷积加大感受野,输出高质量的密度图。为了验证模型的可迁移性与普适性,该研究通过基于全球小麦数据集训练好的模型对无人机实拍的麦田图像进行计数。试验结果表明:在全球小麦数据集上,WECnet训练模型的决定系数、均方根误差(Root Mean Square Error,RMSE)与平均绝对误差(Mean Absolute Error,MAE)分别达到了0.95、6.1、4.78。在无人机拍摄图像计数中,决定系数达到0.886,整体错误率仅为0.23%,平均单幅小麦图像计数时间为32 ms,计数速度与精度均表现优异。普适田间小麦计数模型WECnet可以对无人机获取图像中小麦的准确计数及密度预估提供数据参考。

基于多尺度感知的高密度猪只计数网络研究

猪只盘点是生猪规模化养殖和管理中的重要环节,人工计数方法费时、费力,在大数据量的猪只盘点中容易出错。本文使用多尺度感知网络对高密度猪群图像中的猪只进行计数。通过对人群计数网络CSRNet的改进,得到猪只计数网络(Pig counting net,PCN),PCN采用VGG16作为前端网络提取特征,中间层采用空间金字塔(Spatial pyramid)结构对图像中的多尺度信息进行提取与融合,后端网络采用改进的膨胀卷积网络。PCN增加了多尺度感知结构、扩大了后端网络感受野,通过感知多尺度特征得到预测密度图,预测密度图反映了猪只空间分布,通过对密度图积分实现了猪只数量的估计。结果表明,在平均猪只数为40.71的测试集图像上,PCN的计数准确率优于人群计数网络MCNN、CSRNet和改进Counting CNN的猪只计数网络,MAE和RMSE分别为1.74和2.28,表现出较高的准确性和鲁棒性;单幅图像平均识别时间为0.108 s,满足实时处理要求。

面向算力受限边缘环境的双分支多尺度感知人脸检测网络

针对边缘算力受限,难以部署复杂结构的人脸检测深度神经网络的问题,为减少资源消耗,并保证人脸在多尺度变化、遮挡、模糊、光照等复杂场景下的检测精度,提出了多尺度感知的轻量化人脸检测算法。采用改进的人脸残差神经网络作为特征提取网络,并提出双分支浅层特征提取模块,并行分支理解图像多尺度信息,进而由深浅特征融合模块将底层图像信息与高层语义特征融合,配合多尺度感知的训练策略监督多分支学习差异化特征。实验结果表明,所提算法可有效提取多样化的特征,在保持模型高效性和低推理时延的同时,有效提升了算法的精度和稳健性。

基于尺度感知CNN的实时车辆检测算法

交通场景视频中的车辆尺度范围变化较大,不同空间尺度的车辆的实例表现出不同特征,导致特征的类内方差较大,影响检测方法的识别率。针对现有基于CNN的算法中卷积特征对尺寸不具有鲁棒性的问题,提出一种基于尺度感知的卷积神经网络(SAVD)车辆检测算法。该算法采用尺度感知的ROI池化层来维护小尺寸对象的原始结构。针对较大尺寸变化的类内距离超过单个网络的表示能力的问题,内置分支决策子网络来最小化特征的类内距离。实验证明,该算法在准确率上显著提高,对不同尺寸实例具有鲁棒性,上述轻量级技术提高检测速度,具有较好的实时性。

尺度感知的分块协同式相关滤波跟踪算法

基于分块的相关滤波跟踪算法在处理目标尺度变化和遮挡问题时,对局部子块跟踪状态的评估及局部子块与尺度变化的关系刻画不够准确.针对此问题,文中提出尺度感知的分块协同式相关滤波跟踪算法.首先提出结合时序平滑约束的局部子块遮挡判别方法,改进现有算法的评分策略.设计子块协同运动策略,使被遮挡或形变的子块跟随未被遮挡的子块趋向正确的位置.同时发现跟踪过程中子块聚散变化的分布位置与目标尺度之间的比例关系,实现对目标尺度变化的感知和大小估计.实验表明,文中算法性能较优.

面向交通标志检测的尺度感知双向特征金字塔网络

实时精准的交通标志检测是实现自动驾驶和智能交通的重要技术之一.针对真实智能驾驶场景中背景复杂且交通标志尺度较小,现有的检测方法容易出现错检和漏检等问题,提出一种尺度感知的双向特征金字塔网络,实现复杂交通场景中实时、精准的交通标志检测.首先,为解决微小标志在传统金字塔网络中尺度丢失的问题,通过构建自底向上和自顶向下的双向金字塔网络,循环地学习尺度感知的融合特征;然后引入前景注意力模块和尺度感知损失函数,学习和优化不同尺度下的前景显著特征和关联,实现多尺度前景目标分离;最后,引入轻量级和非轻量级主干卷积网络,可以同时提高模型效率和精度.在真实复杂场景的交通标志数据集TT100K和STSD中的实验结果表明,该方法的检测精度达到了66.7%和60.9%,同时实时检测速率达到了30帧/s.

基于尺度感知的多路径特征融合目标检测

在通用的目标检测算法中,目标多变的尺度和特征融合利用一直是限制目标检测任务的难题.针对上述问题,首先文中提出了多路径特征融合模块,模块采用跨尺度跨路径特征融合的方法,强化输入输出特征之间的联系,缓解了特征信息在传递时的稀释问题.同时,文中通过改进注意力模型提出了尺度感知模块,该模块能根据目标的尺度自行地选择感受野大小,从而使模型易于识别多尺度目标.将尺度感知模块嵌入到多路径特征融合模块中,使模型的特征提取和利用能力均得到提升.经实验验证,文中提出的算法在数据集PASCAL VOC和MS COCO上的平均检测精度分别达到了82.2%和38.0%,相比基线FPN Faster RCNN分别提升了1.3%和0.6%,其中对小尺度目标的检测效果提升最为显著.

尺度感知的多人姿态估计研究

近年,深度学习下的多人姿态估计研究取得长足进步,但如何应对场景中的尺度变化以及如何高效检测并分组多人姿态关键点仍是当前的巨大挑战。为提升网络对多人姿态的尺度感知能力,权衡模型的速度与精度,本文在关键点检测方面提出了一种尺度感知的多人姿态估计算法,结合高分辨率表征和变形感受野设计多人关键点特征提取模块,并更新迭代网络;同时在网络头部提出热力图指导的特征融合修正策略,丰富表征的多尺度表达。在Associate Embedding上应用自适应检测网络,MSCOCO数据集的定位精度提高了6.0%,表现出对困难姿势和中小尺度关键点的检测优势。

基于多尺度感知的改进Fast-RCNN交通场景行人识别与检测方法

目前,卷积神经网络(Convolutional Neural Network,CNN)模型在各种视觉任务中取得了巨大的成功,但行人检测方面的关键尺度问题仍有待进一步研究。为达到在交通场景下准确识别和定位小目标行人的识别与定位,提出了基于多尺度感知的改进Fast-RCNN模型,对Caltech行人数据集中的小目标行人图像进行检测。通过利用训练后的尺度感知权重,将大尺度子网络和小尺度子网络合并到统一的结构中,并利用对象建议的高度为两个子网络指定不同的尺度感知权重,同时将原模型中的VGG-16特征提取网络替换深度残差网络(ResNet-50)以获取更多特征。最后,对比所提改进模型和基础的Fast-RCNN的模型,发现所提模型行人识别准确率为97.49%,比未改进前提高了4.36%;再和传统的机器学习方法对比(基于HOG特征的SVM识别方法和基于ICF特征的AdaBoost识别方法),发现所提模型效果仍为最好。结果表明,该方法对交通场景下小目标行人的识别效果较好,能够为智能车辆图像识别系统和智慧交通提供参考。

铁路周界入侵目标多尺度特征感知算法

准确识别侵入周界范围内的人和大型牲畜是铁路周界入侵视频智能分析技术的重点内容,对保障铁路安全运营具有重要意义。基于现有目标检测算法难以处理铁路监控场景中入侵目标呈现显著尺度变化的状况,提出一种多输入双输出神经网络(Multiple Input Double Output Network,MIDO-Net)和基于自适应特征加权融合的目标多尺度特征感知算法。首先,通过MIDO-Net多层级联的多输入和双输出网络结构,提取图像目标更丰富的多尺度特征信息;其次,依据骨干网络多阶段的特点,先将多级特征上采样至统一分辨率,再利用注意力模块和自适应参数对多级特征进行加权;然后,将特征输入到检测头中完成铁路周界入侵的识别;最后,通过视觉目标类别(Visual Object Classes,VOC)公共数据集和制作的多场景、多尺度铁路异物侵限数据集,对算法进行验证。结果表明:提出的多尺度特征感知算法在VOC公共数据集中的检测精确率达83.3%,在多场景、多尺度铁路异物侵限数据集中的检测精确率达91.1%,平均召回率达56.2%,均优于当前广泛使用的各种特征提取骨干网络;算法检测速率为45帧·s^(-1),优于同类型的骨干网络,且能满足铁路场景的行人实时监测需求。

多尺度视觉感知融合的显著性目标检测

显著性目标检测算法大多存在单一特征检测缺陷和多特征融合不充分等问题,从而导致显著图边缘不清晰以及背景抑制效果较差。为此,提出一种多尺度视觉感知融合的显著性目标检测方法,该方法包含多尺度视觉感知模块(MVPM)和多尺度特征融合模块(MFFM),分别用于处理显著性目标的全局信息和融合多尺度特征。基于U型网络结构,利用空洞卷积模拟视觉皮层中的感受野以构建MVPM,充分发挥空洞卷积在卷积神经网络中的作用,在主干网络中逐级提取显著性目标的全局空间信息,有效增强前景显著性区域,抑制背景噪声区域。设计MFFM,利用特征金字塔和空间注意力机制将高级语义信息与细节信息相融合,在抑制噪声传递的同时有效恢复显著性目标的空间结构信息。在ECSSD、DUTS、SOD等5个具有复杂背景信息的图像数据集上进行实验,结果表明,该方法的平均F-Measure值达到88.4%,比基准网络U-Net提高14.2个百分点,MAE值达到3.5%,比基准网络降低5.4个百分点。

结合残差学习的尺度感知图像降噪算法

提出了一种结合深度学习的图像降噪算法。采用尺度感知边缘保护滤波器对噪声图像进行多尺度分解,利用其尺度感知和边缘保持的特性对图像噪声等小结构信息进行移除,并保持边缘细节不变;将训练好的卷积神经网络模型用于学习图像细节信息,并用于指导被尺度感知边缘保护滤波器处理后的图像进行细节恢复。结果表明,本文降噪算法能够有效降噪,并保持较好的高频信息,融合结果更利于人类视觉观察。

基于感知增强无锚框网络的遥感图像目标检测

遥感图像目标成像尺度和方向多变导致现有目标检测算法往往存在较多的误检和漏检现象,针对这一问题,提出一种感知增强无锚框网络下的遥感目标检测方法。首先,构建高层特征增强模块并将其融入特征金字塔顶层网络中,通过在深层网络挖掘更多的语义信息,增强高层网络对待检测目标的特征描述力。进一步,构建多尺度目标感知增强模块,通过引入多分支空洞卷积结构,在不同特征层中增强网络模型对不同尺度大小目标的感知力。最后,基于无锚框网络框架,利用区域分配因子和距离向量确定目标中心点位置,实现遥感图像定向目标检测。所提方法在遥感目标检测数据集DIOR-R和HRSC2016上的平均准确率达到71.4%和96.7%。定性和定量的对比实验结果证明所提方法具有良好的有效性,对不同尺度和成像方向下的不同种类遥感目标均能实现更加准确的检测。

基于改进全卷积网络的多尺度感知行人检测算法

当前行人检测的一个主要挑战是在复杂的场景中检测出不同尺度的行人,尤其是远尺度行人。由于不同尺度的行人会表现出不同的视觉外观特征,鉴于此提出了一种多尺度感知的行人检测算法。在全卷积网络结构中引进可形变卷积层,扩大特征图的感受野;通过级联区域建议网络提取多尺度行人建议区域,引入多尺度判别策略,定义尺度判别层,判别行人建议区域的尺度类别;构建一个多尺度感知网络,引进软非极大值抑制(Soft-NMS)检测算法,融合每个网络输出的分类值和回归值,获取最终的行人检测结果。实验表明,本文提出的检测算法在基准数据集Caltech和ETH上的检测误差较低,检测精度优于当前其他检测算法,适用于检测远尺度行人。

基于多尺度和跨空间融合的超声乳腺结节分割

针对超声成像分辨率低且存在噪声、结节形态与纹理复杂多变导致超声乳腺结节精确分割较为困难的问题,提出一种融合多尺度特征提取和跨空间特征融合的超声乳腺结节端到端自动分割方法。首先,设计一种多尺度特征提取与融合(MFEF)模块,通过融合4条具有不同感受野的卷积路径使网络具有多尺度的特征提取能力。其次,为对高级语义信息进行多尺度观察和信息筛选,在瓶颈层采用尺度感知与特征聚合(SFA)模块,以增强编码阶段的深层特征提取能力。此外,设计跨空间残差融合(CRF)模块,并将它应用在编、解码器间的跳跃连接上。该模块一方面对不同编码层进行跨空间信息融合,实现不同编码层间的信息互补;另一方面进一步提取编码层信息特征,缓解编解码对等层之间的语义差异,从而更好地补偿解码阶段的信息损失。在公开的超声乳腺结节数据集上的实验结果显示,所提方法的DICE系数可达0.888,同主流的深度学习分割模型UNet、AttUNet、ResUNet++、SKUNet相比,提高了0.033~0.094,对比相同数据集中的改进模型如CF2-Net、ESTAN、FS-UNet、SMU-Net,提高了0.001~0.068。所提方法分割结果图的主观视觉效果与专家给出的金标准最接近,能更加准确地分割出乳腺结节区域。

轴承剩余使用寿命的注意力多尺度卷积神经网络预测

为了提高滚动轴承剩余使用寿命预测精度,提出了基于注意力多尺度卷积神经网络(Attention Multi-scale Convolution Neural Network,AMCNN)的剩余使用寿命预测方法。首先,将轴承振动信号进行互补集合经验模态分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD),得到本征模态函数(Intrinsic Mode Function,IMF)分量,并基于其能量累计占比选择了前5个IMF分量作为浅层特征。其次,融合了深度学习、多尺度感知和注意力机制,构造了注意力多尺度卷积神经网络。最后,设计了注意力多尺度卷积神经网络对轴承剩余使用寿命的预测步骤。经XJTU-SY轴承数据集验证,AMCNN对轴承剩余使用寿命预测的MAE=2.41、RMSE=3.12,远小于标准卷积神经网络(Standard Convolutional Neural Network,SCNN)和多尺度卷积神经网络(Multi-scale Convolution Neural Network,MCNN)预测的MAE和RMSE值,说明3种网络中AMCNN对轴承剩余使用寿命的预测精度最高,验证了注意力多尺度卷积神经网络在轴承剩余使用寿命预测中的可行性和优越性。

基于自适应多尺度压缩感知的语音压缩与重构

本文针对语音信号的压缩感知问题,在系数总长度不超过原信号长度的前提下,推导了Sym小波分解合成的矩阵形式,提出了语音信号多尺度压缩感知(MCS)框架.进一步分析语音信号在小波基下不同级的稀疏性,提出了自适应多尺度压缩感知(AMCS)方法,把该方法运用到语音压缩与重构中,对重构语音进行了主客观评价,并进行了说话人识别验证,得出结论:基于AMCS比三层MCS重构语音的性能好.