基于多尺度特征深度神经网络的不同产地山楂细粒度图像识别

中药是中医治疗疾病的主要途径,也是我国中医药事业传承与创新发展的物质基础,其真伪优劣也会直接影响中医临床的疗效,因此研究科学合理且高效的中药材质量检测方法符合当前行业热点.山楂作为中国著名的药食两用类药材,在烹饪和治疗中具有保护心血管、降低血压的作用,被广泛应用;但由于自然环境与栽培条件的不同,不同产地的山楂易被混淆从而对品质产生影响.尽管化学、生物鉴定的方法广泛而重要,但专业门槛高,耗时较长;且传统图像处理方法容易受外在环境因素干扰,可靠性差.因此亟待研究快速准确的方法以实现山楂产地的精准鉴别;受CoAtNet与Swin-Transformer网络启发,本文结合MBConv模块中深度可分离卷积网络对局部信息建模的特点与Swin Transformer模块多层次结构可弥补网络非局部性损失的特性,提出一种多尺度特征的混合神经网络模型,通过获取图像不同层级特征,将获取的形状、颜色与纹理等浅层特征作为先验知识与高层级语义信息进行特征融合,研究了一种快速有效的识别方法以实现对不同产地山楂的有效鉴别;此外,本文提出一种新的局部空间注意力机制,通过形成通道注意力模块联合空间注意力模块的新结构,实现对图像细粒度特征的聚焦与学习.实验结果表明,本文所提出的方法有最高的鉴别准确率为89.306%,优于其他基线模型.实践证明,本文的研究提高中药材鉴别的科技水平,拓宽传统中医药的研究思路.

铁路周界入侵目标多尺度特征感知算法

准确识别侵入周界范围内的人和大型牲畜是铁路周界入侵视频智能分析技术的重点内容,对保障铁路安全运营具有重要意义。基于现有目标检测算法难以处理铁路监控场景中入侵目标呈现显著尺度变化的状况,提出一种多输入双输出神经网络(Multiple Input Double Output Network,MIDO-Net)和基于自适应特征加权融合的目标多尺度特征感知算法。首先,通过MIDO-Net多层级联的多输入和双输出网络结构,提取图像目标更丰富的多尺度特征信息;其次,依据骨干网络多阶段的特点,先将多级特征上采样至统一分辨率,再利用注意力模块和自适应参数对多级特征进行加权;然后,将特征输入到检测头中完成铁路周界入侵的识别;最后,通过视觉目标类别(Visual Object Classes,VOC)公共数据集和制作的多场景、多尺度铁路异物侵限数据集,对算法进行验证。结果表明:提出的多尺度特征感知算法在VOC公共数据集中的检测精确率达83.3%,在多场景、多尺度铁路异物侵限数据集中的检测精确率达91.1%,平均召回率达56.2%,均优于当前广泛使用的各种特征提取骨干网络;算法检测速率为45帧·s^(-1),优于同类型的骨干网络,且能满足铁路场景的行人实时监测需求。

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

针对小目标水漂垃圾形态多变、分辨率低且信息有限,导致检测效果不理想的问题,提出一种改进的Faster-RCNN(Faster Regions with Convolutional Neural Network)水漂垃圾检测算法MP-Faster-RCNN(Faster-RCNN with Multi-scale feature and Polarized self-attention)。首先,建立黄河兰州段小目标水漂垃圾数据集,将空洞卷积结合ResNet-50代替原来的VGG-16(Visual Geometry Group 16)作为主干特征提取网络,扩大感受野以提取更多小目标特征;其次,在区域生成网络(RPN)利用多尺度特征,设置3×3和1×1的两层卷积,补偿单一滑动窗口造成的特征丢失;最后,在RPN前加入极化自注意力,进一步利用多尺度和通道特征提取更细粒度的多尺度空间信息和通道间依赖关系,生成具有全局特征的特征图,实现更精确的目标框定位。实验结果表明,MP-Faster-RCNN能有效提高水漂垃圾检测精度,与原始Faster-RCNN相比,平均精度均值(mAP)提高了6.37个百分点,模型大小从521 MB降到了108 MB,且在同一训练批次下收敛更快。

基于多尺度特征的消防车道占用检测

为解决消防车道占用预警的智能检测问题,引入区域入侵原理,提出基于YOLOv7的轻量化消防车道占用预警方法。首先,以YOLOv7模型为基础,构建消防车道区域入侵研究框架,将实地调研与公开数据集相结合,形成包含消防车道与车辆检测的图像数据集;其次,采用感受野块模块替换空间金字塔池化跨阶段部分卷积,同时,添加SimAM注意力模型,提高网络多尺度特征提取和融合效果;然后,运用Slim-Neck结构减小模型的计算量和参数量;最后,通过PyQt5部署交互式界面设计,在陕西省西安市某小区进行实地算法验证。结果表明:模型识别消防车道和车辆的准确率均达到80%以上;与原模型相比,改进后的模型参数量减少20.5%,浮点计算量降低11.3%,检测速度提高42.4%,达到48.6帧/s。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于非局部操作和多尺度特征聚合的图像修复方法

为有效解决修复大范围破损图像时存在的纹理模糊和整体语义信息不连贯的问题,提出基于非局部操作和多尺度特征聚合的两阶段图像修复算法,在第1阶段,边缘重建网络生成整体的边缘结构信息;在第2阶段,引入非局部操作机制进行纹理细节信息的修复。在CelebA-HQ数据集上采用不同掩码率的图像进行性能验证,结果显示所提模型的PSNR和SSIM分别达到了32.17 dB和0.982;与EdgeConnect、RFR、CTSDG和AOT-GAN模型进行比较,结果表明:该模型对大范围破损图像能够生成纹理更加清晰且语义合理的修复图像,PSNR、SSIM和FID指标均优于其他4种算法。

一种密集多尺度特征引导代价聚合的改进立体匹配网络

针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于PSMNet的密集多尺度特征引导代价聚合的立体匹配算法—DGNet(Dense multi-scale features Guided aggregation Network)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在KITTI 2015和KITTI 2012数据集上的误匹配率分别降至1.76%和1.24%,SceneFlow数据集上的端点误差降至0.56 px,与GWCNet、CPOP-Net等先进算法相比,所提算法在不适定区域有明显改善。

基于多尺度特征融合的雷达海上目标检测方法

雷达目标检测对海上信息处理具有重要意义,目前提出的检测方法在召回率和精度上都难以满足海上检测要求。为了解决上述问题,提出基于多尺度特征的雷达海上目标检测方法。通过X波段非相参脉冲体制导航雷达采集数据,在完成预处理后检验数据集,提取雷达数据。分析杂散噪声,确定噪声范围,根据平均强度和灰度值的差值实现归一化处理。对目标进行归一化分析,融合多尺度特征实现目标选择,完成目标检测。实验结果表明,基于多尺度特征融合的雷达海上目标检测方法召回率能够在短时间内达到90%以上,精度在95%以上,能够很好地提取海上目标信息。

融合多尺度特征和注意力机制的超声甲状腺结节分割

针对目前超声影像下甲状腺结节分割不够精准的问题,提出一种融合多尺度特征和注意力机制的超声甲状腺结节分割方法。该模型编码设计了多感受野通道选择模块,通过核心选择注意力对多个不同感受野的特征进行自适应加权组合,使包含目标的感受野通道占据主导。同时,设计自适应全局上下文模块自适应地提取瓶颈层多个尺度的全局上下文特征,以实现对瓶颈层高级语义的有效编码。此外,设计双注意力引导模块增强编解码器对等层之间的特征融合,以减少上采样过程中的信息损失。在公开的超声甲状腺结节数据集上进行实验,结果表明,文中所提方法优于其他对比网络,能更加精准地分割出甲状腺结节,有效提升了甲状腺结节的分割性能。

融合编码器多尺度特征的RGB-D图像语义分割

针对语义分割任务中,室内场景中目标物体尺寸变化较大的问题,在ACFNet的基础上,提出融合编码器多尺度特征的RGB-D语义分割网络。首先,为有效利用网络提取的多尺度特征,提出结合池化操作的多尺度特征融合模块(PMFM),选择编码器不同阶段RGB和深度特征的融合特征作为该模块的输入;其次,设计改进的跳跃连接模块(ISCM),使用下一层级包含更多语义信息的特征图辅助修正当前层级的特征图,再经跳跃连接以拼接的方式传输到解码器对应阶段。将提出的网络模型应用到NYUD V2和SUN RGB-D数据集上,平均交并比分别达到了52.6%和48.8%。通过这两项改进,实验结果表明,上述方法达到了较高的分割准确率,优于对比的语义分割方法。

双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

基于交互式特征与多尺度特征的文本相似度研究

针对文本相似度分析过程中缺乏信息传递和忽略多元语义信息而导致相似度计算结果准确率低的问题,结合双向长短期记忆网络(BiLSTM),提出一种新颖的交互式特征与多尺度特征的文本相似度模型(IF-MSF)。首先,利用BiLSTM对句子进行编码提取全局特征矩阵,分别用软注意力机制和余弦相似度对特征矩阵进行交互,以相互传递两组特征矩阵内部的语义信息。其次,加权两组交互式特征以综合所有交互信息,并利用BiLSTM对加权交互式特征和初始编码特征再编码以捕获特征之间的差异信息。再次,使用多尺度卷积提取差异信息的多元语义特征并结合通道注意力机制增强重要特征信息。最后,融合两组增强特征判断文本对是否相似。实验选取2个数据集来验证该方法,该模型F1值分别取得最高值88.15%和85.03%,优于其他方法。

自适应多尺度特征融合的单目图像深度估计

在基于深度学习的单目图像深度估计方法中,卷积神经网络在下采样过程中会出现图像深度信息丢失的情况,导致物体边缘深度估计效果不佳.提出一种多尺度特征融合的方法,并采用自适应融合的策略,根据特征数据动态调整不同尺度特征图的融合比例,实现对多尺度特征信息的充分利用.由于空洞空间金字塔池化(ASPP)在单目深度估计任务中,会丢失图像中的像素点信息,影响小物体的预测结果.通过在对深层特征图使用ASPP时融合浅层特征图的丰富特征信息,提高深度估计结果.在NYU-DepthV2室内场景数据集的实验结果表明,本文所提方法在物体边缘处有更准确的预测,并且对小物体的预测有明显的提升,均方根误差(RMSE)达到0.389,准确率(δ<1.25)达到0.897,验证了方法的有效性.

一种多尺度特征融合的多模态三维点云配准模型

针对三维点云配准中现有描述符提取方法可能导致点云结构信息不显著以及点云数据细节丢失的问题,提出了一种多尺度特征融合的多模态三维点云配准模型(Multi-scale Feature Fusion,MSFNet)。首先,在编码器中采用基于稀疏卷积的通道注意力模块(Channel Attention Module Based On Sparse Convolution,SCCAM)使得该模型能够自适应地关注点云的特征结构;然后,利用多尺度空间点云编码结构(Multi-scale Spatial Point Cloud Encoding,MSPCE)提取并有效融合不同尺度下的点云特征,从而增加点云描述符的感受野;最后,利用多模态特征融合模块对编码器提取的点云特征与图片特征进行融合,并将其送入解码器进行监督训练,以生成最终的点云描述符。采用特征匹配召回率(Feature-Match Recall,FMR)作为评价指标,在数据集3DMatch上进行实验。实验结果表明MSFNet网络其召回率精度达到了98.4%,与IMFNet(Interpretable Multimodal Fusion)网络相比,提升了0.8%。

基于多尺度特征融合的轻量级目标检测算法

由于YOLOv5目标检测模型中参数多、计算复杂度高,无法满足边缘设备进行智能计算和实时反馈的需求,提出了基于多尺度特征融合的轻量级目标检测算法。首先,针对标准卷积模块参数量大、计算复杂度高的问题,提出基于幻影卷积的特征提取卷积模块代替原模型的特征提取模块,在保持检测精度的前提下,减少模型的参数量和计算量。其次,设计出ShuffleNetv2_2下采样模块,进一步减少算法的参数量。再次,针对模型轻量化后的特征提取能力不足问题,将低维特征充分融合到Neck网络中并添加跨层级联以降低浅层语义的丢失,在增强目标特征的表达的同时提高模型的检测效率。最后,提出LAM注意力融合模块,为模型的颈部网络提供具有更丰富的语义特征图。实验结果表明,相比于原模型,改进模型的参数量和计算量更少,并且在PascalVOC和MSCOCO数据集的检测准确率分别提高了2.1%和2.4%。

多尺度特征的工业物联网隐性异常检测方法

为了提高工业物联网隐性异常的检测效果,设计了基于多尺度特征的工业物联网隐性异常检测方法。根据工业物联网自身的特性,设定多个数据特征选择标准,并计算最终的特征选择结果。在此基础上,提取出多尺度特征,并计算不同特征的权重值,由此计算特征的重构误差和分类结果,完成对工业物联网数据分类器的设计,并通过计算不同尺度下的检测结果和权重值来实现对工业物联网隐性异常的检测。实验测试表明,所设计方法在实际应用中漏检率较低,检测效果较好。

基于空洞卷积和增强型多尺度特征自适应融合的滚动轴承故障诊断

传统卷积神经网络(CNN)在识别故障类型时存在从原始振动信号中提取特征不足以及提取特征过程中需要更大的感受野以充分捕获信号的时间相关性的局限.针对轴承振动信号固有的多尺度特征,提出基于空洞卷积和增强型多尺度自适应特征融合的模型(DC-MAFFM).利用空洞卷积的大感受野提取信号特征,同时引入残差连接来减少卷积层上的信息损失,从而有效过滤信号中的噪声;设计改进的多尺度特征提取模块,在不同尺度上捕获互补的诊断特征,同时在各层都进行不同尺度特征融合,充分学习信号的高频和低频特征;利用提出的特征自适应融合模块对不同尺度的特征自适应赋予权重,增强判别特征学习的能力.在2个轴承数据集上进行验证,结果表明所提模型在噪声和变工况下有较强的诊断能力.在强噪声情况下,故障诊断准确率分别达到88.08%和75.56%,与其他方法相比有显著优势.

基于多尺度特征互补和聚合约束的肺结节分类方法

肺结节分类问题是早期肺癌检测与诊断的重要问题之一,针对现有的肺结节分类方法存在多尺度特征融合的信息冗余和缺乏判别性特征表示等问题,提出了一个基于多尺度特征互补与聚合约束(Multi-scale Feature Complementation and Aggregate Constraint, MFCAC)的肺结节分类方法,并提出了多尺度特征互补模块用于学习相邻尺度特征的差异信息,从而避免特征融合过程中的信息冗余;同时在网络特征层引入了聚合约束损失,实现对同类特征的聚集,提高网络判别性特征表示能力;将两个模块融入在编码器-解码器架构中形成MFCAC,共同作用实现高效分类。本文在LIDC-IDRI数据集上进行了对比实验,并通过消融实验分析了该方法中各组成部分的贡献和影响,结果表明,相较于对比算法,MFCAC在肺结节分类上具有更优的性能。

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

基于多尺度特征融合的负荷辨识及其可解释交互增强方法

负荷辨识技术可快速辨识电器类型,在家庭能量管理、危险用电预警、响应潜力评估等方面具有重要作用。针对现有负荷辨识方法多关注负荷长期或短期单尺度特征,导致特征表征能力不足而使模型识别精度和泛化性能受限的问题,提出一种基于多尺度特征融合的负荷辨识及其可解释交互增强方法。首先,从负荷采样数据中提取高频尺度的短期特征和中、低频尺度的长期特征,构建双塔结构的深层特征提取网络以利用网络的不同分支高效率挖掘各尺度深层特征。其次,设计自注意力与交叉注意力相结合的特征融合网络以实现负荷长、短期特征融合,提高模型的特征利用程度。然后,采用度量学习的训练方法,拉近同类型样本的特征距离,提升特征融合的效率和效果。最后,利用基于梯度的可解释分析方法量化特征的重要性,实现自适应的特征增强与结合专家交互的模型调优。实验结果说明所提模型识别精度与泛化能力均优于现有模型,且可解释分析验证了其有效性源于多尺度特征的充分利用。