基于多尺度特征深度神经网络的不同产地山楂细粒度图像识别

中药是中医治疗疾病的主要途径,也是我国中医药事业传承与创新发展的物质基础,其真伪优劣也会直接影响中医临床的疗效,因此研究科学合理且高效的中药材质量检测方法符合当前行业热点.山楂作为中国著名的药食两用类药材,在烹饪和治疗中具有保护心血管、降低血压的作用,被广泛应用;但由于自然环境与栽培条件的不同,不同产地的山楂易被混淆从而对品质产生影响.尽管化学、生物鉴定的方法广泛而重要,但专业门槛高,耗时较长;且传统图像处理方法容易受外在环境因素干扰,可靠性差.因此亟待研究快速准确的方法以实现山楂产地的精准鉴别;受CoAtNet与Swin-Transformer网络启发,本文结合MBConv模块中深度可分离卷积网络对局部信息建模的特点与Swin Transformer模块多层次结构可弥补网络非局部性损失的特性,提出一种多尺度特征的混合神经网络模型,通过获取图像不同层级特征,将获取的形状、颜色与纹理等浅层特征作为先验知识与高层级语义信息进行特征融合,研究了一种快速有效的识别方法以实现对不同产地山楂的有效鉴别;此外,本文提出一种新的局部空间注意力机制,通过形成通道注意力模块联合空间注意力模块的新结构,实现对图像细粒度特征的聚焦与学习.实验结果表明,本文所提出的方法有最高的鉴别准确率为89.306%,优于其他基线模型.实践证明,本文的研究提高中药材鉴别的科技水平,拓宽传统中医药的研究思路.

基于多尺度注意力特征融合的场景文本检测

针对目前文本检测中小尺度文本和长文本检测精度低的问题,提出了一种基于多尺度注意力特征融合的场景文本检测算法。该方法以Mask R-CNN为基线模型,引入Swin_Transformer作为骨干网络提取底层特征。在特征金字塔(feature pyramid networks,FPN)中,通过将多尺度注意力热图与底层特征通过横向连接相融合,使检测器的不同层级专注于特定尺度的目标,并利用相邻层注意力热图之间的关系实现了FPN结构中的纵向特征共享,避免了不同层之间梯度计算的不一致性问题。实验结果表明:在ICDAR2015数据集上,该方法的准确率、召回率和F值分别达到了88.3%、83.07%和85.61%,在CTW1500和Total-Text弯曲文本数据集上相较现有方法均有良好表现。

面向乳腺超声分类的低尺度形态特征重校准方法

针对乳腺超声图像具有类内差异大、类间差异小以及结节形状复杂多变等问题,提出一种形状特征重校准的乳腺超声图像算法,实现乳腺超声的自动化诊断.首先,构建端到端的网络模型,采用渐进训练方式,充分学习图像中更具辨别力的区域,获取更细粒度的特征信息;其次,提出分区打乱机制,降低网络中打乱图像时破坏结节区域所产生的噪声;然后,将模型底层提取的特征与通过掩膜图像获得的形状特征进行重校准,提出低尺度重校准损失函数;最后,构建一个包含1550张乳腺超声图像数据集LSRD(low-scale recalibration database),验证所提方法的有效性.实验结果表明:本文模型在LSRD上准确率94.3%、敏感性91.2%、特异性93.6%、ROC(receiver operator characteristic curve)与坐标围成的面积(area under curve,AUC)为0.941,均优于对比模型;在BUSI(breast ultrasound image)数据集上,相较于对比模型,其分类精度提升3.3%.

基于多尺度特征的消防车道占用检测

为解决消防车道占用预警的智能检测问题,引入区域入侵原理,提出基于YOLOv7的轻量化消防车道占用预警方法。首先,以YOLOv7模型为基础,构建消防车道区域入侵研究框架,将实地调研与公开数据集相结合,形成包含消防车道与车辆检测的图像数据集;其次,采用感受野块模块替换空间金字塔池化跨阶段部分卷积,同时,添加SimAM注意力模型,提高网络多尺度特征提取和融合效果;然后,运用Slim-Neck结构减小模型的计算量和参数量;最后,通过PyQt5部署交互式界面设计,在陕西省西安市某小区进行实地算法验证。结果表明:模型识别消防车道和车辆的准确率均达到80%以上;与原模型相比,改进后的模型参数量减少20.5%,浮点计算量降低11.3%,检测速度提高42.4%,达到48.6帧/s。

基于多尺度特征融合的雷达海上目标检测方法

雷达目标检测对海上信息处理具有重要意义,目前提出的检测方法在召回率和精度上都难以满足海上检测要求。为了解决上述问题,提出基于多尺度特征的雷达海上目标检测方法。通过X波段非相参脉冲体制导航雷达采集数据,在完成预处理后检验数据集,提取雷达数据。分析杂散噪声,确定噪声范围,根据平均强度和灰度值的差值实现归一化处理。对目标进行归一化分析,融合多尺度特征实现目标选择,完成目标检测。实验结果表明,基于多尺度特征融合的雷达海上目标检测方法召回率能够在短时间内达到90%以上,精度在95%以上,能够很好地提取海上目标信息。

铁路周界入侵目标多尺度特征感知算法

准确识别侵入周界范围内的人和大型牲畜是铁路周界入侵视频智能分析技术的重点内容,对保障铁路安全运营具有重要意义。基于现有目标检测算法难以处理铁路监控场景中入侵目标呈现显著尺度变化的状况,提出一种多输入双输出神经网络(Multiple Input Double Output Network,MIDO-Net)和基于自适应特征加权融合的目标多尺度特征感知算法。首先,通过MIDO-Net多层级联的多输入和双输出网络结构,提取图像目标更丰富的多尺度特征信息;其次,依据骨干网络多阶段的特点,先将多级特征上采样至统一分辨率,再利用注意力模块和自适应参数对多级特征进行加权;然后,将特征输入到检测头中完成铁路周界入侵的识别;最后,通过视觉目标类别(Visual Object Classes,VOC)公共数据集和制作的多场景、多尺度铁路异物侵限数据集,对算法进行验证。结果表明:提出的多尺度特征感知算法在VOC公共数据集中的检测精确率达83.3%,在多场景、多尺度铁路异物侵限数据集中的检测精确率达91.1%,平均召回率达56.2%,均优于当前广泛使用的各种特征提取骨干网络;算法检测速率为45帧·s^(-1),优于同类型的骨干网络,且能满足铁路场景的行人实时监测需求。

全球中尺度涡旋分裂合并现象的特征统计研究

中尺度涡旋分裂与合并过程等涡旋之间相互作用的研究是海洋学研究的热点。本文以Eddy Graph方法为基础,基于海表面高度异常数据,利用高效率并行计算方法,构建全球中尺度涡旋分裂与合并追踪数据集(Global Eddy Graphs, DOI:10.12237/casearth.63369940819aec34df2674d8)。基于此数据集,本文开展了对全球涡旋分裂合并统计特征的研究。研究表明,在涡旋的生命周期中,分裂与合并现象普遍存在。将分裂与合并纳入涡旋追踪过程,能够将几条简单线性的涡旋轨迹连接在一起,找出涡旋真正的起止点与生命周期,具体表现为起点聚集在大洋海盆东岸,终点聚集在大洋海盆西岸;长寿命涡旋占比与平均寿命均有提高。此外,本文还对涡旋分裂合并典型事件进行筛选与统计,对分裂合并过程中涡旋内部的海表面温度和海表面盐度进行归一化与复合平均,探究了涡旋分裂与合并现象对海表面温度与海表面盐度的影响。

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

针对小目标水漂垃圾形态多变、分辨率低且信息有限,导致检测效果不理想的问题,提出一种改进的Faster-RCNN(Faster Regions with Convolutional Neural Network)水漂垃圾检测算法MP-Faster-RCNN(Faster-RCNN with Multi-scale feature and Polarized self-attention)。首先,建立黄河兰州段小目标水漂垃圾数据集,将空洞卷积结合ResNet-50代替原来的VGG-16(Visual Geometry Group 16)作为主干特征提取网络,扩大感受野以提取更多小目标特征;其次,在区域生成网络(RPN)利用多尺度特征,设置3×3和1×1的两层卷积,补偿单一滑动窗口造成的特征丢失;最后,在RPN前加入极化自注意力,进一步利用多尺度和通道特征提取更细粒度的多尺度空间信息和通道间依赖关系,生成具有全局特征的特征图,实现更精确的目标框定位。实验结果表明,MP-Faster-RCNN能有效提高水漂垃圾检测精度,与原始Faster-RCNN相比,平均精度均值(mAP)提高了6.37个百分点,模型大小从521 MB降到了108 MB,且在同一训练批次下收敛更快。

时空多尺度关联特征融合的二维卷积网络细粒度动作识别模型

针对传统二维(2D)卷积网络提取时空特征尺度单一以及对细粒度动作数据集中帧与帧之间的远程时间关联信息利用不足的问题,本文提出时空多尺度关联特征融合的2D卷积网络细粒度动作识别模型。首先,为建模视频多尺度空间关联以加强对细粒度视频数据的空间表征能力,模型使用多尺度“特征压缩、特征激发”方式,使网络所提取空间特征更加丰富有效。然后,为充分利用细粒度视频数据时间维度上的运动信息,本文引入时间窗口自注意力机制,利用自注意力机制强大的远程依赖建模能力同时只在时间维度上进行自注意力操作,以较低计算成本建模远程时间依赖关系。最后,考虑到所提取时空特征对不同类型动作分类的贡献不均等,本文引入自适应特征融合模块,为特征动态赋予不同权重实现自适应特征融合。模型在2个细粒度动作识别数据集Diving48和Something-somethingV1上识别准确率分别达到86.0%和46.9%,分别使原始主干网络识别准确率提升3.8%和1.3%。实验结果表明,在只使用视频帧信息作为输入的情况下,本模型达到与现有基于Transformer和三维卷积神经网络(3D CNN)算法相当的识别准确率。

基于注意力网络尺度特征融合的遥感场景分类

针对遥感数据集存在的类内差异性大和类间相似性高的特点导致遥感场景分类准确率不高的问题,提出了一种基于注意力网络尺度特征融合(MSA-CNN)的遥感影像场景分类模型.将遥感图像经过尺度变换操作输入到VGG-16网络提取遥感影像的多尺度特征,使用多选框注意力模型(MS-APN)提取图像多尺度下的目标区域,对目标区域进行剪切和放大并输入到三层网络结构中.融合原始影像的多尺度特征和目标区域的特征,并且利用LBP对全局特征表达,克服遥感图像因拍摄角度不同带来的差异性.将融合的多尺度特征输入到网络全连接层来完成最终的分类预测任务.实验结果显示:MSA-CNN平均分类精度较注意循环卷积网络(ARCNet)和传统细粒度循环注意力网络(RA-CNN)在NWPU-RESISC45公开数据集上分别提升1.63%和2.66%,在UC Merced Land-Use公开数据集上较RA-CNN提升0.64%.结果表明:提出的MSA-CNN能够有效提高遥感图像场景分类的准确率.

一种密集多尺度特征引导代价聚合的改进立体匹配网络

针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于PSMNet的密集多尺度特征引导代价聚合的立体匹配算法—DGNet(Dense multi-scale features Guided aggregation Network)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在KITTI 2015和KITTI 2012数据集上的误匹配率分别降至1.76%和1.24%,SceneFlow数据集上的端点误差降至0.56 px,与GWCNet、CPOP-Net等先进算法相比,所提算法在不适定区域有明显改善。

基于多尺度时空特征和篡改概率改善换脸检测的跨库性能

目前大多DeepFake换脸检测算法过于依赖局部特征,尽管库内检测性能尚佳,但容易出现过拟合,导致跨库检测性能不理想,即泛化性能不够好。有鉴于此,文中提出一种基于多尺度时空特征和篡改概率的换脸视频检测算法,目的是利用假脸视频中广泛存在的帧间时域不连续性缺陷来解决现有检测算法在跨库、跨伪造方式和视频压缩时性能明显下降的问题,改善泛化检测能力。该算法包括3个模块:为检测假脸视频在时域上留下的不连续痕迹,设计了一个多尺度时空特征提取模块;为自适应计算多尺度时空特征之间的时空域关联性,设计了一个三维双注意力机制模块;为预测随机选取的像素点的篡改概率和构造监督掩膜,设计了一个辅助监督模块。将所提出的算法在FF++、DFD、DFDC、CDF等公开大型标准数据库中进行实验,并与基线算法和近期发布的同类算法进行对比。结果显示:文中算法在保持库内平均检测性能优良的同时,跨库检测和抗视频压缩时的综合性能最好,跨伪造方法检测时的综合性能中等偏上。实验结果验证了文中算法的有效性。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于多尺度融合和时空特征的网络入侵检测模型

针对入侵检测模型提取特征能力不足,且流量数据中含冗余噪声的问题,提出一种基于多尺度融合和时空特征的ML-PFN入侵检测模型。采用多尺度特征融合技术分别提取数据中浅层特征信息和深层特征信息,使模型学习的特征更加丰富;采用软阈值函数和注意力机制自动选择合适的阈值,减少噪声及不相关信息对模型的干扰;融合时空特征构成多尺度空间特征提取长短时记忆-并行特征网络(MSFE LSTM-parallel feature network, ML-PFN)模型,并应用于网络入侵检测。通过3个公开数据集进行性能评估,实验结果表明,ML-PFN模型对比其它5种分类模型各项指标效果最好,在训练时长适中的同时准确率达到96.45%。

考虑多尺度纹理特征的红外传感图像频域增强

红外传感图像质量容易受探测器和传输距离影响,导致图像亮度和对比度较低、轮廓细节模糊等问题。为此,提出了考虑多尺度纹理特征的红外传感图像频域增强方法。引入残差学习策略,基于多尺度纹理特征搭建多尺度卷积神经网络模型,进行图像去噪。对去噪后图像进行傅里叶变换,获取红外传感图像的低频图像和高频图像。针对低频图像部分,调节图像灰度和对比度以增强低频分量。针对高频图像部分,利用Log算子和Laplace算子增强图像细节及边缘。加权融合两者处理结果,选取Gamma校正调节对比度,增强高频分量。融合两种增强后图像,实现红外传感图像频域增强。实验结果表明,该方法峰值信噪比高于43,信息熵大于8,边缘强度超过82,对比度熵大于8.1,平均梯度大于8。

多尺度局部特征和Transformer全局学习融合的发动机剩余寿命预测

飞机发动机剩余寿命(Remaining useful life,RUL)的准确预测对确保其安全性和可靠性至关重要.在基于多传感器检测数据预测时,需解决局部特征提取问题以全面捕捉设备在不同时间尺度下的退化趋势,并需解决时间序列中各元素之间长期依赖性的全局学习问题.因此,提出了结合多尺度局部特征增强单元(Multi-sacle local feature enhancement unit,MSLFU_BLOCK)和Transformer编码器的预测模型,称之为MS_Transformer.MSLFU_BLOCK利用堆叠的因果卷积逐层从时间序列数据中提取多尺度局部信息,同时避免了传统卷积计算中固有的未来数据泄漏问题.随后,Transformer编码器通过其自注意机制进一步捕获时间序列数据中的短期和长期依赖关系.通过将多尺度局部特征增强单元与Transformer编码器相结合,提出的MS_Transformer全面捕捉了时间序列数据中的局部和全局模式.在广泛使用的CMAPSS基准数据集上进行的消融和预测实验验证了模型的合理性和有效性.与13个先进预测模型的比较分析表明,MS_Transformer模型在操作条件更复杂的FD002和FD004数据集上的RMSE和Score指标优于其他模型,同时在四个数据集上的平均性能最优.该研究为发动机剩余寿命预测提供了更为可靠的解决方案.

一种波段聚类和多尺度结构特征融合的高光谱图像分类模型

高光谱图像包含丰富的地物信息,在农业、工业和军事等领域应用广泛。因此,高光谱图像的识别与分类是一项重要的研究课题。然而,高光谱图像存在光谱维度高、噪声大、标记样本有限等问题,并未取得很好的分类效果。针对以上问题,提出一种波段聚类和多尺度结构特征融合的高光谱图像分类模型(ASPS-MRTV)。该方法主要包括以下几个步骤,首先,对高光谱数据进行归一化处理,将归一化后的三维图像按光谱维等分为n个子空间;其次,采用粗细划分策略构造自适应子空间光谱特征提取框架,将每个空间波段拉伸为一维向量后用信息散度构造波段的相似性矩阵,按照聚类的思想对n个子空间进行自适应;然后,将每个自适应子空间的光谱波段平均值进行叠加,形成光谱特征;最后,对所得到的光谱特征数据利用多尺度相对全变分技术提取结构特征。为了增强样本的线性可分性,在数据堆叠之后进行核主成分分析,最终形成空谱特征。对比实验中统一使用惩罚参数C和核参数σ都为24.5的SVM进行分类。经测试,ASPS-MRTV网络模型在Indian Pines、 University of Pavia两个数据集上分别以5%, 1%的训练样本达到了97.06%、 98.98%的总体分类精度。实验结果表明,该模型与SVM、 ASPS(ED)、 ASPS(ID)、 ASPS-LBP、 ASPS-GlCM、 ASPS-BF模型相比,在分类性能和计算效率方面都取得了更优的效果,有效提高小样本下高光谱图像的分类精度。

双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

基于非局部操作和多尺度特征聚合的图像修复方法

为有效解决修复大范围破损图像时存在的纹理模糊和整体语义信息不连贯的问题,提出基于非局部操作和多尺度特征聚合的两阶段图像修复算法,在第1阶段,边缘重建网络生成整体的边缘结构信息;在第2阶段,引入非局部操作机制进行纹理细节信息的修复。在CelebA-HQ数据集上采用不同掩码率的图像进行性能验证,结果显示所提模型的PSNR和SSIM分别达到了32.17 dB和0.982;与EdgeConnect、RFR、CTSDG和AOT-GAN模型进行比较,结果表明:该模型对大范围破损图像能够生成纹理更加清晰且语义合理的修复图像,PSNR、SSIM和FID指标均优于其他4种算法。

基于交互式特征与多尺度特征的文本相似度研究

针对文本相似度分析过程中缺乏信息传递和忽略多元语义信息而导致相似度计算结果准确率低的问题,结合双向长短期记忆网络(BiLSTM),提出一种新颖的交互式特征与多尺度特征的文本相似度模型(IF-MSF)。首先,利用BiLSTM对句子进行编码提取全局特征矩阵,分别用软注意力机制和余弦相似度对特征矩阵进行交互,以相互传递两组特征矩阵内部的语义信息。其次,加权两组交互式特征以综合所有交互信息,并利用BiLSTM对加权交互式特征和初始编码特征再编码以捕获特征之间的差异信息。再次,使用多尺度卷积提取差异信息的多元语义特征并结合通道注意力机制增强重要特征信息。最后,融合两组增强特征判断文本对是否相似。实验选取2个数据集来验证该方法,该模型F1值分别取得最高值88.15%和85.03%,优于其他方法。