基于改进残差网络的运动目标模糊图像复原方法

传统的残差网络在复原运动目标模糊图像时,在模糊程度较严重的情况下,存在特征提取不充分、噪声干扰等问题,导致恢复出的图像无法完全达到原始图像的清晰度和细节。对此,提出基于改进残差网络的运动目标模糊图像复原方法。对采集到的运动目标模糊图像,采用多损失函数融合方法改进传统残差块结构,构建编码器-解码器网络训练结构,训练损失函数,提升网络的特征学习能力。通过完成训练的网络,输出运动目标模糊图像复原结果。实验结果表明,该方法复原运动目标模糊图像的峰值信噪比高于30 dB,结构相似性高于0.9。

多尺度和卷积注意力相结合的红外与可见光图像融合

针对红外与可见光图像融合时,单一尺度特征提取不足、红外目标与可见光纹理细节丢失等问题,提出一种多尺度和卷积注意力相结合的红外与可见光图像融合算法。首先,设计多尺度特征提取模块和可变形卷积注意力模块相结合的编码器网络,多感受野提取红外与可见光图像的重要特征信息。然后,采用基于空间和通道双注意力机制的融合策略,进一步融合红外和可见光图像的典型特征。最后,由3层卷积层构成解码器网络,用于重构融合图像。此外,设计基于均方误差、多尺度结构相似度和色彩的混合损失函数约束网络训练,进一步提高融合图像与源图像的相似性。本算法在公开数据集上与7种图像融合算法进行比较,在主观评价和客观评价方面,所提算法相较其它对比算法具有较好的边缘保持性、源图像信息保留度,较高的融合图像质量。

多层特征融合与语义增强的盲图像质量评价

针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L_(1)损失函数和三元组排名损失函数进行融合,构建新的损失函数L_(mix)。为了验证本文方法的有效性,在野生图像质量挑战数据集上进行了验证和对比实验,该算法的斯皮尔曼等级相关系数与皮尔逊线性相关系数指标相比原算法分别提升2.3%和2.3%;在康斯坦茨真实图像质量数据数据集和野生图像质量挑战数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

多尺度特征融合的铁轨异物入侵检测研究

针对铁路轨道异物检测中不同尺度异物目标的检测易受复杂环境的影响,导致出现检测精度低及检测速度慢等问题,提出一种多尺度特征融合的铁轨异物检测(RMF-YOLO)算法。首先,设计并引入改进的卷积注意力模块(ICBAM),结合YOLOv7特征提取网络,以增强复杂场景下的特征提取能力。其次,在所有高效层聚合网络模块中采用GhostConv替代普通卷积层,以降低计算复杂度,提高特征输出效率;设计一种改进的加权双向特征金字塔网络N-BiFPN结构,加强多尺度特征融合能力,平衡不同层级特征信息,提高多尺度检测能力。最后,为进一步提升检测精度,采用WIoU损失函数结合动态非单调聚集机制,有效应对低质量锚框产生的梯度,提高模型对不同尺度异物检测的整体性能。实验结果表明:在自制的铁轨异物数据集上,RMF-YOLO算法减少了原网络模型的参数量,有效提升了模型的检测精度与检测速度,改善了漏检与误检问题,平均精度提升了5.5%,检测速度提升了5.88%,计算量减少了12.25%,能满足铁轨入侵异物检测中对检测精度和实时性的需求。

反向加权融合多尺度特征的X射线图像违禁品检测

针对现阶段违禁品检测方法存在的混叠效应以及在类内变化显著的场景下检测精度较低等问题,提出一种反向加权融合多尺度特征的X射线图像违禁品检测算法,通过反向自适应地引导融合多尺度上下文特征来实现准确的违禁品目标检测。首先,使用多尺度场景感知模块获取从局部到全局的目标表征信息,帮助处理显著的类内变化。其次,利用反向加权融合结构采用特征引导加权的方式,高效融合蕴含丰富上下文特征的多级特征,缓解融合过程中易出现的混叠效应。最后,设计了一种Focal-SIOU损失函数,用于平衡不同质量违禁品目标预测框之间的贡献差异,并结合角度和边长损失进一步提升预测框的收敛速度和回归精度。本文方法在SIXray、OPIXray、PIDray等3个非常具有挑战性的基准数据集上进行了广泛的评测实验,平均精度均值(mAP)分别达到93.2%、90.7%和85.1%。实验结果充分表明,方法相比于最新方法性能更优,并且能够满足实时目标检测的实际应用需求。

基于改进YOLOv7的无人机图像目标检测算法

针对无人机图像中由于目标微小且相互遮挡、特征信息少导致检测精度低的问题,提出一种基于改进YOLOv7的无人机图像目标检测算法。在颈部和检测头中加入了坐标卷积,能更好地感受特征图中目标的位置信息;增加P2检测层,减少小目标特征丢失、提高小目标检测能力;提出多信息流融合注意力机制——Spatial and Channel Attention Mechanism(SCA),动态调整注意力对空间信息流和语义信息流的关注,获得更丰富的特征信息以提高捕获目标的能力;更换损失函数为SIoU,加快模型收敛速度。在公开数据集VisDrone2019上进行对比实验,改进后算法的mAP50值相比YOLOv7提高了4%,达到了52.4%,FPS为37,消融实验验证了每个模块均提升了检测精度。实验表明,改进后的算法能较好地检测无人机图像中的目标。

基于改进ConvMixer和动态焦点损失的视听情感识别

视听双模态情感识别是情感计算领域的研究热点.目前情感识别方法存在无法同时提取视频局部和全局特征,多模态数据融合简单,损失函数在模型优化中无法关注错分样本等问题,导致情感识别结果精确度不高.本文提出一种基于改进的ConvMixer和动态权重焦点损失函数的视听情感识别方法.采用空间和时间邻接矩阵代替ConvMixer中的深度分离卷积,提取视频时域空域上的全局和局部特征.提出跨模态时间注意力模块,以对称结构捕捉模态间的时间相关性,提高特征融合效果.结合混淆矩阵计算具有动态权重的焦点损失函数,差异化地加大错分样本在损失中的占比,优化模型参数.在公开数据集上的实验结果表明,本文方法能提取到代表性特征,可有效优化网络结构,提高了情感识别的准确率.

基于改进YOLOv7的吸烟行为识别算法研究

目的:提出了一种基于改进YOLOv7的吸烟行为识别方法,以提高人工智能对吸烟行为识别X效率和准确率。方法:在YOLOv7算法的基础上,采用GhostNet网络结构替换其主干网络,减少了网络模型参数量和计算量。引入CBAM注意力机制来改善特征提取的效果。加入多尺度特征融合模块和改进损失函数以提高模型在复杂环境中的检测效果。结果:以吸烟数据集进行测试,结果表明,改进后的模型参数量和计算量分别下降了16.6%和37.4%,检测速度提升至103.4帧/s,精度提高了2.8%。结论:提出的轻量化网络模型可满足视频监控实时监测的要求,并可在低功耗的嵌入式设备上完成实时检测。

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性,生成的图像往往具有内容模糊、细节失真等问题.针对以上问题,本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型.模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征;提出一种新的特征融合模块,该模块可以高质量地融合内容特征和风格特征.此外,还提出一个新的损失函数,该损失函数可以很好地保持内容和风格全局结构,消除伪影.实验结果表明,本文提出的图像任意风格迁移模型可以很好地平衡风格和内容,保留内容图像完整的语义信息和细节特征,生成视觉效果更好的风格化图像.

边缘信息引导多级尺度特征融合的显著性目标检测方法

针对基于FCN和U型网络架构的深度学习显著性目标检测方法提取的显著性图存在边界不清晰和结构不完整的问题,文中提出了一种基于边缘信息引导多级尺度特征融合网络(EGMFNet)。EGMFNet使用多通道融合残差块(RCFBlock)以嵌套的U型网络架构作为主干模型。同时,在网络的较低层级引入具有边缘信息引导的全局空间注意力模块(EGSAM)以增强空间特征及边缘特征。此外,在损失函数中引入了图像边界损失,用于提升显著性图的质量并在学习过程中保留更加清晰的边界。在四个基准数据集上进行实验,实验结果表明,文中方法的F值较典型方法提升1.5%、2.7%、1.8%和1.6%,验证了EGMFNet网络模型的有效性。

一种残差卷积与多尺度特征融合的海岛多时相遥感影像变化检测方法

为提高多时相遥感影像的海岛变化检测精度,文中采用编解码结构模型将变化检测中变和不变的二分类问题视为语义分割任务,提出一种残差卷积与多尺度特征融合的海岛多时相遥感影像变化检测方法(RMFNet)。首先,在编码器层构建4组优化的残差卷积块(RC)用于提取特征信息,每组残差卷积块通过三重跳跃连接方式提高网络的泛化能力;其次,构建基于空洞空间金字塔池化的多尺度特征融合块(MFF),融合语义信息、全局上下文信息以充分学习海岛变化与未变化的特征;然后,使用损失函数指导残差卷积块和多尺度特征融合块的训练;最后,以中国香港岛为例,基于公开的变化检测OSCD数据集进行仿真实验。结果表明:提出的RMFNet方法的Kappa值比CNN、ResNet-18、PSPNet、SegNet、UNet五种方法分别提高0.2509、0.2019、0.1313、0.0786、0.0380,验证了该方法的有效性。

基于混合神经网络的多时间尺度负荷预测

精准的负荷预测对于电力系统保持经济、可靠运行有十分重要的意义,电力系统规划、运行、电力市场竞价系统的设计等都需要不同时间尺度的负荷预测结果,然而现有研究大多围绕一个时间尺度展开,单一模型难以满足实际工程需求。造成这一现象的原因在于模型预测结果的误差会随着预测时间尺度的延长而出现不同程度的增加,预测难度大,并且影响负荷的因素大多分布在不同时间尺度的数据上,难以充分利用。针对以上问题,本文在考虑负荷曲线的定积分与对应时间内用电量之间约束关系的前提下,提出融合多时间尺度数据的混合神经网络模型。该模型的损失函数同时考虑了点预测结果的误差以及负荷曲线定积分的物理意义,增强了负荷时间序列中各个元素之间的几何相关性。并且利用神经网络将短尺度数据提取为抽象的综合数据后,与长尺度数据拼接组成新的特征向量,用于预测不同时间尺度的负荷值。算例结果表明,本文提出的模型在实际的变压器负荷数据上能够实现多个时间尺度的预测并且有效提高预测精度。

复杂场景下自适应特征融合的多尺度船舶检测

受台风、大雾、雨雪等复杂天气以及遮挡、尺度变化等影响,现有船舶检测方法存在误检和漏检问题。针对上述复杂场景问题,在YOLOX-S模型的基础上,提出一种自适应特征融合的多尺度船舶检测方法。首先,在主干特征提取网络中引入特征增强模块,抑制复杂背景噪声对船舶特征提取的干扰;其次,考虑深浅层次特征融合比例问题,设计自适应特征融合模块,充分利用深浅层次特征,提高模型的多尺度船舶检测能力;最后,在检测头网络,将检测头解耦,并引入自适应的多任务损失函数,平衡分类任务和回归任务,提高船舶检测的鲁棒性。实验结果显示,所提方法在公开船舶检测数据集SeaShips和McShips上的检测平均精度均值(mAP)分别达到了97.43%和96.10%,检测速度达到每秒189帧,满足实时检测的要求,验证了所提方法在复杂场景下仍能对多尺度船舶目标实现高精度检测。

基于多特征融合的高精度用电器识别实验装置设计

针对现有用电器识别系统计算复杂、成本居高不下等问题,基于STM32设计了一个高精度的用电器识别实验装置。首先,设计前端信号调理及同步采样电路,通过电流互感器和ADS8688对网侧电流进行采样。其次,构建特征融合模型和损失函数,对用电器的时域和频域波形进行多特征融合。最后,对各种用电器进行混合识别实验。测试结果表明,该装置在多种大功率用电器的组合实验中识别率高达100%,在小功率用电器组合实验中识别率稳定在95%以上,在大功率用电器和小功率用电器的高动态识别实验中识别准确率高达90%以上,达到了预期设计要求。

基于X射线图像的PCB缺陷检测系统

针对PCB内部缺陷检测速度慢、精度低的问题,提出一种基于X射线图像的PCB缺陷检测系统。该系统算法对YOLOv7进行改进,在Neck区域设计一种高效的特征提取模块,优化Neck区域网络结构,降低模型复杂度。在多尺度特征融合模块引入ACmix注意力机制,增加不同尺度目标特征的权重。将SIoU作为边框损失函数,提高网络的定位能力。实验结果表明:所提系统算法在测试集上的平均准确度均值(mAP)达到了92.8%,比YOLOv7算法提高4.6%;检测速度提升25%,模型计算量降低29%,面对复杂场景具有较强的鲁棒性,能够满足实际工业检测的需求。

基于YOLO-V5改进的遥感图像目标检测

针对遥感图像中目标的像素占比小,用传统方法难以有效检测的问题,提出一种改进的YOLO-V5遥感图像目标检测方法。在Backbone部分,将SPPF模块替换为SPPFAM模块来抑制图像中的无关信息,增强网络对感兴趣区域的学习能力。在Neck部分,将原始的PANet结构改进为BiFPN结构以提高网络的多尺度特征融合能力。在Head部分,增加小目标检测头,使网络能够检测到尺度更小的目标。最后使用EIoU损失函数替换原来的CIoU损失函数。改进后的网络在UCAS-AOD和RSOD数据集上进行了实验,验证了该方法的有效性。

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法。首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势互补,并使用联合交叉熵损失、难样本采样三元组损失和中心损失的多损失函数策略对网络模型进行训练。实验结果表明,所提方法在Market1501、DukeMTMC-ReID数据集上的首位命中率Rank-1和平均精度均值mAP分别达到了92.7%、80.4%和86.4%、71.0%,模型提取的特征更具有判别性,识别率更高。

多模态融合的深度学习脑肿瘤检测方法

针对目前传统方法脑肿瘤检测准确率低的问题,提出一种基于深度学习的三维脑肿瘤检测方法.首先将不同模态的脑肿瘤磁共振成像影像进行融合,获取不同模态下的脑肿瘤病灶三维空间特征;然后在卷积层和池化层之间增加实列归一化层,提高网络的收敛速度,缓解过拟合的问题;并对损失函数进行改进,采用加权损失函数加强对病灶区域的特征学习;最后结合后处理方法解决假阳脑肿瘤病灶多的问题.实验结果表明:提出的脑肿瘤检测方法可有效进行肿瘤病灶定位;相关性系数、敏感性和特异性三种评价指标分别达到了0.9267、0.9281和0.9977,与二维检测网络相比,提高了4.6%、3.96%和0.04%,较初始的单模态脑肿瘤检测方法提升了13.2%、10.42%和0.12%.

加权特征融合的密集连接网络人脸识别算法

在非约束条件下人脸识别常受到表情变化、视角偏差、不同程度的遮挡和曝光等各种综合因素的影响;并且深度卷积神经网络几乎都存在参数过多,训练时梯度扩散或消失等问题。针对上述问题,提出了FuseNet网络模型。该模型有效地利用了人的眼睛、鼻子、嘴巴等局部特征信息,同时又包含面部轮廓等全局特征信息,并提出了多损失函数进一步缩小类内特征差距和扩大类间特征距离,有效地增强了非约束条件下人脸识别的鲁棒性。通过使用加权密集连接卷积神经网络来提取人脸的全局特征,密集连接模块可有效地解决深层网络所引起的参数冗余以及梯度扩散等问题。不同的连接权值使得网络能够充分地利用各部分特征。实验结果表明,无论是在闭集的CASIA-WebFace数据集上,还是开集的FLW数据集、MegaFace数据集上,提出的FuseNet网络都具有较好的识别率和泛化能力。

基于改进生成对抗网络的多聚焦图像融合

针对多聚焦图像融合中权重分配和融合规则设计困难的问题,提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。