用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

并行双路径主干下全局特征融合的目标检测算法

常规单路径架构主干经过积极的下采样,往往导致特征信息的丢失。同时,仅依靠特征金字塔简单地相加或拼接不利于浅层到深层的特征集成。针对上述问题,提出一种并行双路径主干下全局特征融合的目标检测算法。采用双路径架构主干并行地提取空间与语义信息,并通过双路径融合模块,促进特征信息间的相互补充。顶部特征依次与金字塔池化多尺度池映射相加,利用注意力机制将多尺度池化特征聚集其中,进一步提高多尺度的检测性能。聚集全局尺度信息,利用自注意机制将其融入不同层特征,并重复多次以构建全局特征融合的颈部网络结构,有效提升颈部网络融合全局上下文信息的能力。头部采用Ghost Conv并结合通道混洗操作,维持模型性能的同时减少参数冗余。在KITTI、BDD100K和PASCAL VOC数据集上展开实验,所提算法的平均精度值相较于基线模型(YOLOv7-tiny)分别提高了3.5、3.4和2.7个百分点。实验结果表明,提出的算法提升了复杂场景下的检测性能,而且对算力等资源的要求较低。

自适应融合局部和全局特征的图像质量评价

无参考图像质量评价通过算法来量化图像质量的失真程度。有效建立失真位置与周围空间的依赖关系能提高质量预测的准确性,但目前基于卷积神经网络的无参考图像质量评价方法,仅通过传统的卷积对局部失真区域进行特征提取,无法有效地获取全局的失真关系,容易弱化对失真扭曲等特征表示。因此,提出了一种基于自适应融合局部和全局特征的图像质量评价算法。在待评价图像上进行特征提取时,自适应地构建围绕每个空间位置的长距离空间和通道间的依赖关系,通过全局失真关系来增强局部特征信息的表征能力;增强图像的细节信息,并在不同尺度的特征层上自适应地融合局部和全局失真信息,整合更加丰富的失真特性,进而提高特征的判别性;再将多个尺度上的不同失真信息进行融合获得最终的质量评价得分,这种融合可以避免图像浅层信息的损失。为验证模型的有效性,在真实失真和合成失真数据集上进行实验对比分析,结果表明,在真实失真数据集LIVEC上SROCC达到0.867,对图像质量的预测更符合人类对质量的感知。

基于特征融合轻量图卷积网络的软件漏洞推荐算法

针对传统漏洞推荐算法未考虑漏洞之间的复杂转换关系和软件动态变化的特征,导致推荐效果较差的问题,提出了基于特征融合轻量图卷积网络的软件漏洞推荐算法(software vulnerability recommendation algorithm based on feature fusion lightweight graph convolutional networks,SVR-FFLGCN)。首先,构建软件与漏洞异构关系图,并融入漏洞相似性算法以降低邻居结点的噪声干扰;其次,使用轻量图卷积网络捕获漏洞之间的复杂转换关系,并将软件动态变化的局部特征和全局特征进行自适应融合,进而获得更全面的特征表示用于漏洞推荐。实验表明,当推荐漏洞数量为10、20个时,SVR-FFLGCN算法相比基准模型在命中率(hit rate,HR)指标上分别提升了11.39%、6.74%,在归一化累积折损增益(normalized discounted cumulative gain,NDCG)指标上分别提升了7.12%、4.80%。该研究在提升开发人员工作效率以及实施有效的防御措施上具有重要作用。

基于全局能量特征与改进PCNN的红外与可见光图像融合

为了改善红外与可见光融合图像存在不清晰、图像对比度低以及缺少纹理细节的问题,本文提出了一种基于参数自适应脉冲耦合神经网络(parameter-adaptive pulse-coupled neural network,PAPCNN)图像融合算法。首先,对源红外图像进行暗通道去雾,增强图像的清晰度;然后,使用非下采样剪切波变换(non-subsampled shearlet transform,NSST)分解源图像,使用全局能量特征结合改进的空间频率自适应权重融合低频系数,将纹理能量作为PA-PCNN外部输入融合高频系数;最后,通过逆NSST变换得到最终融合灰度图像。本文方法与7种经典算法在2组图像中进行对比实验,实验结果表明:本文方法在评价指标中明显优于对比算法,提高了融合图像的清晰度和细节信息,验证了本文方法的有效性。将灰度图像转为伪彩色图像进一步增强了融合图像的辨识度和人眼的感知效果。

融合全局与随机局部特征的鸟类姿态识别模型

为了高效地进行鸟类姿态分类,提出一种基于全局与随机局部特征融合的鸟类姿态识别模型.首先利用融合多分辨率的网络提取鸟类姿态全局特征;然后于网络中浅层与深层的高分辨率特征引入随机定位模块,即根据随机抽取的特征图求取最大值位置,形成包围盒裁剪原图;再将裁剪的局部图片送入子分类网络提取鸟类姿态局部特征;最后将全局和随机局部特征进行融合,并采用融合全局损失和局部损失的多损失策略进行网络调整,构建一种融合全局与随机局部特征的鸟类姿态识别模型.对CUB200-2011中存在完整单种姿态的鸟类图片进行整理汇总得到包含蹲伏、飞翔、游水和站立4种姿态的鸟类姿态数据集,基于该数据集进行实验的结果表明,所提模型的分类精度优于主流卷积神经网络框架,达到96.1%;对随机定位模块及其内部是否随机、分组情况和多损失策略等进行消融实验的结果表明,引入随机定位模块和多损失策略能够提高识别正确率,证明了随机定位模块和多损失策略的有效性.

MCFNet:融合上下文信息的多尺度视网膜动静脉分类网络

针对由于血管类间具有强相似性造成的动静脉错误分类问题,提出了一种新的融合上下文信息的多尺度视网膜动静脉分类网络(multi-scale retinal artery and vein classification network,MCFNet),该网络使用多尺度特征(multi-scale feature,MSF)提取模块及高效的全局上下文信息融合(efficient global contextual information aggregation,EGCA)模块结合U型分割网络进行动静脉分类,抑制了倾向于背景的特征并增强了血管的边缘、交点和末端特征,解决了段内动静脉错误分类问题。此外,在U型网络的解码器部分加入3层深度监督,使浅层信息得到充分训练,避免梯度消失,优化训练过程。在2个公开的眼底图像数据集(DRIVE-AV,LES-AV)上,与3种现有网络进行方法对比,该模型的F1评分分别提高了2.86、1.92、0.81个百分点,灵敏度分别提高了4.27、2.43、1.21个百分点,结果表明所提出的模型能够很好地解决动静脉分类错误的问题。

基于双阶段特征解耦网络的单幅图像去雨方法

针对现有的单幅图像去雨方法无法有效地平衡背景图像细节恢复与有雨分量去除问题,提出一种基于双阶段特征解耦网络的单幅图像去雨方法,采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨.首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,其中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;最后利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构.实验结果表明,在Test100合成雨图数据集上,所提方法峰值信噪比为25.57dB,结构相似性为0.89;在100幅真实雨图上,所提方法的自然图像质量评估器为3.53,无参考图像空间质量评估器为20.16;在去雨后的RefineNet目标分割任务中,平均交并比为29.41%,平均像素精度为70.06%;视觉效果上,该方法能保留更多的背景图像特征,有效地辅助下游的目标分割任务的开展.

基于多尺度特征融合网络的苹果病害叶片检测

准确地检测出苹果叶片的病害对提高苹果产量和质量具有重要意义。针对现有苹果叶片病害检测模型信息利用不充分,导致检测性能不佳的问题,提出一种基于多尺度特征融合网络的苹果病害叶片检测方法。首先,利用深度可分离卷积改进传统Vgg-16网络,并作为苹果叶片病害图片的全局特征提取器;其次,利用Swin Transformer网络作为局部特征提取器;然后,提出一种多尺度特征融合网络将局部和全局特征进行融合,构造多尺度特征;最后,将融合的多尺度特征作为全连接网络的输入,实现苹果病害叶片的检测。实验结果表明,所提出方法可以实现93.98%的准确率、94.11%的精准率、93.93%的召回率和94.62%的F_(1)值。相比当前主流的苹果病害叶片检测模型,在检测精度和模型参数计算量等方面,均具有很强的竞争力。

基于多模态唇部状态识别的语音导航抗干扰系统

针对现有车载语音导航设备易受到车内外噪声干扰、无法准确判定声音信号来源的问题,提出了一种基于唇部状态识别的语音导航抗干扰系统.通过摄像头实时识别驾驶员唇部状态,准确判定驾驶员声音信号的起止时间端点,进而控制语音导航输入信号开启和关闭,增强驾驶员对语音导航的控制权限,减少车内外的噪声干扰.为保证唇部状态识别的准确性和鲁棒性,提出了一种基于关键点-外观短时特征融合的多模态唇部状态识别网络,进行了关键点短时特征有效性试验、多模态特征融合的唇部状态识别消融试验、实验室模拟环境和真实车载环境下的语音导航抗干扰试验.结果表明,文中提出的关键点短时特征算子可增强唇部状态变化表征能力14%以上,关键点-外观特征融合的唇部状态识别网络通过特征互补提升识别准确性8.98%以上.基于该网络的语音导航抗干扰系统准确性高(92.6%)、实时性好(检测速度为35帧/s);在驾驶员左、右侧面超过70°的大幅度头部姿态变化下,能有效减少车内外噪声对导航语音控制的干扰,表现出较高的鲁棒性.

多尺度注意力特征融合的单图像超分辨率研究

高分辨率意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。基于生成对抗网络的图像超分辨率由于具有生成丰富细节的潜力,近年来受到越来越多的关注。针对现有的网络模型忽略从特征中学习本质纹理特征和感受野有限的问题,基于Real-ESRGAN和多尺度注意力特征融合,对网络进行优化,将残差稠密块替换成大核分解和多尺度学习相结合模块与全局学习与下采样模块的双分支结构方法,提出一种多尺度注意力融合的单图像超分辨率重建算法,增强每个局部与全局令牌对之间的交互,从而形成更丰富和信息量更大的表示。对数据集进行2,3,4倍超分辨率重建实验,通过峰值信噪比(PSNR)、结构相似性(SSIM)对重建结果进行评价,与SRCNN、SRGAN、ACMF、MSRDN、WYD、LBW、YJX、Real-ESRGAN等方法进行对比。结果表明,该算法优于其他模型,且具有更好的直观视觉效果。

空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草

针对传统Alex Net模型参数大、特征尺度单一的问题,该文提出一种空洞卷积与全局池化相结合的多尺度特征融合卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀,以增大其感受野而不改变参数计算量,并采用全局池化代替传统的全连接层来减少模型的参数。通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型,以及设置不同Batch Size,得到8种改进模型,用于训练识别共12种农作物幼苗与杂草,并从建立的模型中选出最优模型。改进后的最优模型与传统Alex Net模型相比,仅经过4次训练迭代,就能达到90%以上的识别准确率,平均测试识别准确率达到98.80%,分类成功指数达到96.84%,模型内存需求减少为4.20 MB。实际田间预测野芥与雀麦幼苗的准确率都能达到75%左右,说明该文最优模型对正常情况下的幼苗识别性能较好,但对复杂黑暗背景下的甜菜幼苗准确率为60%,对恶劣背景下的识别性能还有待提升。由于模型使用了更宽的网络结构,增加了特征图的多尺度融合,保持对输入空间变换的不变性,故对正常情况下不同作物幼苗与杂草的识别能力较强。该文改进模型能达到较高的平均识别准确率及分类成功率,可为后续深入探索复杂田间背景下的杂草识别以及杂草与幼苗识别装置的研制打下基础。

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。

融合深度BiGRU与全局图卷积的方面级情感分析模型

现有基于深度学习的方面级情感分析模型需要考虑如何提取深层次的语义信息,其次通过依存树提取句法结构时可能存在信息丢失与数据稀疏问题.针对以上问题,本文提出了基于深度双向门控循环单元与全局双向图卷积网络的神经网络模型(DBG-GBGCN).该模型通过深度双向门控循环单元捕获深层次的语义特征,得到上下文的隐层表示.然后将依存树的邻接矩阵转变为带有全局句法信息的全局矩阵,将此矩阵与上下文的隐层表示一起输入至双向图卷积网络进行特征融合,最后经过掩码层和注意力层得到一个包含深层语义特征与句法结构信息结合的分类特征.实验结果证明,该模型在5个公开数据集上的准确率与F1值均比对比模型有着一定的提升.

一种特征加权融合人脸识别方法

针对传统人脸识别算法在非限制条件下识别准确率不高的问题,提出了一种特征加权融合人脸识别方法(DLWF^+)。根据人脸面部左眼、右眼、鼻子、嘴、下巴等5个器官位置,将人脸图像划分成5个局部采样区域;将得到的5个局部采样区域和整幅人脸图像分别输入到对应的神经网络中进行网络权值调整,完成子网络的构建;利用softmax回归求出6个相似度向量并组成相似度矩阵与权向量相乘得出最终的识别结果。经ORL和WFL人脸库上进行实验验证,识别准确率分别达到97%和91.63%。实验结果表明:该算法能够有效提高人脸识别能力,与传统识别算法相比在限制条件和非限制条件下都具有较高的识别准确率。

多粒度特征融合的行人再识别研究

结合全局特征和局部特征是提高行人再识别精度的一种途径。现有的算法通常从人体特定的语义区域提取特征,由于没有将人体结构考虑在内,增加了学习难度,在差异较大的场景下效率和鲁棒性较差。为了较好地解决上述问题,本文提出一种融合了全局特征、局部特征以及人体结构特征的多粒度特征融合的行人再识别算法。本算法不引入任何人体结构先验知识,在特征提取方面,采用均值池化和最大池化对特征图加权得到强辨识性的全局特征。对特征图切片得到局部特征,在原有局部特征的基础上,引入局部相对特征作为人体结构特征。在度量方面,采用三元组损失与ID损失在不同尺度下的多级监督机制。在Market1501、DukeMTMC-reID的实验表明,算法的Rank-1指标相比于部分卷积基线(PCB)方法提升了1.3%、3.9%,平均精度均值(mAP)提升了5.1%、9.8%。

具有全局特征的空间注意力机制

为了获得卷积神经网络特征图中不同特征点之间的长距离依赖关系,使卷积神经网络更好地区分前景目标和背景信息,提出了一种具有全局特征的空间注意力机制。通过通道融合层将多通道的原始特征图组合成单通道的特征融合图,消除了通道间信息分布对获取空间注意力权重的影响;将特征融合图经过全局特征获取处理,获得能够反映特征融合图中某特征点与特征融合图中所有点之间相关性的全局特征图;全局特征图与初始值为0的可学习变量相乘,并且在通道域复制自身,扩展为原始特征图大小,将扩展后的全局特征图与原始特征图对应元素相加,获得具有注意力机制的特征图。在不同卷积神经网络中加入具有全局特征的空间注意力机制进行实验,结果表明:在脑电波二分类任务中,所提注意力机制的分类准确率最高提升了0.839%;在CIFAR-10数据集多分类任务中,所提注意力机制的分类准确率最高提升了0.484%;在夜间车辆单类别检测中,在交并比阈值大于0.5的平均精度评判标准下,所提注意力机制最高提升了3.860%,在交并比阈值大于0.75的平均精度评判标准下,所提注意力机制最高提升了11.726%;在voc2007数据集多类别检测中,在交并比阈值大于0.5的平均精度评判标准下,所提注意力机制最高提升了0.778%,在交并比阈值大于0.75的平均精度评判标准下,所提注意力机制最高提升了1.232%。

多相机网络中行人的全局最优匹配

针对多相机视域下行人目标匹配正确率不高的问题,基于无监督显著性学习和局部特征匹配提出一种全局最优匹配模型。将不同视域间的目标匹配进行关联,每对相机的直接匹配受制于其间接匹配的监督,同时修正直接匹配中发生的误配。将经过亮度补偿后的图像帧分成若干局部块,通过无监督显著学习得到图像块的显著性得分,并结合目标图像块特征匹配的相似度得分,利用双向相似度计算目标间的相似度得分,并将其作为模型输入。基于标准数据库WARD和Shinpuhkan2014进行实验,结果表明,该模型能有效提高多相机监控网络下目标匹配的正确率。

一种Yolov5颈部细化的小交通标志检测算法

针对现有交通标志检测算法对小尺寸交通标志特征提取不充分、检测精度低、速度慢等问题,文中提出一种Yolov5颈部细化的小交通标志检测算法。首先,为使网络更关注小交通标志的检测,在主干网络中添加一条浅层特征提取分支,获得浅层特征图,并与具有较强语义信息的深层特征图融合,改善浅层特征图的感受野;其次,在Yolov5颈部网络引入GSConv模块,通过深度可分离卷积与普通卷积信息渗透、网络通道减半压缩的方式提高算法的检测性能;最后,利用完备交并比(CIoU)损失函数加快模型收敛,提高检测速度。实验结果表明,改进后的Yolov5网络模型性能有所上升,在TT100K交通标志数据集上平均精度均值mAP可达83.56%,相较于原始Yolov5基本框架mAP提升2.24%,且检测速度FPS可达40.5 f/s,满足实时性要求。

基于全局姿态感知的轻量级人体姿态估计

人体姿态估计是近年来人机交互领域的热点话题。当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大。针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2%AP,速度保持在255 fps,参数量和FLOPS仅为OpenPose方法的10%和0.9%。在人体姿态估计任务中,根据预测的关键节点数量来设置网络的输出通道数,导致对每个关键点的检测都是独立的。关键点之间的相对位置、整体布局等全局信息在困难样本的姿态估计任务中非常重要,但是在之前的研究中未考虑到。为了利用全局姿态信息,设计了一个全局姿态感知模块来提取全局姿态特征,并利用双分支网络融合全局和局部姿态特征。实验表明,利用全局姿态感知模块的轻量级人体姿态估计网络在MPII和MSCOCO数据集上精度分别提高了1.5%和1.3%。