基于高效卷积注意力特征融合的道路目标检测

针对YOLOv5s基准模型参数量大、特征尺度差异化等问题,提出基于高效卷积注意力特征融合的轻量级目标检测模型.首先,构建基于幻影操作的轻量化特征提取模块,在保证检测精度接近原模型的前提下,提高模型的实时性.其次,优化通道注意力和空间注意力模块,提出基于高效卷积的注意力特征融合模块,并设计兼具检测精度与实时性的轻量级目标检测模型.在具有不同复杂道路场景的数据集BDD100K上开展实验.结果表明,相较于基准模型,所提模型的检测精度和推理速度均得到提升,其中全类平均检测精度提升了1.4%,帧率提升了28.2%.相较于当前行业应用中主流的深度学习模型,所提模型在精度与速度的均衡性上表现出显著优势.

多尺度注意力特征融合的单图像超分辨率研究

高分辨率意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。基于生成对抗网络的图像超分辨率由于具有生成丰富细节的潜力,近年来受到越来越多的关注。针对现有的网络模型忽略从特征中学习本质纹理特征和感受野有限的问题,基于Real-ESRGAN和多尺度注意力特征融合,对网络进行优化,将残差稠密块替换成大核分解和多尺度学习相结合模块与全局学习与下采样模块的双分支结构方法,提出一种多尺度注意力融合的单图像超分辨率重建算法,增强每个局部与全局令牌对之间的交互,从而形成更丰富和信息量更大的表示。对数据集进行2,3,4倍超分辨率重建实验,通过峰值信噪比(PSNR)、结构相似性(SSIM)对重建结果进行评价,与SRCNN、SRGAN、ACMF、MSRDN、WYD、LBW、YJX、Real-ESRGAN等方法进行对比。结果表明,该算法优于其他模型,且具有更好的直观视觉效果。

结合注意力特征融合的八度卷积表情识别方法

针对目前面部表情识别特征表达不足、识别精度低及参数多的问题,提出了一种结合注意力特征融合的八度卷积表情识别方法。主要创新点在于将注意力特征融合机制引入模型,优化不同尺度特征的融合;采用深度可分离网络替代传统卷积,大幅减少参数;并引入BN和PReLU提升模型稳定性和性能。实验显示,该模型在CK+和Fer2013数据集上准确率分别达98.91%和74.03%,展现了优秀的泛化能力和准确度。

跨域注意力特征融合的说话人确认方法

针对目前说话人确认系统中前端特征的语音信号样点间结构信息缺失问题,提出了跨域注意力特征融合的说话人确认方法。首先,提出了一种基于图信号处理的图频域特征提取方法来有效利用语音信号的结构信息,将语音信号帧的每个样点作为图节点,构建语音图信号,通过图傅里叶变换以及滤波器组提取图频域特征。其次,提出了一种由残差模块与挤压-激励模块构成的注意力特征融合网络,对传统时频域特征与图频域特征进行跨域融合,来提升说话人确认系统的性能。最后,在VoxCeleb、SITW和CN-Celeb数据集上进行实验。实验结果表明,所提方法在等错误率以及最小检测代价函数的评价指标上,优于基线模型ECAPA-TDNN。

基于自适应注意力融合特征提取网络的图像超分辨率

为了应对当前大型图像超分辨率模型参数过多难以部署,以及现有的轻量级图像超分辨率模型性能表现不佳的问题,提出了一种基于自适应注意力融合特征提取网络的图像超分辨率模型。该模型主要由一个大核注意力模块和多个高效注意力融合特征提取模块组成。首先,利用大核注意力模块进行浅层特征提取,然后将提取到的浅层特征信息输入级联的高效注意力融合特征提取模块进行深层特征提取、增强、细化和再分配的聚合操作。高效注意力融合特征提取模块由三个部分组成,分别是渐进式残差特征提取模块、通道对比度感知注意力模块和通道—空间联合注意力模块。该网络可以在利用少量参数的情况下实现更好的图像超分辨率性能,是一种表现优异的轻量级图像超分辨率模型。通过在流行的基准数据集上评估提出的方法,并与现有的一些方法进行对比,结果表明该方法的表现更优异。

多视角多注意力融合分子特征的药物-靶标亲和力预测

近期深度学习在药物-靶标亲和力(DTA)任务上受到极大关注,然而现有工作多将分子单一结构嵌入为向量,忽略了多视角融合分子特征对最终特征表示提供的信息增益。针对单一结构分子存在特征不完备性的问题,提出了一种基于注意力融合多视角分子特征的预测DTA的端到端深度学习方法,其核心模块为多视角分子结构嵌入(Mas)和多注意力特征融合(Mat)。首先,使用Mas模块将多视角分子结构嵌入到特征向量空间;然后,通过Mat模块融入分子特征层级的注意力机制,从而对不同视角的分子特征进行加权融合;其次,根据药物-靶标相互作用(DTI)执行两者特征级联;最后,利用全连接神经网络回归预测亲和力。在Davis和KIBA数据集上的实验验证了训练比率、多视角特征融入、多注意力融合、以及相关参数对亲和力预测性能的影响。与GraphDTA方法相比,所提方法的均方误差(MSE)在Davis和KIBA两个数据集上分别降低了4.8%和6%。实验结果表明,注意力融合多视角分子特征能够捕获对蛋白质靶位上链接的相关性更高的分子特征。

融合注意力特征的多任务肺结节检测和分割

针对CT图像肺结节检测和分割模型复杂且精度低的问题,提出一种端到端的融合注意力特征的多任务肺结节检测和分割算法。利用多任务模型对肺结节检测和分割进行建模,实现模型参数的共享和计算复杂度的降低;提出残差注意力特征融合模块融合尺度和语义不一致的特征,获取更加丰富的特征信息;采用自适应多任务损失函数,实现主任务和辅助任务损失权重的均衡。在LIDC-IDRI数据集上进行了详尽的实验,肺结节检测的CPM得分达到90.94%,肺结节分割的IoU和DSC分数分别为71.78%和80.89%,验证了算法的有效性。

注意力特征融合SSD算法对遥感图像的目标检测

针对多尺度单发射击检测(Single Shot MultiBox Detector,SSD)算法对小目标物体检测效果不佳的问题,提出注意力特征融合SSD(Attention Feature Fusion SSD,AFF-SSD)算法。首先,为了提升网络对小目标物体的检测性能,使用注意力特征融合模块对浅层特征图中的特征信息融合,在降低噪声的同时增强特征图中远距离像素的相关性;其次,针对训练过程中正负样本失衡导致的模型退化问题,结合聚焦分类损失函数对SSD算法中的损失函数优化;最后,引入迁移学习解决因训练数据较少导致的过拟合问题。实验结果表明,与SSD算法相比,AFF-SSD算法平均准确率均值提高8.09%,经过迁移学习后,AFF-SSD算法平均准确率均值提高3.47%。

基于角度引导Transformer融合网络的多站协同目标识别方法

多站协同雷达目标识别旨在利用多站信息的互补性提升识别性能。传统多站协同目标识别方法未直接考虑站间数据差异问题,且通常采用相对简单的融合策略,难以取得准确、稳健的识别性能。该文针对多站协同雷达高分辨距离像(HRRP)目标识别问题,提出了一种基于角度引导的Transformer融合网络。该网络以Transformer作为特征提取主体结构,提取单站HRRP的局部和全局特征。并在此基础上设计了3个新的辅助模块促进多站特征融合学习,角度引导模块、前级特征交互模块以及深层注意力特征融合模块。首先,角度引导模块使用目标方位角度对站间数据差异进行建模,强化了所提特征与多站视角的对应关系,提升了特征稳健性与一致性。其次,前级特征交互模块和深层注意力特征融合模块相结合的融合策略,实现了对各站特征的多阶段层次化融合。最后,基于实测数据模拟多站场景进行协同识别实验,结果表明所提方法能够有效地提升多站协同时的目标识别性能。

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。

基于多尺度频率通道注意力融合的声纹库构建方法

为解决声纹识别准确性易受外部因素影响的问题,提出一种基于多尺度频率通道注意力融合时延神经网络(MFCA-TDNN)模型的声纹识别算法。MFCA-TDNN在ECAPA-TDNN(Emphasized Channel Attention Propagation Aggregation Time Delay Neural Network)的基础上作了3点改进,包括:加入了多尺度频率通道注意力前端以从话语中获得高分辨率的特征表示、添加了多尺度通道注意力模块结合局部和全局的特征以融合多尺度信息、嵌入了特征注意力融合模块为多尺度的融合特征加权。这些改进使模型更好地利用多尺度的时频信息,提高识别能力。实验结果表明,与ECAPA-TDNN模型相比,MFCA-TDNN模型等错误率(EER)和最小检测代价函数(minDCF)分别下降5.9%和7.9%;最低的EER可达到3.83%,最低的minDCF可达到0.2202。

基于多尺度注意力机制的高分辨率网络人体姿态估计

针对人体姿态估计中面对特征图尺度变化的挑战时难以预测人体的正确姿势,提出了一种基于多尺度注意力机制的高分辨率网络MSANet(multiscale-attention net)以提高人体姿态估计的检测精度。引入轻量级的金字塔卷积和注意力特征融合以更高效地完成多尺度信息的提取;在并行子网的融合中引用自转换器模块进行特征增强,获取全局特征;在输出阶段中将各层的特征使用自适应空间特征融合策略进行融合后作为最后的输出,更充分地获取高层特征的语义信息和底层特征的细粒度特征,以推断不可见点和被遮挡的关键点。在公开数据集COCO2017上进行测试,实验结果表明,该方法比基础网络HRNet的估计精度提升了4.2%。

深度特征融合注意力与双尺度的运动去模糊

目的拍摄运动物体时,图像易出现运动模糊,这将影响计算机视觉任务的完成。为提升运动图像去模糊的质量,提出了基于深度特征融合注意力的双尺度去运动模糊网络。方法首先,设计了双尺度网络,在网络结构上设计高低尺度通路,在低尺度上增加对模糊区域的注意力,在高尺度上提升网络的高频细节恢复能力,增强了模型去模糊效果。其次,设计了深度特征融合注意力模块,通过融合全尺度特征、构建通道注意力,将编码的全尺度特征与解码的同级特征进行拼接融合,进一步增强了网络的去模糊性能和细节恢复能力。最后,在双尺度的基础上,引入多尺度损失,使模型更加关注高频细节的恢复。结果在3个数据集上,与12种去模糊方法进行了对比实验。在GoPro数据集上得到了最优结果,相比SRN(scale-recurrent network)方法,平均峰值信噪比提升了2.29 dB,能够恢复出更多的细节信息。在Kohler数据集上,得到了最高的峰值信噪比(29.91 dB)。在Lai数据集上,视觉上有最好的去模糊效果。结论实验结果表明,本文方法可以有效去除运动模糊并恢复细节。

基于注意力机制的自然场景文本检测算法

针对目前主流场景文本检测算法在进行多尺度特征融合时不能够充分利用高、低层信息造成的文本漏检,以及长文本边界检测错误的问题,本文提出一种应用注意力机制的多尺度特征融合与残差坐标注意力的场景文本检测算法。该算法将注意力特征融合模块嵌入到金字塔中,通过纠正不同尺度特征的不一致性来提取更多的细节信息,以改善文本的漏检;在融合之后,使用残差坐标注意力模块在纵、横两个方向上捕获方向感知和位置敏感信息,细化边界信息,以优化长文本检测的效果。通过在公开数据集ICDAR 2015和Total-Text上的实验结果表明,该算法在F分数上分别达到了85.5%和83.6%,在推理速度上分别达到了22.4 FPS和40 FPS,相较于DBNet网络,在推理速度上略有下降,但在F分数上分别提高3.2%和0.8%。

基于注意力特征融合网络的手指静脉图像质量评价方法

为充分挖掘质量特征以提高手指静脉图像质量评价的性能,提出一种基于注意力特征融合的深度可分离卷积网络,将其用于手指静脉图像质量评价。该方法主要包括静脉纹路提取、深度质量特征提取、注意力特征融合和图像质量类别预测等四个步骤。使用深度可分离卷积代替传统卷积,减少网络参数,使网络轻量化。使用注意力特征融合代替特征串联融合,从手指静脉灰度图像和手指静脉纹路图像中挖掘更具区分性的质量特征。考虑到目前没有公开手指静脉图像质量数据库,手工标注山东大学手指静脉公开库中图像的质量标记。试验结果表明,本研究提出的方法在手工标注数据库上的图像质量分类正确率为89.67%,图像质量评价性能优于现有手指静脉图像质量评价方法。

seqAFF-ResNet:面向新冠肺炎的诊断模型

新冠肺炎的计算机辅助诊断是一种实现智能化影像诊断、临床诊断及临床分型的方法,在新冠肺炎的辅助诊断过程中,图像的病灶区域与组织边界对比不明显,导致模型不能较好地关注病灶区域,对有效特征的提取不够充分。针对上述问题,提出一个新冠肺炎辅助诊断模型seqAFF-ResNet(sequential attentional feature fusion-residual neural network)。设计串行注意力特征融合(sequential attentional feature fusion,seqAFF)模块,该模块串联条带注意力特征融合(strip attentional feature fusion,SAFF)模块和全局局部注意力特征融合(global local attentional feature fusion,GLAFF)模块,获取图像的纹理信息以及全局和局部信息,弥补卷积神经网络对于细节特征提取能力的不足,使得模型可以更好地关注于病灶区域;构造深浅层特征融合(deep and shallow feature fusion,DSFF)模块,使用深层特征的语义信息来影响浅层信息,同时将浅层的空间信息传入深层特征中,使深浅层特征进行有效融合,捕获丰富的上下文信息,实现跨层注意力特征增强,使网络能够更好地定位病变区域。与残差神经网络(residual neural network,ResNet)相比,seqAFF-ResNet准确率提升了3.42%,精确率提升了3.53%,F1分数提升了2.77%,AUC值提升了0.9%,实验结果表明,所提模型可以提高新冠肺炎的识别准确率,且与同类模型相比具有更好的性能。所提方法为新冠肺炎的辅助诊断提供了有效的识别方法,对新冠肺炎的计算机辅助诊断具有重要意义。

基于卷积神经网络的颜色修正水下图像增强方法

在水下环境中,由于光线的吸收和散射等环境问题,使得图像的颜色失真和对比度低,导致图像质量下降。为了提高图像的视觉效果,提出了一种基于卷积神经网络的水下图像增强算法。首先,利用新的水下成像模型校正水下图像的色偏问题;然后,利用卷积神经网络提取修正后的图像通道特征,通过多尺度注意力模块重新加权通道特征以增强不同特征图的一致性,并与颜色校正后的图像进行特征融合;最后,通过重建计算模块融合特征,改进图像增强效果。实验结果表明,该算法能够更好地校正图像颜色失真,提高图像对比度,最主要的优势在于该算法的运行速度比其他先进的水下图像增强方法快两倍。

基于改进CenterNet的输电线路电力器件及异常目标检测

为实现输电线路电力器件及异常目标的快速准确检测,提出了一种基于改进CenterNet的目标检测算法。首先,使用轻量级MobileNetV2作为CenterNet的特征提取网络,同时对解码网络的通道数进行缩减,提高检测速度;其次,构建多通道特征增强结构,并引入底层细节信息,解决CenterNet因仅利用单一特征而造成检测精度低的问题;然后,设计同尺度残差注意力特征融合模块,取代上采样过程中特征直接相加的融合方式,以此拟合来自不同支路的同级特征;最后,引入椭圆高斯散射核优化标签编码,提升边界框回归的质量。对改进的CenterNet算法进行了实验,结果表明:该算法在构建的数据集上得到的均值平均精度达96%,前向推理速度为13 ms/帧,模型参数量约为5.9 MB,各项指标均优于FCOS、YOLOX等主流检测算法。该方法与无人机结合可为电网智能巡检提供参考。

改进BiSeNetV1实时模型的岩屑图像识别

在图像分割识别领域,现有的深度学习方法大多使用高精度语义分割方法来实现,存在着网络推理速度慢、计算量大、难以实际应用等问题.借助于表现较好的BiSeNetV1实时网络模型,通过扩展的空间路径卷积结构、空间金字塔注意力机制(SPARM)和简化的注意力特征融合模块(S-iAFF)等改进策略,设计一种用于岩屑图像分割领域的BiSeNet_SPARM_S-iAFF实时网络.扩展的空间路径卷积结构可以获取更丰富的岩屑图像空间特征,上下文路径使用优化的空间金字塔注意力机制(SPARM)进一步细化高层语义特征提取,在特征融合阶段使用简化注意力特征融合(S-iAFF)加强低层空间与高层语义特征的融合程度.实验结果表明, BiSeNet_SPARM_S-iAFF网络在RockCuttings_Oil岩屑数据集上的平均交并比(mIoU)为64.91%,相较于BiSeNetV1网络提高了2.68%;另外改进后的网络在精度上接近大部分高精度语义分割方法,同时参数量大幅度减少、推理速度有着明显的提升.

改进KAPAO的人体关键点检测

针对人体关键点检测存在检测精确度低的不足,在KAPAO(keypoints and pose as objects)网络的基础上进行改进。使用PoseTrans(pose transformation)进行数据增强,提高网络的泛化性;针对特征融合能力的不足,设计融合注意力机制的BiFPN(Bi-directional feature network)模块充分融合不同语义特征,提高网络对深层语义信息和浅层语义信息的融合能力;在网络输出阶段设计自适应扩张卷积模块,将不同扩张率的输出分支进行自适应融合,有效获得图像的全局信息;在网络的后处理部分设计SDR-NMS(soft DIOU relocation non-maximum suppression)替代传统的NMS,保留最优的关键点预测框。实验结果表明,网络的AP分数提高了4.8%,AP为68.6%,检测速度为19.1 ms。网络精确度和检测速度均具有较好的表现性。