基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型

针对道路场景下红外目标遮挡、缺乏纹理细节而导致目标误检、漏检的问题,提出一种基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型(MSC-YOLO)。以YOLOv7-tiny作为基线模型,首先,在MobileNetV3的不同中间特征层引入多尺度金字塔模块PSA(Pyramid Split Attention),设计一种多尺度特征提取的轻量化主干提取网络MSM-Net(Multi-Scale Mobile Network),解决固定大小卷积核造成的特征污染问题,提高对于不同尺度目标的细粒度提取能力;其次,在特征融合网络融入加权坐标注意力(WCA)机制,叠加从中间特征图垂直和水平空间方向上获取的目标位置信息,增强目标特征在不同维度上的融合能力;最后,替换定位损失函数为高效交并比(EIoU),分别计算预测框和真实框的长、宽影响因子,提高收敛速度。在Flir数据集上进行验证实验,与YOLOv7-tiny模型相比,在mAP(IoU=0.5)仅降低0.7个百分点的前提下,MSC-YOLO的参数量减少67.3%,浮点运算次数减少54.6%,模型大小减小60.5%,帧率在RTA 2080Ti上达到101,在检测性能和轻量化上达到平衡,满足红外道路场景的实时检测需求。

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值,但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征,而局部遮挡的面部表情识别可能需要多个区域的表情特征,单一的注意力机制无法同时关注面部多个区域特征.针对这一问题,本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型,该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征,有效缓解了遮挡对表情识别的干扰,大量的实验结果表明,本文的方法相比于很多先进的方法取得了最优的性能,在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%,在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%.因此,本文的方法具有很强的鲁棒性.

基于低秩双线性池化注意力网络的舰船目标识别

针对多模态舰船图像融合识别质量不高等问题,构建了一种端到端的低秩双线性池化注意力网络。首先对各模态原始特征向量基于跨模类别中心进行注意力加权重构,使不同模态特征更好地关注公共类别信息;然后采用双线性池化捕获不同模态图像的交互信息,并引入权重低秩分解降低网络参数规模;最后依靠特征级联实现模态信息的交互与互补,并设计联合损失提升网络跨模态融合识别效果。实验结果表明,相比现有融合方法,所提方法可有效提升多模态遥感舰船图像的融合识别效果,在公开的遥感舰船数据集上取得了较高的识别准确率。

基于多尺度特征融合的人群计数算法

针对密集场景下人群目标尺度变化大导致识别精度不高的问题,本文提出两种多尺度特征融合结构:注意力加权融合模块(attention-weighted fusion module, AWF)和自底向上融合模块(bottom-up fusion module, BUF).其中AWF模块引入注意力分支学习特征图的权重,并将加权后的多层尺度特征进行叠加.而BUF模块在处理特征图时使用空洞卷积捕获更多尺度信息,且浅层特征图采用拼接方式融合.经过融合模块处理的特征图具有更强的表达能力,预测的密度图更加精准.本文算法以ResNet50为骨干网络提取特征,分别使用AWF和BUF模块进行特征融合,在公开数据集上进行实验.结果显示加入AWF模块的计数算法在Shanghai Tech数据集上的平均绝对误差(MAE)降到45.54 (A部分)和7.6 (B部分),均方误差(MSE)降到100.28 (A部分)和11.4 (B部分),在UCF;C;0数据集上的MAE和MSE则降至212.42和323.06.而加入BUF模块后的算法在Shanghai Tech数据集上的MAE则为51.6 (A部分)、8.0 (B部分), MSE降到102 (A部分)和12.8 (B部分),在UCF;C;0数据集上的MAE和MSE为242.6和359.5.实验结果表明,本文提出的AWF模块和BUF模块都可以有效融合深层与浅层的特征信息,优化特征图,提高计数精度.

基于内容特征和风格特征融合的单幅图像去雾网络

基于深度学习的方法在去雾领域已经取得了很大进展,但仍然存在去雾不彻底和颜色失真等问题.针对这些问题,本文提出一种基于内容特征和风格特征相融合的单幅图像去雾网络.所提网络包括特征提取、特征融合和图像复原三个子网络,其中特征提取网络包括内容特征提取模块和风格特征提取模块,分别用于学习图像内容和图像风格以实现去雾的同时可较好地保持原始图像的色彩特征.在特征融合子网络中,引入注意力机制对内容特征提取模块输出的特征图进行通道加权实现对图像主要特征的学习,并将加权后的内容特征图与风格特征图通过卷积操作相融合.最后,图像复原模块对融合后的特征图进行非线性映射得到去雾图像.与已有方法相比,所提网络对合成图像和真实图像均可取得理想的去雾结果,同时可有效避免去雾后的颜色失真问题.