结合全局上下文信息的高效人体姿态估计

现有的人体姿态估计模型通常使用复杂的网络结构提升关键点检测准确率,忽视了模型参数量和复杂度,使得模型难以部署在资源受限的计算设备上。针对这一问题,构建一个感知全局上下文信息的轻量级人体姿态估计网络模型(GCEHNet)。对HRNet进行轻量化改进,使用深度卷积模块代替HRNet结构中的标准3×3残差卷积模块,在保证网络性能的同时大幅度降低模型参数量与复杂度。为了克服卷积神经网络(CNN)在长期语义依赖性建模方面的局限性,使用双支路方法联合CNN与Transformer,将全局位置信息嵌入CNN后期模块,使GCEHNet模型能感知上下文特征信息,从而提升网络性能。设计一种CNN特征与全局位置特征高效融合的策略,通过学习联合特征信息重新分配特征权重,捕获并增强来自不同感受野的特征信息。实验结果表明,GCEHNet模型在MS COCO val2017和test-dev2017数据集上的检测准确率分别达到71.6%和71.3%,相比于HRNet模型,在检测准确率仅损失4.5%的条件下参数量降低了76.4%,在检测准确率和模型复杂度间取得了较好的平衡。

融合多尺度特征与全局上下文信息的X光违禁物品检测

目的X光图像违禁物品检测一直是安检领域的一个基础问题,安检违禁物品形式各异,尺度变化大,以及透视性导致大量物体堆放时出现重叠遮挡现象,传统图像处理模型很容易出现漏检误检,召回率低。针对以上问题,提出一种融合多尺度特征与全局上下文信息的特征增强融合网络(feature enhancement fusion network,FEFNet)用于X光违禁物品检测。方法首先针对特征主干网络darknet53,加入空间坐标的注意力机制,将位置信息嵌入到通道注意力中,分别沿两个空间方向聚合特征,增强特征提取器对违禁目标的特征提取能力,抑制背景噪声干扰。然后,将特征提取主干网络输出的特征编码为1维向量,利用自监督二阶融合获取特征空间像素相关性矩阵,进而获取完整的全局上下文信息,为视觉遮挡区域提供全局信息指导。针对违禁物品尺度不一的问题,提出多尺度特征金字塔融合模块,增加一层小感受野预测特征用于提高对小尺度违禁目标的检测能力。最后,通过融合全局上下文特征信息和局部多尺度细节特征解决违禁物品之间的视觉遮挡问题。结果在SIXRay-Lite(security inspection X-ray)数据集上进行训练和验证,并与SSD(single shot detection)、Faster R-CNN、RetinaNet、YOLOv5(you only look once)和ACMNet(asymmetrical convolution multi-view neural network)模型进行了对比实验。结果表明,本文模型在SIXray-Lite数据集上的mAP(mean average precision)达到85.64%,特征增强融合模块和多尺度特征金字塔融合模块较原有模型分别提升了6.73%和5.93%,总体检测精度较原有检测网络提升了11.24%。结论提出的特征增强融合检测模型能够更好地提取显著差异特征,降低背景噪声干扰,提高对多尺度以及小型违禁物品的检测能力。同时利用全局上下文特征信息和多尺度局部特征相结合,有效地缓解了违禁物品之间的视觉遮挡现象,在保证实时性的同时有效地提高了模型的整体检测精度。

基于全局上下文的特定舞蹈动作识别方法研究

为了提升机器视觉中特定舞蹈动作识别的性能,设计了基于全局上下文的特定舞蹈动作识别方法。该方法基于Hourglass结构,通过连接高低分辨率的特征图,将具备全局信息的深层特征图上采样与浅层特征融合,使得每一个阶段的高分辨率特征图均具有低分辨率的特征图表示,从而得到信息更丰富的高分辨率特征图表示,最终回归人体姿态热力图。在Balletto舞蹈视频数据库中的测试结果表明,相比基于CPN和基于Hourglass的算法,所提算法的AP值提高2.4%,AR提升了1.6%。

基于Transformer的多尺度遥感语义分割网络

为了提升遥感图像语义分割效果,本文针对分割目标类间方差小、类内方差大的特点,从全局上下文信息和多尺度语义特征2个关键点提出一种基于Transformer的多尺度遥感语义分割网络(muliti-scale Transformer network,MSTNet)。其由编码器和解码器2个部分组成,编码器包含基于Transformer改进的视觉注意网络(visual attention network,VAN)主干和基于空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构改进的多尺度语义特征提取模块(multi-scale semantic feature extraction module, MSFEM)。解码器采用轻量级多层感知器(multi-layer perception,MLP)配合编码器设计,充分分析所提取的包含全局上下文信息和多尺度表示的语义特征。MSTNet在2个高分辨率遥感语义分割数据集ISPRS Potsdam和LoveDA上进行验证,平均交并比(mIoU)分别达到79.50%和54.12%,平均F1-score(m F1)分别达到87.46%和69.34%,实验结果验证了本文所提方法有效提升了遥感图像语义分割的效果。

一种弱纹理目标立体匹配网络

现有深度估计方法在高分辨率图像下存在特征提取不够充分、局部信息特征提取差的问题,为此提出一种面向全局特征的Transformer立体匹配网络;该网络采用编码器-解码器的端到端架构,采用多头注意力机制,允许模型在不同子空间中关注不同特征,从而提高特征提取能力;模型将自注意力机制和特征重构窗口结合,能够提高特征的表征能力,弥补局部特征不足的问题,在减少计算负担的同时有效解决Transformer架构计算复杂度高的问题,将模型的计算复杂度保持在线性范围内;在Scene Flow、KITTI-2015数据集上分别进行实验,与现有方法相比,相关指标得到显著提升,验证了模型的有效性和实用性。

基于深度全局信息融合的复杂山区机载点云滤波

激光雷达在获取地势陡峭、植被覆盖密集区域的点云数据时存在非地面点比重大、密度分布不均匀等情况,传统滤波算法难以获取精确的点云滤波结果,而深度学习在点云滤波中存在信息利用不充分、特征提取不足等问题。因此提出一种融合多维特征与全局上下文信息的点云滤波网络(MGINet),建立多维度特征提取与全局信息融合学习框架,提升复杂山区点云滤波精度。首先,MGINet设计了局部交叉特征融合模块,通过融合法向量与空间几何结构来获取高维差异特征,保留点云局部空间结构特征。然后,引入全局上下文聚合模块捕捉全局上下文信息,再结合交叉编码增强特征的泛用性。最后,在公开与真实的复杂山区数据集上进行测试,实验结果表明MGINet的滤波精度优于传统算法。

基于深度迁移学习的图像隐私目标检测研究

针对当前社交媒体平台缺乏图像隐私泄露预警机制的问题,提出基于YOLOv8模型的图像隐私目标检测优化方案,以降低用户分享图像时泄露隐私的风险。以YOLOv8作为基线模型,将瓶颈转换器(BoT)模块融入主干网络,以捕获全局上下文信息,建模长距离依赖关系。同时引入加权双向特征金字塔网络(BIFPN)结构改进颈部网络,促进多尺度特征的深度融合。在此基础上,基于深度迁移学习方法,对YOLOv8预训练模型进行微调并训练,以实现图像隐私的自动化检测。通过LabelImg标注工具构建隐私图像数据集,在迁移学习方式下,将常见的YOLO系列模型与改进的YOLOv8相比较。结果表明:YOLOv8在基线模型中的表现较好,而本文改进模型的F1值达到0.885,mAP@.5值达到0.927,相较于YOLOv8分别提升了4.0%和3.4%,其检测精度效果显著,能够应对图像隐私检测的应用场景。

一种基于Interactive KeyPoints的目标检测算法

目标检测是计算机视觉中的研究热点,小目标检测精度低一直是难点。论文采用关键点的预测方式和回归方法,建立一种基于交互关键点(Interactive KeyPoints)的无锚检测模型(ITKP)。该模型采用自适应采样方法获取一组表示对象的空间范围和具有重大语义意义的局部区域的关键点集后,通过自注意力(self-attention)机制建立关键点之间的联系以更好地匹配关键点和实现细粒度的定位。另外使用自注意力层代替卷积层来获取特征的全局上下文信息,设计了一个交互的特征金字塔,实现了更精确的识别和定位。论文提出的检测模型计算复杂度低,在基于关键点检测的无锚检测方法中,检测性能和小目标检测效果有较大的提升。同时保持实时的检测速度,为嵌入式或边缘设备的应用提供理论支持。

基于FPA-U-Net-GAU的肺部病变区域分割方法研究

针对现有机器学习和深度学习网络算法对肺部病变区域分割精度不高的问题,提出了一种基于改进的特征金字塔注意力机制(Feature Pyramid Attention,FPA)与U-Net网络结合肺部病变区域分割算法。该算法在U-Net采样中嵌入FPA,FPA对目标区域空间位置信息进行分级特征提取,并结合全局池化学习表示特征。在每个上采样模型中引入全局注意力上采样模块(Global Attention Upsample,GAU)作为全局上下文信息的特征提取,网络方法简写为FPA-U-Net-GAU。将FPA-U-Net-GAU与几种经典分割算法模型进行对比,实验结果表明,FPA-U-Net-GAU方法有效提高了分割精度和稳定性,其DSC为0.885,PPV为0.851,Sensitivity为0.882。

多特征信息融合的人群密度估计方法

人群密度估计在智能安全防范领域具有重要的应用价值。针对人群密度估计在二维图像中视角变化呈现较大差异、特征空间信息丢失、尺度特征和人群特征提取困难等问题,提出了一种多特征信息融合的人群密度估计方法。该方法通过注意力机制引导的空间注意力透视(Perspective of spatial attention,PSA)方法,对图像多视角信息进行了有效信息编码,获取了特征图的空间全局上下文信息,弱化了视角变化带来的影响;而后通过多尺度信息聚合(Multi-Scale Information Aggregation,MSIA)方法,利用多尺度非对称卷积与不同膨胀率的空洞卷积进行了有效融合,获取了较为全面的图像尺度及特征信息。最终通过细致语义特征嵌入融合的方式,补充了高层特征图的空间信息及低层特征图的语义信息,并使上下文信息与尺度信息相互补充,提高了模型的准确度与鲁棒性。采用ShanghaiTech、Mall、Worldexpo’10数据集进行了实验验证,实验结果表明,所提方法的性能较其他对比方法有一定的提升。