基于多谱注意力高分辨率网络的人体姿态估计

针对人体姿态估计中多分辨率特征融合时出现的特征信息丢失的问题,基于Lite-HRNet引入多谱注意力机制,设计了一个轻量级的结合多谱注意力机制的高分辨率人体姿态估计网络LiteMSA-HRNet.将多谱注意力机制融入Lite-HRNet,利用多个频率分量,提取更丰富的特征信息,获得更优的多分辨率特征重复融合的效果;在主体网络后利用一个反卷积模块,将其生成的更高分辨率特征和主体网络生成的高分辨率特征进行融合;引入通道置换、逐点分组卷积和深度可分离卷积,轻量化反卷积模块中的残差块,提升网络定位关键点的速度.在COCO2017数据集上的实验结果表明,与其他网络相比,Lite MSA-HRNet在人体姿态估计精度和复杂度之间取得了较好的平衡结果.

基于多尺度双注意力的人体姿态估计方法研究

针对人体姿态估计中人体与背景区分度不高,基于HRNet网络的人体姿态估计中重要特征信息利用不完全的问题,利用通道与空间注意力机制,提出了一种基于多尺度双注意力(Multiscale Dual Attention,MDA)的人体姿态估计方法MDAHRNet。该方法从通道域和空间域出发,分别设计了结合通道注意力的Ca-Neck,Ca-Block模块和结合空间注意力的Sa-Block模块,将其融入到高分辨率网络结构中,使网络能够重点关注图像中的人体区域。在Sa-Block模块中采用3×3和7×7的卷积核推导两种不同尺度的空间注意力映射,使网络区分人体特征和背景特征的能力更加显著,从而对人体及其关键点进行准确定位。该方法在MPII数据集上进行了实验验证,结果表明MDA-HRNet能有效地提高人体姿态估计关节点定位的准确度。