基于注意力机制的人体关键点隐式建模网络

人体姿态估计任务需要利用视觉线索和关节间的解剖关系来定位关键点,但基于卷积神经网络的方法难以关注远程上下文线索和建模远距离关节之间的依赖关系。为此,提出一种基于注意力机制的隐式建模方法,通过多阶段迭代计算关节之间的特征相关性来隐式建模关键点间的约束关系,消除卷积神经网络的局部操作,扩大网络的感受野,建模远距离关节之间的依赖关系。为了解决网络在训练过程中可能弱化不可见关键点的问题,采用焦点损失函数,使网络更关注于复杂的关键点。使用目前精度最高的特征提取高分辨率网络(HRNet)和经典特征提取残差网络(ResNet)作为主干网络进行实验,结果表明,在同等实验条件下,隐式建模方法可以提高人体姿态估计网络的性能,在MPII和MSCOCO人体姿态估计基准数据集上,以HRNet网络为主干网络的算法相较于原网络,精度分别提升了1.7%和2.6%。

基于多级叠加和注意力机制的图像语义分割

针对目标空间复杂度高容易造成小尺度目标丢失和边界分割不连续等问题,借鉴DeepLabv3+网络结构,建立基于多级叠加和注意力机制的图像语义分割模型。在编码器阶段,采用不同尺度的平均池化操作构建多尺度平均池化模块,使用不同扩张率的空洞卷积组成多尺度叠加模块扩大卷积运算的感受野,增强对局部特征的获取能力,并利用由通道和空间组成的注意力机制模块抑制无意义的特征,增强有意义的特征,提高对小尺度目标及局部边界的分割精度。在解码器阶段,通过双线性插值法对特征图进行分辨率恢复,并结合通道维度信息进行像素填充补充特征信息,并使用Softmax激活函数进行语义分割的输出预测。实验结果表明,该模型在PASCAL VOC2012和SUIM公开数据集上的平均交并比分别达到85.6%和60.8%,在整体分割精度和小尺度图像的分割效果上明显优于多数图像语义分割模型。