舞台场景下结合姿态估计的演员检测方法

演员检测是将混合现实(MR)技术应用于戏剧表演的关键技术之一.然而,现有的行人检测方法无法在复杂舞台场景中进行有效的演员检测.因此为了提高演员检测的准确率,本文提出了一种用于复杂舞台场景的演员检测网络,将演员的关键点语义信息引入演员检测中.首先使用姿态估计子网络预测每个演员的关键点,然后根据演员的关键点生成包含语义信息的热力图.接着采用注意力机制将语义信息与原始图像融合,融合后的特征图送入检测网络进行进一步检测.同时为了提高关键点预测的准确率,改进了姿态估计子网络,将ResNet翻转拼接,堆叠成两级沙漏结构网络.在舞台演员数据集上进行对比检测,实验结果表明,引入关键点语义信息后的演员检测网络在MR,AP和AR上分别达到了14.37%,68.4%,73.3%要明显优于当前流行的其他方法.