基于3D heatmap的人体三维姿态估计方法

针对肢体间自遮挡和物体遮挡造成的关节位置信息缺失问题,提出了一种基于3D heatmap的三维姿态估计方法。首先,采用卷积神经网络对人体二维关节点热图heatmap进行提取,并根据各摄像头间的外参数构建人体各关节点的初始3D heatmap;然后,利用人体扫描与建模获得的人体模型先验信息,采用期望最大化算法,迭代优化获得最符合人体模型的关节点在空间的位置分布。最后利用Human3.6M数据集进行验证。结果表明:在部分视图存在遮挡的情况下,可获得高精度的三维关节点位置。

基于多视图融合的3D人体姿态估计

针对自然场景中遮挡、检测姿势不准确以及建立的交叉视图不匹配等问题,在VoxelPose模型的基础上提出了一种基于heatmap的多视图融合网络来估计3D人体姿态.首先,改进高分辨率网络,添加反卷积模块生成更高分辨率的heatmap.取两个髋关节之间的关键点为人体中心点,引入对极约束模型匹配融合不同视角下人体中心点的heatmap信息;然后,将所有视角的heatmap投影到共同的3D空间,再经过3D CNN网络以中心点构建特征体积来估计所有关键点的位置;最后,回归准确的3D人体姿态.在公开的数据集Shelf和Campus中,评估指标PCP3D(正确估计关节位置的百分比)分别达到97.1%和96.7%.在CMU-Panoptic数据集中,MPJPE(关节位置误差的平均值)为16.80 mm,实验结果优于VoxelPose.

基于骨骼关键点热图的异常行为识别

人体骨骼关键点运动信息是人体行为的主要表现形式,其含有密集的行为信息,是处理异常行为识别最重要的方式之一。提出一种基于骨骼关键点热图的异常行为识别算法,沿着时间维度堆叠关键点的热图,通过较轻量的X3D卷积网络,完成异常动作识别。在搭建的异常行为识别数据集中进行测试,根据关键点数据的信息密度大但是却存在部分动作相似特点,改进损失函数,准确率为92.5??

基于深层卷积残差网络的航拍图建筑物精确分割方法

针对建筑物3D建模场景下所需的建筑物主体轮廓俯视平面图获取成本较高、航拍图建筑物的分割精度低、建筑物屋顶存在干扰物影响分割等问题,文中提出了一种将5个点的位置表示为热图作为网络额外输入通道的基于深层残差网络的航拍图建筑物精确分割方法,该方法在航拍图建筑物的精确分割任务中取得了比较好的分割效果。实验结果表明,该方法具有比传统半自动分割方法Grabcut更高的分割精度和分割效率;具有比DEXTR方法更好的鲁棒性和抗干扰性。该方法可以为建筑物3D重建任务提供高精度的建筑物俯视轮廓图和建筑物顶部图片,还可以在航拍图建筑物数据集的制作过程中,作为一种准确和有效的掩码注释工具或半自动轮廓标注工具,以提高数据集的标注效率。