基于三向量网格的多视图表面重建研究

利用符号距离场(SDF)进行表面重建是3D重建的一种常见策略。针对当前基于显示网格的表面重建存在的分辨率难以提高、重建表面精确度受到限制的问题,提出三向量网格和多层感知机(MLP)共同重建符号距离场(SDF)的方法。三向量网格的分辨率与内存增长呈线性关系,分辨率容易提高到更高水平,相比纯粹使用MLP具有更好的拟合能力。该方法使用自注意力卷积生成不同频带上的特征,以减少网格离散性并增加非线性表示能力。对三向量特征嵌入位置编码,通过引入归纳偏差,对抗表面重建过程中的噪声。针对复杂曲面难以拟合的问题,提出一种数据采样的优化方法,在复杂曲面附近提高采样频率。实验结果表明,该方法在DTU数据集上的表面重建精度优于最先进的方法4%。

一种基于人体骨架的任意角度坐姿识别方法

针对当前坐姿识别技术在不借助外部工具以及在动态环境下检测效果较差的情况,提出了一种基于人体骨架的坐姿识别方法,实现在任意角度环境下对坐姿的识别。人体骨架由关节和骨骼相互连接所成,其骨架信息不受动态环境和复杂背景的影响。该方法首先对任意角度下的坐姿图像进行人体姿态估计,提取出人体骨架信息,在三维空间下利用骨骼的物理连接关系构造一种用于检测坐姿的骨架图,并提出Skeleton-GCN(骨架图卷积网络)提取骨架图空间特征,将特征取平均值聚合并输入MLP层保存输出预测概率。此外,将任意角度的人体骨架坐标在三维空间下的不同角度进行投影,得到不同角度下的骨架图像,通过对比网络对骨架图像进行正面姿态估计得到正面骨架图像并输入CNN中,输出该骨架图像的预测概率,通过加权融合集成两个模态分类器预测概率并输出类别结果。最后,将所提方法应用于办公室、课堂等场景,实现了任意角度下坐姿的有效检测。