基于注意力机制的单视角三维重建

三维重建是计算机图形学中一个经典问题,其中基于单视角图像的三维重建尤为困难。随着深度学习的发展,深度学习在三维重建领域也得到了及其重要的发展。我们在研究过程中,发现了现有三维重建的网络模型重建结果往往缺乏细节信息。而这些信息往往在输入图像中有源可溯。因此我们尝试将注意力机制引入到三维重建中。最后的结果也说明了注意力机制的有效性。

基于TOF三维传感器的单视角重建

三维TOF测距成像对高速机动目标的测量、隐蔽物体探测、非视域目标成像探测具有重要的研究意义.基于TOF三维传感器,设计一种可剔除孤立散点的空间点滤波方法,运用优化的Delaunay三角剖分法实现目标物体单视角三维重建.

单视角三维人体重建的着装特征学习

目的由于单视角着装人体重建中存在肢体遮挡、着装姿态复杂,且现有方法仅能精确提取和表示着装人体图像中的视觉特征,未考虑复杂的着装姿态引起的动态细节表达,较难生成具有动态褶皱的着装人体模型。因此,提出一种单视角三维人体重建的着装特征学习方法。方法首先对着装人体图像集中的单视角图像进行肢体特征表示,通过二维关节点预测与姿态特征深度回归,提取人体的着装姿态特征;再基于着装姿态特征,定义以柔性变形关节点为中心的着装褶皱采样空间和柔性变形损失函数,通过引入服装模板对输入的着装人体真值模型学习着装柔性变形,获得着装褶皱特征;然后,结合姿态参数回归、特征图采样特征和编解码器,构建联合着装人体像素和体素的人体形状特征学习模块,得到着装人体形状特征;最后结合褶皱特征、着装人体形状特征和计算的三维采样空间,通过定义有向距离场进行三维人体重建,输出最终的着装人体模型。结果为了验证方法的有效性,在公开的THuman2.0数据集进行对比实验。结果显示,构建姿态特征学习模块有助于重建完整的肢体与正确的姿态,以褶皱特征学习对形状特征进行优化,可以获得高精度的重建结果。与当前先进的单视角三维人体重建方法比较,相比于性能第2的模型,本文方法重建结果的点到面距离与倒角距离分别降低了4.4%和2.6%。结论本文提出的单视角三维人体重建的着装特征学习方法,能有效学习单视角三维人体重建的着装特征,生成具有复杂姿态和动态褶皱的着装人体模型。