影子辅助的三维人体重建

光线投射至地面的人体影子可以为人体重建任务提供约束信息,有助于缓解单目图像中的深度歧义问题和自遮挡问题.为了重建三维人体模型,提出一种基于影子输入和深度神经网络的重建方法.首先搭建2个独立的卷积神经网络模块用于提取图像特征和影子特征,并估计对应的人体模型参数;然后建立一个可导投影算子(differentiable projection operator,DPO)对齐2个网络的输出;最后将DPO构建的损失函数应用于微调神经网络和直接优化输出.在Human3.6M合成影子数据集上的实验结果表明,与基线方法相比,微调神经网络的关节误差指标下降了1.4~4.9 mm;在自采集的一个含真实影子的3人2视角小规模数据集上的定性实验结果表明,直接优化的人体姿态更加接近原始图像.

基于移动设备的三维人体重建

针对三维重建方法计算量大,耗费内存高的问题,提出了一种基于知识蒸馏的人体三维模型重建方法应用于电子商务服装定制,利用Resnet-18构建人体正面、侧面掩膜数据集,分别针对男性、女性、中性三种人体特征提取信息,然后通过利用知识蒸馏的方法进行模型压缩,使其能够部署于移动设备。实验表明,论文方法能够在移动设备上以较快的速度、消耗消耗较少的储存空间,实现三维人体模型的重建。

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络(HRNet)和图卷积网络(GCN)的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型(SMPL)的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。

采用多级拓扑图卷积网络的可变形三维着装人体重建

为了从单幅图像或者多幅图像中重建出可变形的着装人体,提出了一种采用蒙皮多人线性模型(skinned multi-personlinear model,SMPL)的多级拓扑构建的图卷积神经网络(multi-leveltopology graph convolutional network,MTGCN).首先,通过现有方法从图像中预计算对应姿势和体型的光滑人体SMPL模型,并通过图像特征提取网络得到人体的局部特征图;然后,将SMPL模型顶点投影到特征图中,以获取具体位置的局部特征;最后,利用MTGCN对模型顶点偏移产生着装效果,其下采样与上采样模块可融合局部特征从而获取全局特征,并结合残差模块用于弥补全局特征中丢失的局部信息,从而提升重建的人体质量.在使用MGN与SURREAL合成的图像数据集上,实验结果表明,与目前类似的工作相比,该方法能够产生更低的倒角距离误差与点到曲面的距离误差,并且在人体服装细节与人体部位等方面展示出了更好的结果.此外,生成的三维人体模型可以直接在姿势或者体型上变形,以快速生成着装人体动画.

运动三维激光动态信息的人体重建方法研究

针对人体运动动态信息重建中容易造成中间过程图缺失以及重建的准确性不好的问题,提出一种基于特征采样点套索插值的运动三维激光动态信息人体重建方法。对三维激光扫描采集的人体动态图形进行边缘轮廓分割,将分割的特征点映射到二维空间中进行人体运动的三维信息重构,进行图像的边缘增强和锐化处理。采用采样点套索插值方法进行动态信息的批量读入,进行人体动态信息特征的体绘制,实现人体重建。仿真结果表明,采用该方法进行人体动态重建,避免的运动中间过程图的缺失,动态信息呈现完整,重建图像的信噪比较高,说明质量较好。

基于多Kinect的三维人体重建系统

结合KinectFusion技术,设计并实现了一种基于多台Kinect的三维人体重建系统.该系统使用两台Kinect分别采集人体上下两部分的点云数据,通过标定得到两台Kinect的姿态关系,并基于标定结果,使用迭代最近点(ICP)算法对两部分点云进行配准得到完整的人体三维模型.试验表明,系统设备成本低、部署简单,能快速并较高精度地获取人体三维点云.

基于Kinect的三维人体重建

提出了一种利用Kinect设备识别和获取三维人体数据,并结合点云库(PCL)进行三维人体模型重建的新方法。为了达到三维人体重建的目的,在调整参考模型体型系数的基础上,同时利用了ICP迭代算法,将参考模型的点云数据同目标模型的点云数据进行配准。实验结果表明此种方法达到了重建的目的,具有实用性和可行性,同时体现了成本低、方便和实时性强的优点。

三维人体重建中的服装视觉信息表示

针对三维人体重建中服装视觉信息表示模糊的问题,提出一种多阶段优化的三维人体重建方法.首先对输入的人体图像进行预处理,分别提取其语义特征、明暗特征和高频特征;然后基于局部深度特征构建有向距离场,隐式表征三维人体的几何形状;再构建着装层次表示模块,通过定义着装层次损失函数感知服装语义上下文信息,并优化有向距离场,生成粗糙的三维人体模型;最后结合明暗特征和高频特征捕获服装褶皱细节,并在UV空间内定位褶皱位置,优化生成精细的三维人体模型.在BUFF数据集上的实验结果表明,所提方法的法线L2误差和倒角距离误差分别为0.13和1.30,较已有方法降低了13%和2%,能够提高三维人体重建的精度,生成具有服装款式、着装层次和褶皱细节的三维人体模型.

基于多幅图像的低成本三维人体重建

提出一种基于多幅图像的低成本的重建目标三维人体模型的方法。首先建立每幅图像上特征点与原始模型特征点之间的对应关系,然后使用基于径向基函数方法对原始模型进行变形从而获得目标模型并对目标模型应用三种过滤器进行局部修复,最后使用视角无关的方法实现纹理映射和基于顶点混合的方法实现皮肤骨骼运动系统。实验结果表明该方法精度高,实用快捷且成本低廉。

基于序列帧的三维人体重建

针对现有的依靠单目RGB相机拍摄序列图像来进行的三维人体重建存在精度较低、面部建模辨识度不足等问题,引入了非刚性多视图三维重建方法和特征图金字塔方法,以提升面部模型质量。首先,利用特征金字塔网络(FPN)和多层感知器(MLP)提取对重建更有帮助的多级特征图;接着,通过推断多个输入图像的外观一致性创建初步的面部模型;然后,使用多级重建的方法,根据每一级的特征图进行模型重建并更新数据,逐步建立出具有高精度的面部模型;最后,结合两种方法,引入多个损失函数,加快收敛,生成结果模型。实验结果表明:面部平均顶点误差较之前模型降低了约2 mm,能够达到1 mm级的误差水平。同时也通过用户调查证明了本方法改进的优越性。超过96%的参与者认为本方法具有更好的效果。

基于改进分段铰链变换的人体重建技术

目前,基于单帧图像的人体建模还不能有效地处理手臂、衣服等对身体部位的遮挡,以及因视角带来的自我身体遮挡等复杂的遮挡问题。为此,利用SMPL模型骨骼关节分布特点,提出改进传统分段铰链变换模型的人体重建方法。该方法运用骨骼关节的精确标注确定模型变换的节点,结合图像轮廓边界约束图,提出前向分段回归概率期望最小化(FPR-PEM)的柔性配准方法。通过迭代模型对变形关节处结合薄板样条进行线性插值,保证模型表面点云形状的独立性,有效地注册各种姿势下的非刚性变形模型,较好地解决了复杂遮挡带来的重建挑战,并进行模型姿态回归调整,实现准确的人体建模。实验结果表明,方法可以有效实现精细和平滑模型的人体表面重建。

基于多人图像的三维人体重建算法研究

针对目前多人图像三维人体重建姿态失准、模型精确度低的问题,提出一种基于单张多人图像的三维人体重建算法,算法首先对图片进行特征提取生成多个人体框架得到人体区域图,接着对所得到人体图像的体型姿态参数进行进一步提取,将得到的人体参数与SMPL模型相结合后生成三维人体模型,再将三维投影至二维与图像的二维关节点进行比对利用卷积神经网络回归,最后利用生成对抗网络对模型进行判别与损失回归得到合适的生成器模型,完成整体设计。设计使用Human3.6M与MPII数据集进行测试,与cmr、smplify等算法进行对比实验,能够更准确地恢复三维人体模型,在提高了模型重建精确度的同时,模型的重建速度也得到提升。

单视角图片的三维人体重建优化方法

为解决现有基于单视角图片重建算法存在的细节姿态处理不佳、误差较大的问题,文章结合三维人体模型,从图像中提取多个二维特征点以优化的方式实现三维人体重建。通过提取多个二维头部特征点实现头部姿态的重建,并采用基于回归的方法代替由局部关节特征计算投影参数的方法,提高算法对不同姿态的适应能力。在MPI-INF-3DHP、LSP公开数据集上的结果表明,方法能够适应多种人体姿态,并且对细节姿态的重建效果较好,重建误差有所降低。

基于单视图的带纹理三维人体网格参数化重建

针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征被送入三维回归模块,迭代推断出三维人体参数;纹理参数送入纹理解码器网络得到纹理图;学习到的人体参数可转化为三维人体网格;对于损失函数的设置,预测的人体网格顶点与真实顶点的差值用来进行三维监督;通过预测的像机参数、光照参数和纹理计算二维渲染损失;通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失;生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力,而且重建的三维人体网格带有纹理信息。

基于单张图像的人体准确姿势3D重建研究

为了解决单张图像人体重建时存在部分姿势不准确,模型精确度不足的问题,提出了基于单张图像进行人体准确姿势3D重建的方法。首先,提取图像特征,并将特征与SMPL基础模板信息相融合,通过图卷积网络将2D图像映射为3D人体表面;其次,将参数化SMPL模型所表达的3D人体投影到2D平面,通过投影后的3D信息与输入图像的2D信息相匹配,实现体型与姿势的估计;然后,使用生成对抗网络判断模型数据是否来自未配对数据的真实人体网格数据;最后,使用多种损失函数共同训练,生成最终生成器模型。使用Human 3.6M测试时与SMPLify, NBF,Rogez等算法进行了对比,姿势估计准确度有所提升。

基于实时视频流的3D人体姿势和形状估计

为满足元宇宙、游戏及虚拟现实等应用场景中对实时视频流3D人体姿势和形状估计准确性和真实性的要求,提出了一种基于时间注意力机制的3D人体姿势和形状估计方法。首先,提取图像特征,并将其输入运动连续注意力模块以更好地校准需要注意的时间序列范围;随后,使用实时特征注意力集成模块以有效地组合当前帧与过去帧的特征表示;最后,通过人体参数回归网络得到最终结果,并使用基于图卷积的生成对抗网络判断模型是否来自真实的人体运动数据。相较于之前基于实时视频流的方法,在主流数据集上加速度误差平均减少了30%的同时,网络参数与计算量减少了65%,在实际测试中实现了每秒55~60帧的3D人体姿态和形状估计速度,为元宇宙、游戏及虚拟现实等应用场景提供更好的用户体验和更高的应用价值。

基于深度扫描仪的高辨识度三维人体模型重建方法

3D照相打印馆人像的打印质量取决于3D扫描获得的三维人体模型的辨识度。然而,由于现有3D人体扫描仪价格昂贵、操作复杂等原因,使得3D人像打印成本高、耗时长和打印精度较低。针对这些缺点提出一种基于深度扫描仪重建高辨识度三维人体模型方法。利用多组深度扫描仪分工协作、优势互补,分别获取高辨识度的人体面部五官点云数据,上半身与全身表面轮廓点云数据。然后,通过引入特征点和改进的最近点迭代法将采集到的三组点云数据进行对齐、替换、拼接,将拼接后的无拓扑关系的点云数据进行曲面重构即可获得高辨识度的三维人体模型。该方法的扫描时间较短,以较低的成本构建了具有高辨识度的三维人像模型。

面向服装个性化定制的多视角轮廓三维人体快速重建方法

服装个性化在线定制需要围绕用户形状参数进行设计,传统的量体方法获取的用户形状参数误差高、反馈慢,亟需构建一种三维人体重建方法能够快速感知用户人体形状.针对此问题,提出了一种面向服装个性化定制的多视角轮廓三维人体快速重建方法.利用多级空洞卷积分割网络(multilevel dilated convolution semantic network,MDS-Net)提取人体轮廓图像中整体和局部特征,实现轮廓图像的语义分割;利用躯干参数提取网络(torso parameter extraction network,TPE-Net)提取多视角人体轮廓分割图的形状和姿势参数;利用主成分分析(principal component analysis,PCA)提取三维人体模型潜层空间的语义特征,并映射为由TPE-Net输出的形状和姿势参数,从而实现三维人体重建.在PyTorch环境下,采用4个数据集进行实验验证,结果表明,MDS-Net在测试集上的分割mIoU评分平均为0.881,能够实现整体分割和局部细节保留;TPE-Net在测试集上形状参数预测准确率为0.74,关节预测偏移距离与运动树中的索引呈正比;同时,使用真实案例验证了整个三维人体重建方法的有效性.

基于多监督的三维人体姿势与形状预测

三维人体重建技术指通过图像或视频建立有相应姿势和体型的三维人体模型,其在虚拟现实(VR)、网游、虚拟试衣等方面有着十分广泛的应用前景.其中,参数化的三维人体模型由于参数数量的局限,重建精度较低,缺少细节特征.为了提升参数化三维人体模型的重建精度,增加其脸部与手部细节,提出一种基于多监督的三维人体模型重建方法.该方法结合传统的回归方法和优化方法,利用卷积神经网络回归出参数化人体模型的参数,得到一个较为粗糙的人体模型,将该模型作为初始模板进行拟合和迭代优化,将带有脸部和手部的全身密集关节点信息和轮廓信息作为回归网络的2D监督,同时使用迭代优化后的人体模型作为回归网络的3D监督,最终可由一幅图像获得一个多细节、高精度的参数化三维人体模型.定性分析结果表明,该方法为人体拟合过程提供正确的拟合方向,可有效减少非自然姿势的出现,提高三维人体模型重建的准确度.全身密集关节点监督可为模型增加更多手部与脸部的细节,而轮廓监督可减少重建的人体模型与图像中人体的像素级偏差.定量分析表明,该方法在数据集Human3.6M上的平均逐关节位置误差(MPJPE)为59.9 mm,较经典方法SPIN减少了4.16%,对关节点进行刚性对齐后模型的平均逐关节位置误差(MPJPE-PA)低至38.2 mm,较SPIN减少了7.06%.

基于单视角图像的人体三维重建研究

为了使得人体三维建模技术不受高昂仪器费用所限制,可以被更多的普通用户所接受,提出了一种基于单视角图像的人体三维模型重建的方法。该方法通过结合参数化结构的表达,并在此基础上引入了人体法向图和基于骨架的结构先验作为先验信息,在基于隐式函数的方法上进行改进得到一种基于全先验信息的重建方法。在相同数据集上将本方法与PIFu、PIFuHD、PaMIR、ICON选取了三个评价标准进行多次对比试验,其中真实模型与预测模型间的距离平均下降约40%,法向一致性平均提升约4%。实验结果表明,利用改进算法进行人体三维模型重建,能够提高重建模型的准确性和细节丰富度。