基于SMPL的视频人物动作迁移研究

作为3D视觉领域最热门的方向之一,三维视觉重建在近几年正飞速发展,并在未来的数字人、元宇宙等方面展现出巨大的潜力。作为计算机视觉的重要技术之一,基于视觉的三维重建技术通过深度数据获取、预处理、点云配准与融合、生成物体表面等,将真实场景转换为符合计算机逻辑表达的数学模型。本文利用ROMP,smplify-x,OpenPose等技术,基于SMPL模型,探究了一种仅需要正背面两张照片即可快速构建粗略人物模型的方案,实现了对人物模型的可泛化、可驱动和可快速上色的动作迁移。

基于SMPL的人物视频生成算法

人物视频的生成需要人物外观和人物运动两部分信息。现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的。为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法。算法首先使用NERF配合SMPL人体模型对人物进行3D建模,获取人物外观信息。随后,提取驱动视频中的SMPL人体模型参数作为人物的运动信息,驱动静态的人物3D模型。最后,使用NERF中的体渲染技术将人物3D模型映射到2D平面内,得到最终的人物视频。得益于SMPL模型的特点,生成的视频不仅可以任意切换视角,还可以任意修改人物的体型。

基于SMPL-X模型的人体姿态与形状重构算法

人体姿态估计是计算机视觉领域的重要分支,是人机交互领域的关键问题.现有的三维人体姿态估计算法识别结果大多以三维关节点、线的形式来体现,缺乏人体细节信息且表达形式抽象.引入参数化人体模型(SMPL-X),研究基于形变模型的人体姿态估计与形状重构算法,通过二维图像预测模型参数,实现标准人体模板与真实数据的非刚体配准.首先使用HMR生成对抗网络从彩色图像中提取模型姿态参数,再将模型重投影回二维,利用人体关键点和轮廓的约束构造能量函数并对姿态和体型参数进行优化求解,从而重构出与图像中人物具有相似姿态和形状的三维人体模型.在3DPW和EHF公开数据集及真实数据的实验结果表明,相较基于SMPL模型的方法,重建出包含面部和手部细节的人体表示,姿态与体型估计更贴合人体,提高了重建精确度.

基于SMPL模型人体三维重建算法研究

为了实现人体模型的高效快速建模,获得丰富的重建细节,提出了基于SMPL模型的三维人体重建算法。首先,通过图像分割与关键点检测,将2D图像映射到3D人体表面,实现人体关节点精确定位和姿势估计;其次,通过U-Net++和PatchGAN对抗生成网络,计算出人体三维图像的法线贴图和位移贴图;最后,将贴图信息采用线性差值方法添加到SMPL模型表面,实现模型顶点和SMPL模型参数的校正。在Human 3.6 M数据集上将本方法与SMPLify, HMR,NBF等算法进行了对比试验,本文提出的方法可以较完整重建人体的表面褶皱及凹凸细节,在13.7 s内实现完成重建任务。

基于单视图的带纹理三维人体网格参数化重建

针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征被送入三维回归模块,迭代推断出三维人体参数;纹理参数送入纹理解码器网络得到纹理图;学习到的人体参数可转化为三维人体网格;对于损失函数的设置,预测的人体网格顶点与真实顶点的差值用来进行三维监督;通过预测的像机参数、光照参数和纹理计算二维渲染损失;通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失;生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力,而且重建的三维人体网格带有纹理信息。

基于DirtNet与惯性测量单元的人体姿态估计

仅使用少量的惯性测量单元(IMU, Inertial Measurement Unit)进行人体姿态估计是一种非侵入性且经济的人体姿态估计方法,该方法主要面临的挑战是从带有噪声的IMU信号中精确估计人体姿态。为此,对人体姿态估计问题提出了一种仅使用6个IMU精确估计人体姿态的方法。1) 提出了一种双重信息保留注意力Transformer网络(DirtNet, Dual information retention transformer Network),它能够有效保留历史信息并通过注意整个序列的信息来获得更好的结果。2) 通过对加速度进行积分了获得了近似变化速度,并将其作为额外的输入通道以提高了人体姿态估计的精确度。3) 使用均匀滤波过滤和白噪声模拟的方法对合成的加速度进行了数据增强,以此来拟合真实的IMU数据并得到更好的训练结果。与之前的研究相比,改进后的方法有效提高了姿态估计的精确度。

基于实时视频流的3D人体姿势和形状估计

为满足元宇宙、游戏及虚拟现实等应用场景中对实时视频流3D人体姿势和形状估计准确性和真实性的要求,提出了一种基于时间注意力机制的3D人体姿势和形状估计方法。首先,提取图像特征,并将其输入运动连续注意力模块以更好地校准需要注意的时间序列范围;随后,使用实时特征注意力集成模块以有效地组合当前帧与过去帧的特征表示;最后,通过人体参数回归网络得到最终结果,并使用基于图卷积的生成对抗网络判断模型是否来自真实的人体运动数据。相较于之前基于实时视频流的方法,在主流数据集上加速度误差平均减少了30%的同时,网络参数与计算量减少了65%,在实际测试中实现了每秒55~60帧的3D人体姿态和形状估计速度,为元宇宙、游戏及虚拟现实等应用场景提供更好的用户体验和更高的应用价值。

基于单-多视图优化的足球球员三维姿态和体型估计

足球比赛场景的三维重建有助于观众自由切换视角,增加了互动性和沉浸感。针对足球比赛场景中的足球球员,提出一种三维姿态和体型估计方法。对球员的多视图图像使用训练好的部分注意力回归的三维人体估计(PARE)模型生成初始的三维姿态和体型估计,并使用人工标注的二维关节点作为优化目标。单-多视图优化操作利用蒙皮多人线性模型(SMPL)和正交投影的可微性,将球员的三维姿态和体型参数映射到二维关节点,计算其与人工标注之间的差异,再使用神经网络的反向传播算法更新三维姿态和体型参数,持续这些过程直到差异最小化。在自建的足球球员多视图数据集上的实验结果表明,该方法能够有效估计足球球员的三维姿态和体型,与人体网格恢复、在循环中优化SMPL、PARE等方法相比,二维关节点精度在单视图上提高了9.2%~37.5%,在多视图交叉验证中提高了34.9%~54.1%。

一种基于Involution卷积的三维人体重建方法

针对从视频中恢复三维人体模型运动序列时,由于图像特征提取能力有限而导致三维人体模型运动序列重建效果不佳的问题,提出了一种基于Involution卷积的三维人体重建方法。首先为了引入自注意力机制,在ResNet50网络结构中加入Involution算子,获取视频图像帧的特征向量,然后使用姿态估计网络和形状估计网络获取人体姿势以及形状参数,最后使用蒙皮多人线性模型(skinned multi-person linear model, SMPL)生成三维人体模型的运动序列。在三维姿态户外数据集(3D pose in the wild, 3DPW)上与视频人体姿态形状估计推理(video inference for body pose and shape estimation, VIBE)方法以及时间一致性网格恢复(temporally consistent mesh recovery, TCMR)方法进行对比实验,平均精度相比于VIBE、TCMR分别提升了3.1%、0.7%,能够为运动捕捉、三维人体动画制作等工作提供更为准确的三维人体模型。

基于单张图像的人体准确姿势3D重建研究

为了解决单张图像人体重建时存在部分姿势不准确,模型精确度不足的问题,提出了基于单张图像进行人体准确姿势3D重建的方法。首先,提取图像特征,并将特征与SMPL基础模板信息相融合,通过图卷积网络将2D图像映射为3D人体表面;其次,将参数化SMPL模型所表达的3D人体投影到2D平面,通过投影后的3D信息与输入图像的2D信息相匹配,实现体型与姿势的估计;然后,使用生成对抗网络判断模型数据是否来自未配对数据的真实人体网格数据;最后,使用多种损失函数共同训练,生成最终生成器模型。使用Human 3.6M测试时与SMPLify, NBF,Rogez等算法进行了对比,姿势估计准确度有所提升。

基于二维图像的参数化人体建模

为解决现有基于二维图像的三维人体建模容易出现误差、模型参数估计不准确等问题,结合深度学习和优化后的人体建模算法,并利用深度学习算法提供的结果作为先验,缓解优化算法对参数初始值敏感的问题,以实现针对单帧RGB图像和多帧RGB图像的三维人体建模。同时基于HMR深度学习模型预测SMPL-X模型的初始参数,通过添加人体轮廓、二维关键点等对模型参数进一步优化求解,并利用视频序列的帧间连贯性对视频帧中人物的三维姿态进行约束。结果表明:添加人体分割轮廓约束可使重建模型更加贴合人体,能够提升模型拟合的精度;基于视频序列帧间连贯性重建的人体模型,可减少身体旋转、四肢弯曲等误差出现的可能性,与目标对象姿态更加相近。

基于单视角图像的人体三维重建研究

为了使得人体三维建模技术不受高昂仪器费用所限制,可以被更多的普通用户所接受,提出了一种基于单视角图像的人体三维模型重建的方法。该方法通过结合参数化结构的表达,并在此基础上引入了人体法向图和基于骨架的结构先验作为先验信息,在基于隐式函数的方法上进行改进得到一种基于全先验信息的重建方法。在相同数据集上将本方法与PIFu、PIFuHD、PaMIR、ICON选取了三个评价标准进行多次对比试验,其中真实模型与预测模型间的距离平均下降约40%,法向一致性平均提升约4%。实验结果表明,利用改进算法进行人体三维模型重建,能够提高重建模型的准确性和细节丰富度。

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络(HRNet)和图卷积网络(GCN)的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型(SMPL)的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。

主存储器访问调度技术研究

论述了主存储器访问操作中的bank预充电、row激活、column读写的访问调度技术。通过该技术可以缩短主存储器访问时间,从而达到提高主存储器带宽的目的。同时,为研究和评价这种主存储器访问调度策略的性能给出了一种建立仿真实验环境的思路。

基于全连接神经网络的三维人体姿态估计

人体姿态估计是计算机视觉领域的重要分支,在实践中有广泛应用,例如:智能交通、安防监控、影视娱乐、司法分析等。现有的三维人体姿态估计算法大多来源于二维人体姿态估计算法的扩展,其识别结果是以三维关节点、线的形式来体现,无法展示更多的人体细节信息,且表达形式比较抽象,难于理解。为解决这个问题,本文引入了参数化人体模型(SMPL),该模型可以实体化的展示三维人体姿态。本文通过二维图像预测人体的三维姿态,该过程分为3个阶段,首先从多角度二维图像中预测人体关节点的二维坐标,然后基于全连接神经网络实现二维关节点到SMPL模型参数的映射,最后根据这些参数构建三维SMPL模型,以展示三维人体姿态。实验表明,本文通过从图像中提取二维关节点坐标,并以此为全连接神经网络的输入,可以快速、准确的估计出人体三维姿态。相比从二维图像直接估计三维人体姿态的方法,本文的模型降低了训练参数,简化了网络结构,加快了模型训练的速度,节约了训练成本。

一种现场总线网络非循环带宽分配优化算法及性能分析

研究现场总线数据链路层协议,提出一种网络性能更优化的非循环带宽分配算法,并通过Smpl仿真软件测量算法的网络性能参数。仿真结果不仅证明了算法的优越性,并且为网络设计工作提供了指导性的参考数据。

利用单目图像重建人体三维模型

人体三维模型在科幻电影、网上购物的模拟试衣等方面有广泛的应用场景,但是在单目图像重建中存在三维信息缺失、重建模型不具有贴合的三维表面等问题。为了解决上述的问题,笔者提出基于SMPL模型的人体三维模型重建算法。该算法先预估人物的二维关节点,使用SMPL模型关节与预估的二维关节相匹配,最后利用人体三维模型数据库的姿势信息对重建的人体模型进行姿势先验,使得重建模型具有合理的姿态与形状。实验结果表明,该算法能有效预估人体关节的三维位置,且能重建与图像人物姿势、形态相似的人体三维模型。

基于改进分段铰链变换的人体重建技术

目前,基于单帧图像的人体建模还不能有效地处理手臂、衣服等对身体部位的遮挡,以及因视角带来的自我身体遮挡等复杂的遮挡问题。为此,利用SMPL模型骨骼关节分布特点,提出改进传统分段铰链变换模型的人体重建方法。该方法运用骨骼关节的精确标注确定模型变换的节点,结合图像轮廓边界约束图,提出前向分段回归概率期望最小化(FPR-PEM)的柔性配准方法。通过迭代模型对变形关节处结合薄板样条进行线性插值,保证模型表面点云形状的独立性,有效地注册各种姿势下的非刚性变形模型,较好地解决了复杂遮挡带来的重建挑战,并进行模型姿态回归调整,实现准确的人体建模。实验结果表明,方法可以有效实现精细和平滑模型的人体表面重建。

基于多人图像的三维人体重建算法研究

针对目前多人图像三维人体重建姿态失准、模型精确度低的问题,提出一种基于单张多人图像的三维人体重建算法,算法首先对图片进行特征提取生成多个人体框架得到人体区域图,接着对所得到人体图像的体型姿态参数进行进一步提取,将得到的人体参数与SMPL模型相结合后生成三维人体模型,再将三维投影至二维与图像的二维关节点进行比对利用卷积神经网络回归,最后利用生成对抗网络对模型进行判别与损失回归得到合适的生成器模型,完成整体设计。设计使用Human3.6M与MPII数据集进行测试,与cmr、smplify等算法进行对比实验,能够更准确地恢复三维人体模型,在提高了模型重建精确度的同时,模型的重建速度也得到提升。

轻量化人体和手部网格重建

三维人体网格重建在影视、虚拟现实等下游任务中有广泛应用。然而现有重建方式关注更好的重建精度和纹理表达,也因此更依赖高性能的计算或采集设备,缺乏对低成本、轻量化重建方式的研究。为降低人体重建任务的使用成本和硬件要求,本文提出了一种轻量化的人体和手部网格重建方式,基于参数化模型对身体和手部重建任务进行解耦,针对身体和手部的不同特点分别设计了不同分支网络。身体重建分支和手部重建分支均为编码器-解码器结构。身体重建分支编码器为双阶段编码器,第一阶段通过Litehrnet和Canny算子获得热点图和边缘图,并对图片进行代理表示,第二阶段通过Shufflenet提取全局特征,解码器通过级联低维度多层感知器以概率分布的方式对人体参数进行回归;手部重建分支的编码器以Litehrnet为主干网络获取多分辨率特征分支,通过姿态池化对多分辨率特征分支进行融合得到全局特征,解码器通过深度可分离卷积网络获得手部顶点,并通过MLP对形状进行估计,利用顶点坐标基于逆向拓扑数学求解得到关节旋转参数。与现有方法相比,参数量和计算量显著减少,整体参数量为6.12M,计算量为433M,且具有较好的重建效果,在Human3.6M数据集中平均关节点误差(MPJPE)为86.7 mm,手部重建分支在FreiHand数据集上对齐后平均关节点误差(PA-MPJPE)为10.8 mm。此外该方法完成了在移动设备的推理,在骁龙8Gen3处理器推理速度为79.7 ms(12.5 fps),可以达到实时推理的效果。