基于单视图的带纹理三维人体网格参数化重建

针对计算机视觉中的三维人体重建问题,文章提出一种端到端的的网络框架,在三维和二维混合监督下,从单幅彩色图像重建带纹理信息的精准三维人体网格。使用4个编码器分别提取形状姿态特征、纹理特征、光照参数和像机参数,得到的图像特征被送入三维回归模块,迭代推断出三维人体参数;纹理参数送入纹理解码器网络得到纹理图;学习到的人体参数可转化为三维人体网格;对于损失函数的设置,预测的人体网格顶点与真实顶点的差值用来进行三维监督;通过预测的像机参数、光照参数和纹理计算二维渲染损失;通过三维关节投射得到的二维关节与图像上的二维关节真值计算二维关节重投影损失;生成对抗网络的鉴别器使得渲染图像更加真实。该文方法与现有的三维人体重建方法相比具有竞争力,而且重建的三维人体网格带有纹理信息。

基于深度扫描仪的高辨识度三维人体模型重建方法

3D照相打印馆人像的打印质量取决于3D扫描获得的三维人体模型的辨识度。然而,由于现有3D人体扫描仪价格昂贵、操作复杂等原因,使得3D人像打印成本高、耗时长和打印精度较低。针对这些缺点提出一种基于深度扫描仪重建高辨识度三维人体模型方法。利用多组深度扫描仪分工协作、优势互补,分别获取高辨识度的人体面部五官点云数据,上半身与全身表面轮廓点云数据。然后,通过引入特征点和改进的最近点迭代法将采集到的三组点云数据进行对齐、替换、拼接,将拼接后的无拓扑关系的点云数据进行曲面重构即可获得高辨识度的三维人体模型。该方法的扫描时间较短,以较低的成本构建了具有高辨识度的三维人像模型。

基于参数模型和法线推理的单视图三维人体隐式重建

为了克服单视图三维人体重建中出现的伪影及肢体残缺现象,提出了一种基于参数模型和法线推理的三维人体隐式重建算法(Parametric⁃Model and Normal Inference,PMNI),该方法能够从单一RGB图像重建出包含服装的三维人体。网络的输入仅为一张包含人物全身的RGB图像,首先基于图卷积神经网络预测对应的SMPL参数模型,接着基于条件GAN(Generative Adversarial Networks)网络生成人物的后视图像,并分别从前后视图中提取法线特征,最后将它们作为深度隐式函数的额外参数辅助训练。实验结果表明,相较于传统方法,该方法有效提升了重建结果的整体质量和表面细节。得益于参数体和法线作为先验,该方法也可以很好地处理一些复杂人体姿态。

基于深度学习人体三维模型重建的人体参数识别

文章对服装行业个性化市场带来的人体参数测量问题进行了研究,利用二维图像重构人体三维模型,解决了激光3D扫描仪、深度摄像头矩阵设备巨大与操作难度较大的问题。开创性地提出了利用相似度对比神经网络对人体三维模型2D平二维形状描述子与二维采集人体轮廓对比的方法得出相应具体人体类灰度图像,利用类灰度图像通过三维模型重建网络重构人体三维模型的多级神经网络。

人体腹腔器官的三维重建与形变切割仿真

通过将传统面模型转换为体模型的方法,实现了包含肝脏、胃、结肠和胆囊等多个器官的人体腹腔结构的形变、切割与碰撞仿真。首先,以生理学腹腔解剖结构为依据对腹腔内各器官进行三维模型重建;然后,根据腹腔内各器官的生理位置和悬挂方式确定三维模型之间的相对位置,并设置合理的边界约束条件,将三维模型转换为基于体素的体模型;最后对体模型赋予生物力学性质并进行仿真。实验结果表明,该方法能够在保证仿真帧数较稳定的同时产生真实合理的形变、切割和碰撞仿真效果,并且在包含多个器官的情况下依然可以满足视觉实时性要求。

基于二值图像的三维人体模型重建

为了能够基于最小的图片输入快速地重建三维人体模型,提出了一种输入人体轮廓二值图像对三维人体模型进行精准重建的新方法。这种对三维人体模型进行重建的方法首先通过主成分分析法对人体进行编码得到了人体的低维形状描述子,随后构建了一个新的深度卷积神经网络,其拥有2个分支,分别用于提取人体正视图与人体侧视图的相关特征;将分支特征融合后,通过联合训练,可以学习到一个从输入到形状描述子的全局映射;最终对形状描述子进行解码得到点云数据,完成了对三维人体模型的重建。结果表明:该方法与现有的基于图像的三维人体模型重建技术相比,在精度上提高了1.07%,并证明了多视角的预测结果优于单视角预测结果。权重共享网络的预测结果优于权重不共享网络的预测结果。

利用单目图像重建人体三维模型

人体三维模型在科幻电影、网上购物的模拟试衣等方面有广泛的应用场景,但是在单目图像重建中存在三维信息缺失、重建模型不具有贴合的三维表面等问题。为了解决上述的问题,笔者提出基于SMPL模型的人体三维模型重建算法。该算法先预估人物的二维关节点,使用SMPL模型关节与预估的二维关节相匹配,最后利用人体三维模型数据库的姿势信息对重建的人体模型进行姿势先验,使得重建模型具有合理的姿态与形状。实验结果表明,该算法能有效预估人体关节的三维位置,且能重建与图像人物姿势、形态相似的人体三维模型。

基于Kinect的三维人体扫描、重建及测量技术的研究

利用微软公司推出的深度相机Kinect对人体进行扫描,获取人体深度数据,进一步构建人体表面点云数据;再运用Pro/E软件对点云数据进行人体模型重建,最后对人体表面特征数据进行测量.结果表明:与传统的3D扫描仪相比,Kinect能在视频速率下获得深度图像数据并且不用过分考虑光线和纹理环境.

基于多幅图像的低成本三维人体重建

提出一种基于多幅图像的低成本的重建目标三维人体模型的方法。首先建立每幅图像上特征点与原始模型特征点之间的对应关系,然后使用基于径向基函数方法对原始模型进行变形从而获得目标模型并对目标模型应用三种过滤器进行局部修复,最后使用视角无关的方法实现纹理映射和基于顶点混合的方法实现皮肤骨骼运动系统。实验结果表明该方法精度高,实用快捷且成本低廉。

基于单视频图像序列的人体三维姿态重建

提出了至少存在一个深度值已知点的约束条件下,基于单视频图像序列重建人体三维姿态的方法。利用已知间距的平面点阵来标定获得摄像机参数,在透视投影模型下,根据单视频图像序列中人体关节点的二维数据,重建其三维信息。并将人体运动序列按照运动突变点划分为若干子序列,有效消除了二义性的干扰,较为精确的实现了人体三维姿态的重建。给出了该方法的实验过程及计算结果,验证了该算法的可行性和精度。

基于视频序列的人体三维重建

计算机视觉在当今信息社会下拥有众多的应用场景,被利用在很多领域中,如军事、安保和医疗等。其中三维重建的研究在计算机视觉的领域中占有极高的位置。本文立足于视频序列,提出了一种人体三维重建方法。该方法对若干段视频序列进行一系列的处理和加工,包括相机追踪、深度恢复等三维重建基本操作,最终可以得到一个人体三维模型。此外,我们提出了一种能够让各序列之间相似变换求解的有效程度得到保证的方法,即基于RANSAC的迭代分层式求解方法。针对纹理不丰富的区域深度恢复质量不高的情况,在深度恢复时,我们采用模版约束的方法来解决这个问题。本文还采用了一种新的方法用于模版对其过程,即通过人体模型的主成分分解来对齐主方向。结果表明,基于以上各种方法的人体三维重建方法可以获得较为理想的的人体模型。

影子辅助的三维人体重建

光线投射至地面的人体影子可以为人体重建任务提供约束信息,有助于缓解单目图像中的深度歧义问题和自遮挡问题.为了重建三维人体模型,提出一种基于影子输入和深度神经网络的重建方法.首先搭建2个独立的卷积神经网络模块用于提取图像特征和影子特征,并估计对应的人体模型参数;然后建立一个可导投影算子(differentiable projection operator,DPO)对齐2个网络的输出;最后将DPO构建的损失函数应用于微调神经网络和直接优化输出.在Human3.6M合成影子数据集上的实验结果表明,与基线方法相比,微调神经网络的关节误差指标下降了1.4~4.9 mm;在自采集的一个含真实影子的3人2视角小规模数据集上的定性实验结果表明,直接优化的人体姿态更加接近原始图像.

基于多监督的三维人体姿势与形状预测

三维人体重建技术指通过图像或视频建立有相应姿势和体型的三维人体模型,其在虚拟现实(VR)、网游、虚拟试衣等方面有着十分广泛的应用前景.其中,参数化的三维人体模型由于参数数量的局限,重建精度较低,缺少细节特征.为了提升参数化三维人体模型的重建精度,增加其脸部与手部细节,提出一种基于多监督的三维人体模型重建方法.该方法结合传统的回归方法和优化方法,利用卷积神经网络回归出参数化人体模型的参数,得到一个较为粗糙的人体模型,将该模型作为初始模板进行拟合和迭代优化,将带有脸部和手部的全身密集关节点信息和轮廓信息作为回归网络的2D监督,同时使用迭代优化后的人体模型作为回归网络的3D监督,最终可由一幅图像获得一个多细节、高精度的参数化三维人体模型.定性分析结果表明,该方法为人体拟合过程提供正确的拟合方向,可有效减少非自然姿势的出现,提高三维人体模型重建的准确度.全身密集关节点监督可为模型增加更多手部与脸部的细节,而轮廓监督可减少重建的人体模型与图像中人体的像素级偏差.定量分析表明,该方法在数据集Human3.6M上的平均逐关节位置误差(MPJPE)为59.9 mm,较经典方法SPIN减少了4.16%,对关节点进行刚性对齐后模型的平均逐关节位置误差(MPJPE-PA)低至38.2 mm,较SPIN减少了7.06%.

基于RGB-D相机数据的人体三维重建系统

关于利用RGB-D相机对人体进行三维重建的问题,设计人体三维重建系统,利用连续拍摄多帧的RGB-D图像进行高质量人体三维重建。系统前端提取RGB图像特征点并结合特征点的深度值,通过最小化重投影误差求解相机的运动轨迹,结合深度图像和RGB图像通过融合数据获取初始模型;系统后端构建光照模型,利用RGB图像和模型的亮度变化连续性对人体几何结构提供约束,优化初始模型。算法与主流实时三维重建算法ElasticFusion、BundleFusion作对比分析,表明该文重建算法在人体模型的纹理几何结构恢复方面有比较好的提升。

单视角图片的三维人体重建优化方法

为解决现有基于单视角图片重建算法存在的细节姿态处理不佳、误差较大的问题,文章结合三维人体模型,从图像中提取多个二维特征点以优化的方式实现三维人体重建。通过提取多个二维头部特征点实现头部姿态的重建,并采用基于回归的方法代替由局部关节特征计算投影参数的方法,提高算法对不同姿态的适应能力。在MPI-INF-3DHP、LSP公开数据集上的结果表明,方法能够适应多种人体姿态,并且对细节姿态的重建效果较好,重建误差有所降低。

基于单视角图像的人体三维重建研究

为了使得人体三维建模技术不受高昂仪器费用所限制,可以被更多的普通用户所接受,提出了一种基于单视角图像的人体三维模型重建的方法。该方法通过结合参数化结构的表达,并在此基础上引入了人体法向图和基于骨架的结构先验作为先验信息,在基于隐式函数的方法上进行改进得到一种基于全先验信息的重建方法。在相同数据集上将本方法与PIFu、PIFuHD、PaMIR、ICON选取了三个评价标准进行多次对比试验,其中真实模型与预测模型间的距离平均下降约40%,法向一致性平均提升约4%。实验结果表明,利用改进算法进行人体三维模型重建,能够提高重建模型的准确性和细节丰富度。

虚拟现实技术在口腔颌面部解剖及三维数字模型构建中的应用

背景:随着医学技术、计算机图像技术的高速发展以及计算机辅助临床教学的迫切需要,虚拟现实技术在医疗等领域的应用引起了众多学者的关注。目的:总结虚拟现实技术在口腔颌面解剖中的应用,为口腔医学临床和科研提供更好的研究方法,为建立口腔颌面解剖数字资源库并使其信息化、网络化奠定基础。方法:由第一作者应用计算机检索Pub Med数据库及中国学术期刊网全文数据库2004年1月至2014年12月有关虚拟现实技术在口腔颌面解剖应用方面的文章,英文检索词为"Tissue engineering,Virtual reality,Oral and maxillofacial anatomy,Digital,3D reconstruction,Multimedia,Teeth,Skull",中文检索词为"组织工程,虚拟现实,口腔颌面解剖,数字化,三维重建,牙体,颅骨"。排除重复性研究,共保留52篇文献进行综述。结果与结论:虚拟现实技术在口腔颌面解剖中的应用主要包括三维数字化模型和数字化的虚拟人体数据库。专门用于医学三维重建的软件包括3D-Doctor和Minics等,支持的原始数据来源包括连续断层解剖图像、各种影像数据和三维扫描数据等。多种虚拟现实技术均可以成功的再现牙体、牙列及口腔颌面部的解剖结构,为构建口腔医学临床和教学的虚拟现实模型平台奠定了基础。

耳三维重建及虚拟内窥镜

目的 建立人体耳部可视化数字模型 ,探索虚拟耳内窥镜在内耳解剖研究中的作用。方法 应用首例中国数字化可视人体数据集 ,在SGI工作站上对耳部重要结构进行计算机三维重建及立体显示 ,并模仿耳内窥镜对中耳、内耳等结构进行观察。结果 成功获得耳部可视化模型 ,应用虚拟内窥镜可清楚显示中耳及内耳结构三维形态。结论 虚拟耳内窥镜观察有助于分析阐明耳内部结构的三维空间毗邻关系 ,可为耳部疾病的影像诊断及耳神经外科手术提供形态学资料。