基于帧间一致性的自监督室内逆渲染

针对目前逆渲染监督学习方法难以获得标签、泛化能力差的问题,提出了一种基于IFC(inter-frame coherence)的自监督训练方法。由于逆渲染问题的不适定性,引入额外的反照率一致性损失和交叉渲染损失强化自监督网络,其主要思想是对连续光照变化的图像序列执行IFC约束。即通过图像帧之间的位姿图和深度图,在相邻帧之间执行图像投影和扭曲;通过这种方法在相邻帧之间建立约束,并使用孪生训练来确保对光度不变量的一致估计。该方法使用完全卷积神经网络从室内视频序列中恢复几何形状、反射率和光照。自监督网络使用没有标签的连续帧图像集合进行训练,通过结合可微分渲染器,使网络以自监督的方式进行学习。通过与其他主流方法的比较,定量和定性实验结果表明提出方法在多个基准上表现更优。

帧间一致性的八叉树可视外壳三维重建

针对动态物体三维重建计算量大的问题,提出利用帧间一致性的动态物体可视外壳重建算法。算法采用八叉树的存储结构,利用帧间一致性,判断前一帧重建的可视外壳边界体素的邻域体素状态,生成后续帧的可视外壳。相比于每次从八叉树的根节点开始判断的方法,帧间一致性算法减少了判断次数,提高了算法效率。试验结果表明,该算法有效地减少了计算量。

基于Canny优化的卡通视频分割与矢量化

矢量化的视频图像相对于光栅化的视频图像具有储存容量小、缩放不失真等诸多优点。相对于真实视频,卡通视频因色块明显、线条清晰等特点更适合于进行矢量化处理。基于卡通的特性提出了一种基于Canny边缘检测的优化分割算法。主要针对Canny边缘提取不封闭的特点进行优化,并将其用于图像分割。提出了一种算法来提取卡通动画的素材,并为卡通动画构建素材库。通过素材重用的方式大大地缩小了卡通视频的储存空间,并且很好地解决了卡通视频矢量化问题中极易产生的帧间不一致的问题。实现了一个全自动地进行卡通视频矢量化的系统,其中包括卡通视频的镜头分割、素材库的构建等过程。该系统能够适应多种卡通视频,并能对视频中的细节区域产生较好的效果。