基于图像Warping的空洞填补方法

1 引言 Warping是一种基于图像的绘制方法(Image-Based Rendering,IBR).IBR是近几年来出现的一种新的真实感绘制方法,受到了计算机图形学界研究人员的普遍关注.IBR是通过一组预先获得的图像,根据不同的视点,来产生新的场景画面.与传统的绘制技术相比,IBR具有不需要建立三维模型,图形绘制独立于场景复杂度,既可以使用计算机生成的图像,也可以用实拍的相片,对工作平台的要求较低等优点.

基于动态自适应空洞填补策略的快速消隐算法

给出了一个新的基于动态自适应层次屏幕空洞填补策略的快速消隐算法 .算法首先对场景进行均匀剖分 ,记录位于每个景物节点中的面片 ,并初始化屏幕空洞 .在绘制时 ,从视点出发 ,通过视域四棱锥快速查询得到可能可见景物节点 ,进而根据空洞大小及其深度值确定面片数目的阈值 ,动态自适应地得到远裁剪面 ,然后用硬件Z- buffer的方法进行绘制 ,并在屏幕四叉树缓冲器中检测出层次空洞 ,插入到空洞列表中 .不断重复上述过程 ,直到远裁剪面到达给定的场景远裁剪面或屏幕上已无空洞为止 .实验结果表明 ,本算法能自动实现不同可见面的联合消隐 。

基于高阶贝塞尔函数预测的路由空洞填补算法

提出一种基于高阶贝塞尔函数预测控制的路由空洞填补算法,进行移动网络电磁波通信路由协议设计,设计高阶贝塞尔函数特性及预测控制技术,采用高阶贝塞尔函数预测控制技术,通过移动网络电磁波通信网进行信息传输,产生不同的层次分类属性,实现对空洞填补算法改进。实验结果表明,算法能使路由空洞空间支路减少,边缘空间增益得到有效控制,降低误码率,提高移动网络电磁波通信系统的通信性能。

基于径向基函数神经网络的机载LiDAR点云空洞填补方法

机载LiDAR技术为地表三维数据的获取和DEM、DSM的构建提供了有利的条件.由于建筑物和植被遮挡等原因,造成了点云的缺失,形成区域的空洞,给地表建模带来不便,需要对LiDAR点云数据进行插值处理以修复缺失的数据.对径向基函数(RBF)神经网络构建插值模型进行了研究,利用该模型对点云中缺失的空洞区域进行修复.通过利用一部分采样点对RBF神经网络进行学习训练,得到模型中参数的具体值,然后利用这些参数值对空洞区进行插值.实验验证了RBF神经网络模型的有效性及插值精度.

一种基于三角网格模型的空洞填补方法

为解决三角网格模型的空洞填补问题,提出一种识别、提取、分离空洞边缘的方法流程,并且利用一种改进的三维多边形三角化算法进行空洞填补。首先,根据网格模型空洞边缘的固有性质,对网格模型的边界边进行提取;然后,对提取的边界边集合进行包括孤立点、非封闭边等异常值的消除;再利用空洞边缘封闭的性质单独分离每个空洞边缘;最后,利用一种改进的三维多边形三角化算法对每个分离出来的空洞边缘进行填补。与通常的空洞填补算法相比,所提出的方法具有更好的鲁棒性,能够处理更复杂更大的空洞边缘和三角网格模型,并且能够最大限度地保持原型,同时对空洞有较平滑的填补效果,在恢复医学三维模型以及数字三维扫描模型的完整性中有很好的应用。

基于空洞填补的虚拟视点绘制

在虚拟视点绘制过程中,参考视点中被前景物体遮挡的区域在虚拟视点中会变得可见,该区域由于缺少图像信息容易产生空洞。为此,提出一种基于背景识别的空洞填补算法。采用局部阈值分割与加权平均的结构张量,改进优先级计算的方法,利用深度图与最大化类间方差算法,给出新的源空间识别方法,以解决相对背景的识别问题。实验结果表明,与基于样本的图像修复算法及其改进算法相比,该算法可以较好地解决空洞问题,并完成虚拟视点绘制。

基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。

基于无空洞填补的DIBR方法

针对传统DIBR空洞填补技术计算时间复杂度高的问题,提出一种无空洞填补的DIBR方法。核心思想是针对导致空洞产生的传统三维变换算法进行改进以获得更好效果。该方法首先采用深度膨胀算法对深度预处理,然后基于动态逆向插值算法的3D-WARPING直接生成虚拟视点图像,从而省去了空洞填补时间消耗。实验证明,相比传统DIBR方法,该方法重构的虚拟视点图像主观视觉质量更高;同时计算速度达到高清实时处理要求。

基于背景提取和分区修复的DIBR空洞填补方法

针对基于深度图的视点绘制中空洞填补时产生的图像失真问题,提出一种还原空洞区域可靠纹理的空洞填补方法。通过从临近的帧画面中提取有效信息还原真实的背景图像,用于新视点中背景区域的空洞填补。并通过区分前景和背景图像区域,对不同区域的空洞采取不同的填充方法,从而获得较为可靠和真实的填补效果。从实验结果来看,该方法获得的PSNR数据优于其他算法,并且与真实视点比较的结构相似度达到99.1%,比传统方法提高10%以上。

图像空洞填补算法及其FPGA硬件实现

文章提出了一种有效的空洞填补算法,该算法首先通过深度梯度过渡减少前景与后景的边界空洞,然后根据空洞与周围像素远近关系设置不同填补权值并进行空洞填补;同时算法依据填补像素中不同的空洞数量给出不同填补方法。仿真结果表明,目标视图的峰值信噪比与均方误差分别达到38.64 dB和8.90,能够有效地消除目标视图中的空洞。运用Quartus Ⅱ软件,对该算法进行现场可编程门阵列(field programmable gate array,FPGA)硬件实现及测试;结果表明,该算法在硬件实现上也能够有效填补图像中的空洞。

一种预处理后分类填补空洞的方法

深度图像绘制(depth-image-based rendering,DIBR)技术是目前解决3D显示中片源短缺问题普遍采用的方法,但采用DIBR技术绘制的目标图像上不可避免地会产生空洞点。为了获取更高质量的目标图像,文章提出一种预处理后分类填补的空洞点解决方案。该方案在预处理阶段,先对滤波后的深度图进行前景向后景的梯度过渡,经过DIBR变换之后得到的目标图像上空洞点会减少且更为分散;在空洞填补阶段,先对目标图像上的空洞点进行标记,对非边界的大小空洞点自动匹配不同的插值模板进行插值填补,对边界位置的大空洞点则用参考图像上相应位置像素点进行填补。实验结果表明,该方案能够较好地填补梯度过渡后目标图像上的空洞点,填补结果准确且算法简单,填补耗时短。

一种分形模型的机载InSAR DEM空洞填补方法

针对如何提高机载InSAR DEM空洞填补精度和DEM对地形细节描述的难题,该文对分形模拟的中点位移插值函数做了改进。首先,提出了动态分形参数提取思路,根据选定的窗口动态提取局部分形参数,使提取的分形参数局部精度显著提高。其次,提出了分形曲面中心内插法,以正方形为图像基元,将两点信息扩展到8点信息来充分显示局部变化的细节信息;考虑到对采样点点数和位置的要求,结合距离加权平均法来弥补周围不够8点的特殊情况。最后,以国产机载X波段全极化InSAR影像提取的DEM为数据源进行了实验。实验结果表明,相比传统的中点分形内插法,该方法不仅能有效提高空洞填补精度,且能更好地描述地形的细节信息。

基于卷积神经网络的虚拟视点空洞填补

为了提高虚拟视点绘制中空洞填补的质量,本文提出一种基于卷积神经网络的虚拟视点空洞填补算法,包括图像预处理、特征提取和空洞填补三部分。首先,对双视点虚拟视点图像进行预处理,即利用深度图像绘制(Depth Image Based Rendering,DIBR)技术得到空洞填补前的图像和空洞掩膜;然后,通过卷积神经网络对虚拟视点图像提取多维特征,针对空洞区域,使用结构相似性损失函数优化网络;最后,利用提取的特征填补虚拟视点中的空洞。实验结果表明,本文算法能较好地保持虚拟视点图像前景和背景的锐利边缘,主观视觉感知效果佳,同时,对不同场景测试序列的客观评价指标PSNR和SSIM都能取得满意结果,该方法能有效地填补虚拟视点中的空洞。

基于逆向映射的空洞填补方法

为了有效填补虚拟视点图像中的公共空洞,提出了一种基于逆向映射的空洞填补方法。首先利用深度图像绘制(DIBR)技术将左、右参考视点映射到虚拟视点位置,利用图像膨胀方法将映射的虚拟视图中的空洞区域进行扩大,以消除虚拟视点图像中的伪影瑕疵;然后,提取出膨胀后空洞区域的边界,并将其逆映射到原始的参考图像中,根据空洞与边界的相对位置,选取原始图像中相对位置上的像素来填充虚拟视图中的空洞区域;最后,将空洞填补之后的左、右视点映射的虚拟视图进行融合获得最终的虚拟视图。实验证明,本文方法有效解决了传统空洞填补方法容易将前景像素填充到背景区域的问题,能够获得较好的视觉观看效果和较高的客观峰值信噪比(PSNR)值。

结合全景影像的车载点云空洞修复方法研究

针对单一利用点云数据修复空洞而缺乏真实性的问题,提出了一种结合全景影像的车载点云空洞修复方法。该方法首先探讨了基于全景球共线方程的车载点云与全景影像精配准,然后构建了三角格网提取点云空洞范围,针对全景影像变形问题,采用了球面透视模型进行纠正,最后研究了基于SIFT算法的区域种子点密集增长算法,利用前方交会法生成填补点云。实验表明,该方法生成的填补点云具有真实性和完整性,将填补点云与原始点云融合,实现了车载点云空洞修复。

基于位姿状态的激光雷达点云帧间编码方法

激光雷达动态获取点云压缩在智能驾驶领域具有重要应用。为了应对点云序列时域冗余问题,本文设计了基于位姿状态的激光雷达点云帧间编码方法。在动态获取点云场景中,点云在三维空间上分布广泛且稀疏。对此,将其映射到二维距离图上。并在此基础上,结合激光雷达位姿关系,提出了一种高效的帧间预测编码方法,以消除时域冗余。由于三维物体遮挡的原因,激光雷达运动时易导致预测距离图产生空洞现象,影响预测编码性能。采用空洞填补方法可提高算法预测精度,并对预测残差进行量化和压缩。实验结果表明,相较于G-PCC等编码方法,所提出的方法在编码性能方面表现更为优越。

基于手持式深度相机的包裹体积测量方法

包裹体积测量是物流计费的重要环节.针对快递网点和快递员上门收件等场景中对包裹体积现场快速测量的需求,提出一种基于RGB-D(red green blue-depth)相机的手持式包裹体积测量方法.首先,使用RGB-D相机获得场景初始点云,对初始点云预处理后得到包裹点云,并提取包裹的两个特征平面.其次,对点云平面进行坐标变换,针对坐标变换后点云数据的非均匀性问题,采用基于八叉树的体素滤波算法对点云进行下采样及初步均匀化处理,并提出一种点云空洞填补算法修复体素滤波后点云中的空洞,从而得到两组分布均匀的包裹特征平面点云.最后,利用两组特征平面点云的坐标求取包裹体积.实验结果表明:测量结果的重复性相对误差小于1.6%,在不大于80 cm的拍摄距离内体积测量相对误差小于3.2%,满足物流现场高精度、低成本测量的需求.

基于无人机影像深度学习算法的植被识别与DEM生成方法研究

无人机搭载光学相机进行地形图生产已广泛应用于电力工程的勘察阶段。然而,采用此方式生成的DSM包含植被高度信息,难以直接进行地形图生产,需要大量的内业修图工作以去除植被影响。利用无人机搭载光学相机生成DOM和DSM,引入U-Net语义分割算法,通过算法改进,实现植被的快速识别。进而,利用识别得到的植被区域对DSM进行掩膜,生成带空洞的DEM,采用局部构建不规则三角网的方法进行DEM生成,最终得到去除植被影响的DEM产品。经验证,植被识别精度达到95.96%,交并比达到91.55%。该方法不改变非植被区的高程,植被区高程数据填补仅依赖于周边高程值,减少内业修图工作量,提高地形图生产效率。

基于深度图像和半像素的虚拟视点绘制

为提高虚拟视点图像的绘制精度,提出了一种基于深度图像和半像素的虚拟视点绘制方法。该方法首先对参考图像进行预处理,包括图像的半像素处理和亮度校正,然后利用正向3D图像映射获得虚拟视点的图像和深度信息,再利用逆向3D图像映射填补由深度信息不准确等因素产生的部分空洞,并根据深度信息擦除背景伪影,最后根据空洞类型的不同采用不同的方法进行空洞填补。实验结果证明,利用该方法可以绘制出令人满意的虚拟视点图像。

一种基于深度图的三维/多视点视频视点合成方法

基于深度图的视点合成技术已成为国际视频技术研究的热点之一。本文实现的基于深度图的三维/多视点视频视点合成算法,在点对点的三维变换的基础上增加了深度图预处理、去像素重叠、基于空间对象的插值等优化,此外试图针对不同的应用场合,对变换图像进行不同的空洞填补方法。实验结果表明,本方法最后合成的视点图像具有良好的视觉效果。