基于软聚类的深度图增强方法

针对现有的深度获取方式存在数据缺失、分辨率低等问题,提出一种基于软聚类的深度图增强方法,称为软聚类求解器.该方法利用软聚类的强边缘保持特性提高深度图增强的精度.将软聚类仿射矩阵和加权最小二乘模型有机结合,构建了软聚类求解器中的置信加权最小二乘模型,提出了基于迭代的求解方法.为评估所提出的方法,在多项深度图增强任务上进行试验,包括深度图补洞、深度图超分辨率和深度图纠正,评价指标包含了峰值信噪比(PSNR)、结构相似度(SSIM)、均方根差(RMSE)和运行效率.结果表明:文中方法在深度图补洞任务中的平均PSNR达到了42.28,平均SSIM达到了98.83%;在深度图超分辨率、深度图纠正任务中的平均RMSE达到了8.96、 2.36.文中方法处理1张分辨率为2 048×1 024像素的图像仅需5.03 s.

深度图:数字景观中的影像空间重塑

影像数字化进程无疑是数字景观的重要领域,深度图是影像数字化进程中的技术参数,其对于数字影像空间的重塑,直指影像语言与修辞,再度谱写了数字景观中的艺术表现。在数字化进程之前,传统影像的物理空间展示主要依赖于透视法。深度图技术在数字影像中的广泛应用意味着影像不仅可以通过像素携带的位置信息还原真实的深度,还可以利用深度信息,扭曲并表现影像空间。学界首次提出深度曲线,对于影像空间的重塑有前瞻性。深度图技术对影像空间的重塑,不仅是数字景观的呈现,也对数字影像理论影响甚远。

基于彩色图像高频信息引导的深度图超分辨率重建算法研究

深度图像信息是三维场景信息的重要组成部分,然而,由于采集设备的局限性和成像环境的多样性,深度传感器获取的深度图像往往分辨率较低、高频信息较少,限制了其在各种计算机视觉任务中的进一步应用。深度图超分辨率试图提高深度图的分辨率,是一项实用而有价值的任务。同一场景下的RGB图像分辨率高,纹理信息丰富,部分深度图超分辨率算法通过引入来自同一场景下的RGB图像提供指导信息,实现了算法性能的显著提升。然而,由于RGB图像和深度图之间的模态不一致,如何充分、有效地利用RGB信息辅助深度图像进行图像超分辨率重建仍然极具挑战。为此,提出了一种基于彩色图像高频信息引导的深度图超分辨率重建算法。具体地,设计了一个高频特征提取模块来自适应地学习彩色图像中的高频信息,以指导深度图边缘的重建。另外,设计了一个特征自注意力模块来获取特征之间的全局依赖,同时提取更深层次的特征,以帮助深度图细节信息的恢复。经过跨模态融合,重组深度图像特征和彩色图像引导特征,并使用多尺度特征融合模块融合不同尺度特征之间的空间结构信息,获取包含多级感受野的重建信息。最后,通过深度重建模块,恢复相应的高分辨率深度图。公开数据集上的实验结果表明所提方法在定量和定性两方面均优于对比方法,验证了所提方法的有效性。

基于WLS滤波优化的双目视觉深度图重建

为解决双目视觉三维重建深度图边缘不连续的问题,提出基于加权最小二乘(weighted least squares,WLS)滤波的深度图优化,经双目标定、畸变矫正、立体校正、立体匹配建立三维深度图,加入WLS滤波,通过调整正则项更改约束条件,对梯度较大的区域减少约束,保留图像边缘,对梯度较小的区域平滑处理,去除噪声,采用峰值信噪比、结构相似性指数、平均绝对误差3个参数评价图像质量。评价结果表明:与半全局匹配算法相比,此算法的峰值信噪比增大1.849 dB,图像失真更少,质量更高;结构相似性指数增大0.4151,与原图结构相似性更强;平均绝对误差减小21.5422,还原度更高。重建的深度图视觉效果更好,改善立体匹配不连续的问题,减小匹配误差,使视差图质量更高。

结合深度图和红通道最小强度先验的水下图像复原

针对水下图像雾化、模糊等问题,提出结合深度图和红通道最小强度先验的水下图像复原变分方法.基于完整的水下成像模型,首先设计了一种自适应加权融合亮度、梯度及色差等信息的场景深度估计方法,计算3个通道的透射率;然后根据前向散射分量建立变分模型的数据项,对拟复原图像引入红通道最小强度先验作为变分能量方程规则项,借助图像金字塔,采用粗尺度到细尺度逐步优化策略进行模糊核估计;最后利用交替方向乘子法迭代求解,解决变分模型带来的非光滑优化问题.在UIEB数据集上进行了定性和定量实验,通过UCIQE,FADE和CPBD客观评价指标对比,结果表明,所提方法的评价结果比经典方法平均分别提升15%以上,复原后的图像具有更高的清晰度和更丰富的边缘信息.

基于多敏感度最优传输的深度图匹配方法

本文针对不同图像中关键点之间的关系匹配问题,提出一种基于多敏感度最优传输的深度图像匹配网络框架。该框架利用视觉几何群网络(VGG16)从图像中提取一阶表观特征,进而使用德洛内三角测量建立关键点二阶邻接关系图。在此基础上,采用图卷积学习关键点的特征嵌入,并引入多敏感度的最优传输进行关键点之间的结构化关系度量,以增强关键点对齐能力。该框架在计算机视觉挑战赛(Pascal VOC Keypoints)数据集取得了良好的性能。

基于自注意力网络的深度图匹配模型

现有深度图匹配模型在节点特征提取阶段常利用图卷积网络(GCN)学习节点的特征表示。然而,GCN对节点特征的学习能力有限,影响了节点特征的可区分性,造成节点的相似性度量不佳,最终导致模型的匹配精度受损。为解决这一问题,提出一种基于自注意力网络的深度图匹配模型。所提模型在节点特征提取阶段使用新的自注意力网络来学习节点特征,其原理是通过空间编码器和自注意力机制分别学习节点的空间结构以及所有节点之间的联系,从而改善节点的特征描述。此外,为了减小放松图匹配问题所带来的精度损失,将图匹配问题建模为整数线性规划问题,在图匹配问题的节点匹配基础上增加结构匹配约束,以及引入高效的组合优化求解器来计算图匹配问题的局部最优解。实验结果表明,在PASCALVOC数据集上,与PCA-GM相比,所提模型在20类图像上的匹配精度平均值提高了14.8个百分点;在Willow Object数据集上,所提模型在5类图像上的匹配精度平均值提高了7.3个百分点,并且在自行车、植物等目标匹配任务上达到了最佳的效果。

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。

深度图超分辨率重建研究综述

虽然高质量高分辨率的深度图能够显著地提高各种自然场景计算机视觉任务的性能,但是深度相机硬件的限制使得消费级深度相机拍摄到的深度图存在分辨率低、质量差和无效空洞等问题。深度图超分辨率重建(depth super-resolution reconstruction,DSR)是一种能有效提高深度图分辨率和质量的技术,并且DSR已经成为计算机视觉领域的研究热点。首先将介绍DSR的定义和近几年国内外DSR算法的研究进展,然后对深度学习DSR重建算法进行重点阐述与分析。接下来,将介绍深度图像质量评估准则。最后,对DSR的应用领域和未来所面对的挑战和机遇进行展望。

基于深度图的道路场景三维点云分割优化方法

点云分割在计算机视觉、智能驾驶、遥感测绘、智慧城市等领域具有重要意义。为提高对激光雷达采集点云分割的准确率,提出了一种基于深度图的道路场景三维点云分割优化方法。将点云数据转化为深度图,建立三维点云与深度图之间的投影关系,利用相邻激光雷达扫描线的角度阈值进行地物分割,再对分割后的地上物体进行分割,去除噪声点。通过使用KNN(K-Nearest Neighbor)插值优化算法对分割结果进一步优化,较好地克服了过分割问题,提高了点云分割的准确率。实验结果表明,该方法的运行时间达到86 ms,相较传统深度图的自适应DBSCAN(Density-Based Spatial Clustering of Applications with Noise)方法准确率提升了5%,达到90.5%。

面向5G毫米波通信中基于深度图搜索的波束干扰协调

在毫米波(Millimeter Wave,mmWave)通信中,波束成形(Beam Forming,BF)技术使得小区间的干扰模型不同于工作在低频带的情况,小区间干扰(Inter-Cell Interference,ICI)的影响随着小区密度的增加而增加.为了解决毫米波小区间波束干扰研究中较多的信道状态信息反馈的开销和较高的计算复杂度问题,以时隙调度波束为基础设计了多个小区的波束调度算法.首先针对相邻的毫米波小区在同一时隙向同一边缘用户进行服务会产生较差的传输质量这一特征,构建了波束冲突矩阵.其次充分考虑用户需求的不同服务时隙数量,不同的小区波数数量,小区链路数有限等限制条件,提出了一种基于深度图搜索的波束干扰协调算法.仿真结果表明:所提算法能够明显降低波束碰撞的数量,提高信噪比,改善网络和速率.

基于通道注意力机制的室内场景深度图补全

在深度相机获取的室内场景深度图中,部分像素点缺失深度信息;为补全深度信息,设计了端对端的场景深度图补全网络,在此基础上提出了一种基于通道注意力机制的室内场景深度图补全方法。该方法将场景彩色图与缺失部分深度信息的场景深度图作为场景深度图补全网络的输入,首先提取场景彩色图和深度图的联合特征,并根据通道注意力机制将提取到的联合特征进行解码,得到初始预测深度图;然后借助非局部区域上的传播算法逐步优化场景深度的预测信息,得到完整的场景深度图;最后在Matterport3D等数据集上进行实验,并将该方法与典型方法进行比较分析。实验结果表明,该方法融合了场景彩色图和深度图特征信息,通过注意力机制提高了深度图补全网络的性能,有效补全了深度相机拍摄室内场景时缺失的深度信息。

基于T-CNN的3D-HEVC深度图帧内快速编码算法

3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提出了一种基于两通道特征传递卷积神经网络(T-CNN)的划分深度预测算法。使用本文提出的算法替换原始编码器中各视点下深度图CU划分模块,可以在一定的率失真性能损失下,将原始HTM-16.0编码器编码时间平均减少76%左右,编码效率得到了显著提升。

基于深度图像绘制的视图合成

基于深度图像绘制(DIBR)的视图合成是3DTV中的关键技术。为了消除或减小合成视图中的空洞,常需要对深度图像进行平滑,但这往往会造成图像质量的下降,并造成"视图失真"。提出了一种新的基于DIBR的视图合成方法。该方法执行两次三维图像变换,第一次变换采用平滑后的深度图像,得到含有较小空洞的目标图像;第二次变换采用原始的深度图像,得到含有较大空洞的目标图像。然后以第二次变换得到的目标图像为基准将两幅目标图像融合,最后对得到的目标图像进行空洞填充。实验结果表明该方法合成的图像的质量令人满意,适用于3DTV中的视图合成。

基于语义分割的MRF深度图修复

由于自身成像原理的限制和自然环境的影响,通过深度相机获取的深度图存在深度缺失和测量噪声。针对上述两种问题,提出了语义分割先验的深度缺失处理和深度图平滑降噪方法。首先,彩色图像输入语义分割网络进行分割;然后,利用深度数据和彩色数据的空间、结构相关性,结合分割结果,填充深度空洞;最后,利用马尔可夫随机场,结合分割结果,对深度图进行修复。实验结果表明,该算法对不同的深度空洞鲁棒性更好,修复后的图像PSNR值至少提高了7.7%。

一种改进的非锐化掩模深度图像增强算法

针对深度图像平滑过程中会模糊细节的缺点,提出了自适应的非锐化掩模深度图像增强算法.首先将深度图对应的彩色图像作为联合双边滤波的引导图,利用彩色图像相关特征修复了深度图像的缺失和毛糙,然后将双边滤波后的深度图像与高斯滤波后的深度图像作差,提取出不含噪声的高频部分,克服了经典非锐化掩模算法放大高频噪声的缺点,最后根据边缘以及细节的模糊程度,自适应地调节叠加到图像上的高频部分.实验结果表明,设计的算法有效地增强了深度图像细节,抑制了平坦区域的噪声,并填补了边缘缺失,较好地改善了深度图像的质量.

基于语义连通性的室内RGB-D深度图像超体素融合与分割

室内复杂场景三维点云数据具有粘连性和非结构性,针对传统方法对室内场景进行三维重建不能较好地分离其所包含物体的问题,本文提出了顾及语义连通性的RGB-D深度图像超体素分割与融合方法。首先,从空间位置、颜色特征、结构特征、法向量、部分与整体的关系等方面定义语义连通规则;其次,实现了RGB-D深度图到三维点云的转换,并对转换后的点云构建了Kd-tree索引;最后,利用点云过分割算法VCCS对深度图点云进行超体素分割,并采用局部凸包连接算法融合生成的超体素顾及语义连通性。实验结果表明,当Rvoxel=0.007 5,Rseed=0.8,wc=2.0,ws=0.4,wn=1.0时,场景分割效果最为理想,且场景中的桌面及其上面的铁盒、碗及柱状物体都能较好地区分。

重新下降M估计子约束的深度图超分辨率算法

现有的深度图超分辨率增强算法大多借助于同场景彩色图像提供的辅助信息,而不同传感器信号间的结构差异将会引入质量损伤.为此,将图像引导的深度近邻关系视为误差,并利用重新下降M估计子进行误差的测度,从而有效抑制彩色图像和深度图像间结构差异的问题.首先根据相似颜色具有相似深度的假设建立深度近邻约束;其次利用重新下降M估计子度量深度邻域约束,将深度超分辨率增强转换成一个最优化问题;最后通过广义迭代重新加权最小二乘法予以求解.实验结果表明,该算法可有效地保持深度图的对象边缘,定性和定量指标均优于现有的代表性算法.

基于纹理信息与深度图空时梯度的深度图上采样算法

针对基于"2D+深度"数据表示格式的3D视频数据,在编码前对深度图进行降采样编码能够有效地降低码率,然而引入的降采样失真将会影响合成图像的质量。因此,如何有效地在解码端进行上采样以降低降采样失真的影响成为了当前研究的关键问题。本文提出了基于纹理信息与深度图空时梯度的深度图上采样算法,基于深度序列中图像间的时间梯度,图像像素点的水平梯度和垂直梯度,确定深度图像素间的时空相关性,对采样参考点进行决策,从而利用相关的参考点对深度图进行上采样。实验表明,本文方法提高了深度序列的编码性能和最终合成的虚拟视点图像的质量。

一种基于运动和纹理特征的深度图提取方法

2D至3D的立体转换技术可以提供大量的3D立体视频内容,从而解决3D立体视频内容不足的问题.而2D到3D转换技术中关键的一步是怎样提取出质量较好的深度图.提出一种基于运动和纹理特征相结合的深度图提取方法.为了估计深度图,首先将前景和背景分离,然后分别进行基于运动的前景深度提取和基于纹理特征的背景深度提取,最后再将二者有效融合得到最终深度图.实验结果显示,使用本文提出的方法可以得到满足需求的深度图.