基于加权损失的点云占用图视频上采样

基于视频的点云压缩标准(Video-based Point Cloud Compression,V-PCC)中,3D点云会被分成数百个块并投影到2D平面中,形成记录点云纹理信息的纹理视频和记录点云空间信息的几何视频。同时,还需要生成一个占用图视频(Occupancy Map Video),以记录纹理视频和几何视频中每一个像素点是否对应重建点云中的某个点。因此,占用图视频质量与重建点云质量直接相关。为了节约编码比特数,占用图视频在编码端会先被下采样,然后在解码端通过简单的上采样恢复到原分辨率。文中的基本思路是引入深度学习来代替V-PCC中的简单上采样方法,使得上采样后的占用图视频质量更高,从而提高点云的重建质量。在网络训练阶段提出使用加权损失函数,使得在重建点云时能尽可能少地移除正常点并尽可能多地移除噪声点。实验结果证明,所提方法可以大幅提升V-PCC的主客观性能。

基于ONR-CNN的点云属性视频环路滤波算法优化

通过对基于视频的点云压缩(V-PCC)投影生成的属性视频进行研究,提出了基于ONR-CNN的点云视频环路滤波算法。算法引入占用信息优化损失函数和加强占用区域编码单元的色度信息表达,提高深度学习网络对占用区域的关注度;根据V-PCC在AI配置下的编码结构,引入迭代训练机制,在训练过程中考虑该编码结构下P帧对I帧的依赖关系,使训练出的网络模型更好地适应编码需求。实验结果表明:在AI配置下,与V-PCC参考软件相比,所提算法在Y,U,V下的BD-AttrRate分别降低5.9%、24.5%和23.5%,BD-TotalRate分别降低4.7%、20.6%和19.0%。

自适应分割的视频点云多模式帧间编码方法

基于视频的点云压缩(Video based point cloud compression, V-PCC)为压缩动态点云提供了高效的解决方案,但V-PCC从三维到二维的投影使得三维帧间运动的相关性被破坏,降低了帧间编码性能.针对这一问题,提出一种基于V-PCC改进的自适应分割的视频点云多模式帧间编码方法,并依此设计了一种新型动态点云帧间编码框架.首先,为实现更精准的块预测,提出区域自适应分割的块匹配方法以寻找最佳匹配块;其次,为进一步提高帧间编码性能,提出基于联合属性率失真优化(Rate distortion optimization, RDO)的多模式帧间编码方法,以更好地提高预测精度和降低码率消耗.实验结果表明,提出的改进算法相较于V-PCC实现了-22.57%的BD-BR (Bjontegaard delta bit rate)增益.该算法特别适用于视频监控和视频会议等帧间变化不大的动态点云场景.

采用SJND模型的动态点云感知编码方法

动态点云能有效描述自然场景与3D对象,提供沉浸式视觉体验;但其数据量庞大。需对其进行有效压缩。提出了采用显著性引导的恰可察觉失真(Saliency-guided Just Noticeable Distortion,SJND)模型的动态点云感知编码方法。针对纹理图感知冗余,构建了基于离散余弦变换域的SJND模型,应用于纹理图编码过程中的DCT系数抑制;考虑到相同失真等级下显著区域的几何失真更易被察觉,提出使用投影显著图将几何图进行分层;最后,为不同层级的编码树单元进行自适应量化参数选择和编码。与V-PCC标准方法相比,在保证动态点云视觉质量的前提下,所提出方法提升了动态点云的编码效率。