结合图像特征迁移的光场深度估计方法

光场相机可以通过单次曝光同时采集空间中光线的位置信息和角度信息,在深度估计领域具有独特优势。目前光场真实场景数据集的深度标签难以获取且准确度不高,因此现有的多数光场深度估计方法依赖光场合成场景数据集进行训练,但合成数据集与真实数据集在图像特征分布上的差异,导致网络在将子孔径图像与深度图之间的映射关系应用于真实数据集时容易出现偏差。提出一种新的光场深度估计方法,利用基于对抗学习的图像翻译网络,使合成场景子孔径图像逼近真实场景子孔径图像的特征分布。在图像翻译网络中实施多视图角度一致性约束,保证图像翻译前后不同视角子孔径图像之间的视差关系保持不变。设计一种多通道密集连接深度估计网络,利用多通道输入模块充分提取不同方向子孔径图像堆栈特征,并通过密集连接模块进行特征融合,提升网络特征提取和特征传递的效率。在光场合成数据集4D Light Field Benchmark和光场真实数据集Stanford Lytro Light Field上的实验结果表明:与Baseline网络相比,该网络的均方误差和坏像素率平均降低23.3%和8.6%;与EPINET、EPI_ORM、EPN+OS+GC等方法相比,基于该网络的估计方法有效提升了深度估计的准确度,具有良好的鲁棒性和泛化能力。

基于椭球拟合的点云旋转不变网络

点云携带丰富的几何信息,在计算机视觉领域具有独特优势。现有基于深度学习的三维模型分类与分割方法能有效识别固定视角下的物体,但在实际应用中,物体方向未知,使得点云描述存在旋转变换问题,极大影响网络的识别精度。针对点云的旋转性问题,提出一种轻量级的基于椭球拟合的旋转不变网络(point cloud rotation invariant network based on ellipsoid fitting, EFRI-N)。设计前置网络模块提取点云的旋转不变特征,包括椭球拟合和特征编码两个部分。通过椭球拟合算法标识原始点云的方向得到旋转不变坐标系,再将原始特征映射到该坐标系中,利用空间信息和角度信息进行编码得到点云的旋转不变特征;为了获取更丰富的几何信息,在分类分割网络中加入多层级的特征连接增强特征传播及复用,提高模型表征能力。采用国际知名公共数据集ModelNet40和ShapeNet Parts进行分类、分割实验,结果表明,该方法在处理旋转点云的任务中优于主流算法,网络识别精度提升了1%~62.63%不等,并且网络的计算量和参数量都有着数量级的优势。满足单目标场景下对点云旋转不变性的使用要求,具有良好的应用价值。