基于RGBD的实时头部姿态估计

实时的头部姿态估计在人机交互和人脸分析应用中起着至关重要的作用,但准确的头部姿态估计方法依然具有一定的挑战性。为了提高头部姿态估计的准确性和鲁棒性,将基于几何的方法与基于学习的方法相结合进行头部姿态估计。在人脸检测和人脸对齐的基础上,提取彩色图像几何特征和深度图像的局部区域深度特征,再结合深度块的法线和曲率特征,构成特征向量组;然后使用随机森林的方法进行训练;最后,所有决策树进行投票,对得到的头部姿态高斯分布估计进行阈值过滤,进一步提高模型预测的准确度。实验结果表明,该方法与现有的头部姿态估计方法相比,具有更高的准确度及鲁棒性。

基于K-means聚类的RGBD点云去噪和精简算法

针对Kinect等深度相机扫描获取的点云数据数量庞大、噪声较多的问题,提出一种特征保持的点云去噪和精简算法。使用K-D树快速分类点云;通过曲率估计算法得到局部曲面的曲率值;使用K-means聚类算法对点云进行聚类,对每个类中的点,根据点到聚类中心的欧式距离和邻近点曲率变化判断是否为噪声点;通过保持特征的点云精简算法实现对点云数据的简化。实验结果显示,算法快速有效,对于去除大量外部噪声有良好效果,且精简后的点云数据保持了原始点云特征。

基于引导对抗网络的人体深度图像修补方法

移动设备配备的小型深度相机采集到的人体深度图像存在严重的孔洞问题。针对该问题,提出基于深度学习的引导对抗网络。使用基于堆叠沙漏网络的引导器从RGB图像中提取人体部分分割特征和深度类别特征;在上述人体特征引导下,使用独特的生成器修复人体深度图像中的孔洞。为使结果更加逼真,加入判别器在网络训练过程中对生成器进行优化调整。实验结果显示,该方法在现有的人体数据集和小型深度相机采集的数据集上,都能很好解决孔洞问题,均取得比现有方法更好的效果。

自适应平衡因子的混合特征提取算法

特征提取是3D点云配准中的重要步骤。针对RGBD点云数据独有的颜色信息,提出一种自适应平衡因子的混合特征提取算法。首先,引入几何特征度、颜色特征度和混合特征度的概念,混合特征度由几何特征度、颜色特征度和平衡因子决定。然后提出一种自适应的平衡因子估计方法,针对不同模型的几何特性和颜色特性自适应估算平衡因子,计算混合特征度,并根据混合特征度选择特征点集,最后采用改进的6DICP算法进行配准。实验结果显示,该算法提高了RGBD点云数据的配准精度、减少了算法耗时。

基于多源数据融合的室内平面地图构建方法

单一数据源信息不充分、传感器本身及传感器之间的标定存在误差导致室内地图创建不精准,针对这一问题,本文提出基于多源数据融合的室内平面图构建算法,该算法利用RGB-D传感器获取室内场景中的三维结构特征,并将其融入激光雷达点云中,从而构建具有三维结构特征的室内平面地图。在该算法中,先将RGB-D传感器中深度相机采集到的图像转换为伪激光雷达点云;然后,使用基于多项式函数拟合的过滤器对伪激光雷达点云进行分层和校准,并对激光雷达点云和伪激光雷达点云进行融合;最后,利用融合后的点云数据创建室内二维平面地图。实验结果表明,本文提出的点云分层过滤和校准方法可以有效融合激光雷达点云和伪激光雷达点云,融合点云构建的室内二维平面地图精度明显提高。

面向RGBD深度数据的快速点云配准方法

目的真实物体的3维重建一直是计算机图形学、机器视觉等领域的研究热点。针对基于RGBD数据的非匀速非固定角度旋转物体的3维重建问题,提出一种利用旋转平台重建物体3维模型的配准方法。方法首先通过Kinect采集位于旋转平台上目标物的深度数据和颜色数据,对齐融合并使用包围盒算法去除背景噪声和不需要的外部点云,获得带有颜色信息的点云数据。并使用基于标定物不同角度上的点云数据标定出旋转平台中心轴的位置,从而获得Kinect与旋转平台之间的相对关系;然后通过曲率特征对目标点云进行特征点提取并寻找与相邻点云的对应点;其中对于特征点的选取,首先针对点云中的任意一点利用kd-tree搜寻其k个邻近点,对这些点进行曲面拟合,进而计算其高斯曲率,将高斯曲率绝对值较大的n个点作为点云的特征点。n的取值由点云的点个数、点密度和复杂度决定,具体表现为能反映物体的大致轮廓或表面特征信息即可。对于对应点的选取,考虑到欧氏距离并不能较好反映点云中的点对在旋转过程中的对应关系,在实际配准中,往往会因为点云重叠或距离过远等原因找到大量错误的对应点。由于目标物在扫描过程中仅绕旋转轴进行旋转,因此采用圆弧最小距离寻找对应点可有效减少错误点对。随后,使用二分迭代寻找绕中心轴的最优旋转角度以满足点云间的匹配误差最小;最后,将任意角度获取的点云数据配准到统一的坐标系下并重建模型。结果使用斯坦福大学点云数据库和自采集数据库分别对该方法和已有方法在算法效率和配准结果上进行对比实验,实验结果显示在拥有平均75 000个采样点的斯坦福大学点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少86.5%、57.5%,算法运行时间分别平均减少87%、60.75%,欧氏距离误差平方和分别平均减少70%、22%;在具有平均57000个采样点的自采集点云数据库上与传统ICP算法和改进ICP算法相比,迭代次数分别平均减少94%、75%,算法运行时间分别平均减少92%、69%,欧氏距离误差平方和分别平均减少61.5%、30.6%;实验结果显示使用该方法进行点云配准效率较高且配准误差更小;和Kinect Fusion算法相比在纹理细节保留上也表现出较好的效果。结论本文提出的基于旋转平台标定的点云配准算法,利用二分迭代算法能够有效降低算法复杂度。与典型ICP和改进的ICP算法的对比实验也表明了本文算法的有效性。另外,与其他方法在具有纹理的点云配准对比实验中也验证了本文配准方法的优越性。该方法仅采用单个Kinect即可实现对非匀速非固定角度旋转物体的3维建模,方便实用,适用于简单快速的3维重建应用场合。