基于RGB-D视频流的室内环境3D目标高效检测

由于室内复杂环境RGB-D扫描数据不完整﹑物体相互遮挡等缺陷,以及表示部分场景的单帧数据输入的局限性,导致难以通过一次操作高效检测室内场景中的所有3D目标物体.为了克服难以感知获取室内场景中全部物体信息以及场景3D目标检测效率低等的难点,提出一种基于RGB-D视频流的室内环境3D目标高效检测方法.首先,利用Kinect相机获取待检测的室内环境RGB-D视频流,经预处理得到连续帧彩色图及其对应的扫描点云信息;其次,利用哈希算法从连续帧彩色图中提取内容敏感的视频关键帧,并根据相邻关键帧所包含的物体种类及个数为其构建目标语义关系,以确保各关键帧均出现不一样的目标物体;然后,利用神经网络VoteNet对视频关键帧点云数据进行3D目标检测,并利用四元数球面线性插值算法插值相邻关键帧的相对位姿关系以估计其余帧检测结果,最终实现RGB-D视频流中各帧数据的3D目标检测.使用SUN RGB-D数据集对关键帧检测网络进行训练,与基于VoteNet的视频流逐帧检测方法相比,该方法的目标检测结果准确,同时大大缩短了视频流整体检测耗时.实验结果表明该方法的有效性和高效性.