基于RGB-D视频的地铁异物风险检测方法研究

地铁异物影响乘客出行安全和列车行车安全,随着自动驾驶时代的到来,采用先进技术检测地铁异物风险是保障地铁安全的重要途径。深度传感器广泛应用在目标检测等领域,弥补彩色信息不足。因此本文采集地铁列车门及屏蔽门间风险区域的RGB-D视频,设计融合深度和颜色信息的异物风险检测算法。首先,提出RGB-D+背景建模(ViBe)算法的异物目标检测方法,通过新增深度模型和融合深度和颜色的像素模型,并在模型更新策略中增加深度判断条件,实现对异物目标的准确检测;然后通过基于RGB-D+最小外接矩形法的异物尺寸近似计算方法,完成异物风险判断。研究结果表明:提出的RGB-D+ViBe异物目标检测方法在不同光照环境下达到90%以上的准确率,鲁棒性和准确性明显高于基于单一图像的ViBe算法;同时异物尺寸方法检测精度达到1mm,能够准确判断异物风险。

基于RGB-D视频流的室内环境3D目标高效检测

由于室内复杂环境RGB-D扫描数据不完整﹑物体相互遮挡等缺陷,以及表示部分场景的单帧数据输入的局限性,导致难以通过一次操作高效检测室内场景中的所有3D目标物体.为了克服难以感知获取室内场景中全部物体信息以及场景3D目标检测效率低等的难点,提出一种基于RGB-D视频流的室内环境3D目标高效检测方法.首先,利用Kinect相机获取待检测的室内环境RGB-D视频流,经预处理得到连续帧彩色图及其对应的扫描点云信息;其次,利用哈希算法从连续帧彩色图中提取内容敏感的视频关键帧,并根据相邻关键帧所包含的物体种类及个数为其构建目标语义关系,以确保各关键帧均出现不一样的目标物体;然后,利用神经网络VoteNet对视频关键帧点云数据进行3D目标检测,并利用四元数球面线性插值算法插值相邻关键帧的相对位姿关系以估计其余帧检测结果,最终实现RGB-D视频流中各帧数据的3D目标检测.使用SUN RGB-D数据集对关键帧检测网络进行训练,与基于VoteNet的视频流逐帧检测方法相比,该方法的目标检测结果准确,同时大大缩短了视频流整体检测耗时.实验结果表明该方法的有效性和高效性.

基于深度去噪自编码器的RGB-D视频目标跟踪

提出了一种基于跨模式特征深度学习的RGB-D视频目标跟踪算法。构建跨模式稀疏去噪自编码器深度学习网络,提取RGB-D视频数据中样本的跨模式特征。将样本的跨模式特征输入到逻辑回归分类器中,获得置信分数,利用逻辑回归分类器的输出来构建观测似然模型。通过粒子滤波算法来实现RGB-D视频数据中的目标跟踪。实验结果表明,提出的视频目标跟踪算法对遮挡、旋转、光照变化等具有较强的鲁棒性,能够稳定的跟踪目标,具有较高的成功率。

融合RGB-D多模特征和半径边缘约束超限学习的动作识别

针对单模态特征鉴别行为动作类别的能力有限问题,提出基于RGB-D视频中多模态视觉特征融合和实例化多重核超限学习(Exemplars-MKL-ELM)的动作分类方法.首先,利用骨架表面拟合和密集轨迹提取稳健的密集运动姿态特征,以稠密点云法平面感知人体3维几何的稀疏化有向主成分直方图特征,提取外观纹理嵌入身体节点空-时邻域的三维梯度直方图特征.然后,采用半径边缘约束多重核超限学习机融合多模态视觉特征,并利用对比数据法挖掘每个行为类别的代表性实例集合.最后,每个样本结合融合视觉特征和即得实例集合,采用Exemplars-MKL-ELM模型和贪婪预测思想分层分类识别行为.实验表明,文中方法在分类准确度和计算效率上都较优.