A robust RGB-D visual odometry with moving object detection in dynamic indoor scenes

Simultaneous localisation and mapping(SLAM)are the basis for many robotic applications.As the front end of SLAM,visual odometry is mainly used to estimate camera pose.In dynamic scenes,classical methods are deteriorated by dynamic objects and cannot achieve satisfactory results.In order to improve the robustness of visual odometry in dynamic scenes,this paper proposed a dynamic region detection method based on RGBD images.Firstly,all feature points on the RGB image are classified as dynamic and static using a triangle constraint and the epipolar geometric constraint successively.Meanwhile,the depth image is clustered using the K-Means method.The classified feature points are mapped to the clustered depth image,and a dynamic or static label is assigned to each cluster according to the number of dynamic feature points.Subsequently,a dynamic region mask for the RGB image is generated based on the dynamic clusters in the depth image,and the feature points covered by the mask are all removed.The remaining static feature points are applied to estimate the camera pose.Finally,some experimental results are provided to demonstrate the feasibility and performance.

基于改进ViBe的自适应运动目标检测算法

针对ViBe算法无法去除动态背景,易出现鬼影及不能自适应光照变化的问题,提出一种复杂环境自适应的ViBe改进算法。通过计算区域的复杂度、闪烁波动度,对分类半径R和更新率T进行动态调整,对样本点进行有效性权重的计算,更高效地过滤背景噪声和适应光照渐变;在检测物体状态变化时,动态调整R和T,通过融合前景点计数和帧差法优化鬼影消除;通过识别最小外接矩阵区域差异加快去除鬼影;利用帧差法实时检测光照突变,及时进行重新初始化,避免大量误检。实验结果表明,改进ViBe算法在适应动态背景、光照变化及抑制鬼影等方面比原算法均有更好检测效果,检测精度平均提升了40.7%。

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。

一种受雨滴污染视频的快速分析方法

提出一种用于处理户外视觉系统中受雨滴影响的视频场景的方法.该方法包括两个部分,分别是检测受雨滴影响的运动目标和复原被雨滴污染的固定背景区域.通过分析雨滴的物理成像模型,并结合人类视觉系统对雨滴的分辨原理,指出受雨滴影响的像素值与背景像素值具有相同的色相值.针对成像质量退化导致色相分量不能直接用于雨滴检测这一问题,以HSV空间的定量分析为基础提出了可区分雨滴区域与运动物体区域的度量函数.实验结果表明此度量函数可以有效抑制雨滴产生的干扰,克服现有模型只能通过统计方法对某些特定类型雨滴进行有效辨识的局限性,能够快速处理视频数据,并且对成像质量造成的退化具有很好的鲁棒性.

采用时空条件信息的动态场景运动目标检测

为了将动态场景中运动目标与扰动背景线性不可分的问题转换为线性可分问题,提出了负对数非线性核变换方法.该方法通过引入视觉注意机制构建视觉显著性时空域模型,以像素邻域加权条件信息作为分类特征,增强目标与背景的线性可分性,提高动态场景运动目标检测精度.最后结合图像分块建模策略,实现了动态场景中运动目标的高效、实时检测.

动态场景下基于精确背景补偿的运动目标检测

针对动态场景下因背景补偿效果欠佳而不能准确检测运动目标的问题,提出一种基于精确背景补偿的运动目标检测算法。算法采用加入对称约束的SURF特征点匹配算法,以获得稳健的匹配点对。同时利用自适应外点滤除法去除目标点对全局运动估计的影响,显著地提高了背景补偿的精度。最后用帧差法准确地检测出运动目标。实验结果表明,该算法具有很好的鲁棒性,能够在背景复杂且摄像机运动的环境下准确地提取出运动目标。

一种面向停车场场景的运动目标检测与跟踪方法

针对采用固定相机的停车场场景监控视频中可能出现运动目标较长时间停留的情况,提出一种帧间差(Frame difference)和运行期均值(Running average)相结合的运动目标检测方法,然后在卡尔曼滤波以及运动目标直方图和轮廓信息的辅助下实现运动目标的跟踪.实验结果表明,该方法可以在满足实时监控的需求下较好的检测与跟踪停车场场景中的运动目标.

动态场景图像序列中运动目标检测新方法

在动态场景图像序列中检测运动目标时,如何消除因摄影机运动带来的图像帧间全局运动的影响,以便分割图像中的静止背景和运动物体,是一个必须解决的难题。针对复杂背景下动态场景图像序列的特性,给出了一种新的基于场景图像参考点3D位置恢复的图像背景判别方法和运动目标检测方法。首先,介绍了图像序列的层次化运动模型以及基于它的运动分割方法;然后,利用估计出的投影矩阵计算序列图像中各运动层的参考点3D位置,根据同一景物在不同帧中参考点3D位置恢复值的变化特性,来判别静止背景对应的运动层和运动目标对应的运动层,从而分割出图像中的静止背景和运动目标;最后,给出了动态场景图像序列中运动目标检测的详细算法。实验结果表明,新算法较好地解决了在具有多组帧间全局运动参数的动态场景序列图像中检测运动目标的问题,较大地提高了运动目标跟踪算法的有效性和鲁棒性。

一种受雨滴影响的运动目标检测方法

提出一种在户外受雨滴影响的视频场景中检测运动目标的方法.在R,G,B空间构建雨滴在视频中的成像模型,该模型可以计算受雨滴影响像素的亮度变化值.能够有效克服现有模型只能针对某些特定类型雨滴进行辨识的局限性.在使用基于颜色信息的雨滴成像模型基础上,提出运动目标检测函数,此函数可以有效抑制雨滴产生的干扰.实验结果表明,提出的雨滴成像模型和相应的检测函数与现有模型比较,能够适用于多种不同受雨滴影响的图像序列采样环境,对于运动目标具有更好的分辨能力,并有更强的鲁棒性.

基于鲁棒M估计和Mean Shift聚类的动态背景下运动目标检测

针对动态背景下运动目标的检测问题,提出了一种基于鲁棒M估计和Mean Shift聚类的目标检测新方法。首先,在考虑全局光照变化的情况下,构建鲁棒M估计器估计全局运动,以实现最小化相邻2帧图像中所有像素亮度的绝对残差和,根据M估计得到像素点权值,提取出代表局部运动信息的离群点;在离群点中均匀抽取网格点,然后利用Mean Shift聚类算法实现不同运动点的分割;根据聚类的结果生成凸包,准确分割出运动目标区域。实验结果表明,该方法能检测出动态背景下的多个运动目标区域,多目标检测准确度到达95%以上,并且只需两帧图像就可以准确检测并锁定运动目标,满足实时处理的要求,具有一定的工程意义.

基于图像配准的动态场景运动目标检测算法

针对摄像机运动的动态场景下运动目标的检测问题,提出了基于Harris角点方根-算术均值距离配准的动态场景运动目标检测算法。首先将当前帧图像与前一帧图像进行配准,获取图像的全局运动参数;利用求得的运动参数对当前图像进行运动补偿;然后,将其与存储的前两帧图像进行帧差法,以获得运动目标的轮廓信息;以该运动目标区域为掩模,检测并定位该运动目标。实验结果表明,此算法能够较好的处理摄像机运动等动态场景情况下的运动目标定位问题,为运动目标的跟踪和识别奠定基础。

动态背景下的运动目标检测定位算法研究

针对动态背景下的运动目标检测与定位,提出了一种直接对前景运动目标进行检测与定位的新方法;与传统方法的不同在于,传统的方法是对动态背景进行补偿来进行运动目标的检测与定位,因此受背景的影响很大;首先提取一组具有相似运动特征和色度空间特征的像素点,这样减小了计算量并且提高了抗噪能力;其次,对提取的像素点建立特征描述子并且利用均值漂移算法进行聚类处理,最后,利用聚类后得到的像素点集合进行运动目标的定位;实验结果表明,该算法可以有效地对高度动态背景下的运动目标进行检测与定位。

动态背景下基于光流场分析的运动目标检测算法

针对现有动态背景下运动目标检测算法的不足,提出一种基于光流场分析的运动目标检测算法.首先根据前背景在光流梯度幅值和光流矢量方向上的差异确定目标的大致边界,然后通过点在多边形内部原理获得边界内部的稀疏像素点,最后以超像素为节点,利用混合高斯模型拟合的表观信息和超像素的时空邻域关系构建马尔可夫随机场模型的能量函数,并通过使目标函数能量最小化得到最终的运动目标检测结果.该算法不需要任何先验假设,能够同时处理动态背景和静态背景两种情况.多组实验结果表明,本文算法在检测的准确性和处理速度上均优于现有算法.

基于改进梯度抑制的非平面场景运动目标检测

针对非平面场景3D结构产生的视差对导弹及无人机等空中机动成像平台运动目标检测影响,从提高运动目标检测的快速性和准确性角度,基于梯度抑制算法,提出了改进算法。首先,在非平面场景的运动目标检测中,考虑到视差干扰主要出现在背景边缘上,采用梯度抑制法滤除视差像素。其次,对经过梯度抑制法滤波后的像素,应用外极几何约束,进一步滤除机动成像平台大角度机动产生的剩余视差像素,从而提取出离散的运动目标像素,并进行二值化处理。然后,采用行列投影的方法对二值化的运动目标像素进行分类,确定运动目标区域。最后,对所提的方法进行了实验验证,验证了算法的有效性。

一种大视场中运动对象分割方法

传统的基于变化区域检测的运动对象分割方法只对摄像机固定的情况是适宜的.提出一种经过简单的摄像机运动估计和场景配准,利用互帧差的高阶统计特性和数学形态学算子进行运动对象分割的方法.实验证明此方法能得到较满意的分割效果.

基于场景知识的移动目标检测

依据背景差法中背景建模的思想,从提取场景知识的角度出发,建立待检测场景的场景知识库,从而提出一种基于场景知识的移动目标检测算法。使用改进的均值漂移算法对待检测场景进行分割,并提取分割后各个区域的底层视觉特征建立场景知识库;从新的场景帧图像中获取各区域的知识特征向量,然后根据和原场景知识库中各特征向量的匹配结果检测出移动目标信息。仿真结果表明,该方法能有效地检测出场景中原有目标和新进入场景目标的移动信息,并在一定程度上改善了目标阴影、形变等噪声对检测结果的干扰。

监控场景中的运动物体提取技术研究

针对监控场景中因存在遮挡而无法有效地提取出完整的运动序列这一问题,提出了一种将Vi Be前景检测算法和改进后的粒子滤波跟踪算法相结合的跟踪提取方法。首先用Vi Be来提取出场景中所有运动物体的前景轮廓;其次用粒子滤波来检测和跟踪目标物体;最后通过与目标物体的关联轮廓求交运算以及跟踪区域的反馈调节完成对目标物体运动帧序列的提取。当运动物体发生遮挡时,采用将跟踪区域内所检测到的前景轮廓重新加入到目标物体的关联轮廓中以保证后续可以继续用关联轮廓交集来提取。实验结果表明,该方法能够很好地保证提取的质量,并有效地解决了局部遮挡与全局遮挡情况下运动物体完整运动序列的提取。

动态场景下基于注意力机制与几何约束的VSLAM算法

针对传统的SLAM算法在动态场景下易出现动态物体检测不完整以及难以准确判断潜在动态物体的运动状态等问题,提出一种动态场景下基于注意力机制与几何约束的VSLAM算法(VSLAM algorithm based on Attention mechanism and Geometric constraints in Dynamic scenes,AGD-SLAM)。该算法通过设计一种聚合注意力模块,引导模型关注图像中的漏检测区域,同时引入自适应空间特征融合网络ASFF,增强特征提取能力,避免漏检测发生。为减少动态物体对SLAM系统定位精度的干扰,通过基于双重静态点约束的位姿优化估计潜在动态物体运动状态,最终使用全部静态点进行位姿估计和地图构建。在公开TUM数据集进行测试,测试结果表明所提算法的绝对轨迹误差与DynaSLAM相比降低了10.98%,表现出良好的构图能力。

基于双目稀疏场景流的智能车运动目标检测

为提高无人驾驶汽车视觉运动目标检测精度,提出一种基于深度学习与稀疏场景流结合的运动目标检测方法。首先使用深度学习网络SOLO V2分割交通场景,提取行人、车辆等潜在运动目标,缩小场景内运动目标搜索范围。其次,利用背景中特征匹配点估计相机自运动参数,在此基础上将潜在运动区域前后两帧特征点坐标映射到同一坐标系下,进而计算出仅由运动目标产生的稀疏场景流。最后,根据每个目标场景流估计误差的不同,计算每个目标场景流估计的不确定度,然后使用独立自适应阈值用于运动状态判断。使用KITTI数据集进行测试,实验结果表明:所提算法能明显提升运动目标检测精度,算法精度和召回率在两组数据集分别为92.3%、94.4%和87.4%、95.1%。

基于深度帧差卷积神经网络的运动目标检测方法研究

复杂场景中的运动目标检测是计算机视觉领域的重要问题,其检测准确度仍然是一大挑战.本文提出并设计了一种用于复杂场景中运动目标检测的深度帧差卷积神经网络(Deep Difference Convolutional Neural Network,DFDCNN).DFDCNN由DifferenceNet和AppearanceNet组成,不需要后处理就可以预测分割前景像素.DifferenceNet具有孪生Encoder-Decoder结构,用于学习两个连续帧之间的变化,从输入(t帧和t+1帧)中获取时序信息;AppearanceNet用于从输入(t帧)中提取空间信息,并与时序信息融合;同时,通过多尺度特征图融合和逐步上采样来保留多尺度空间信息,以提高网络对小目标的敏感性.在公开标准数据集CDnet2014和I2R上的实验结果表明:DFDCNN不仅在动态背景、光照变化和阴影存在的复杂场景中具有更好的检测性能,而且在小目标存在的场景中也具有较好的检测效果.