基于多源约束自适应视觉SLAM关键帧选取研究

该文针对现有关键帧选择方法在复杂场景下的稳定性和适应性方面不足问题,提出一种多源约束的自适应视觉SLAM关键帧选取方法。该算法基于相机几何测量原理,设计自适应阈值进行关键帧选取策略;针对复杂环境下的剧烈运动情况,设计基于IMU的实时状态检测机制和熵函数约束标准,进一步提高关键帧选取的稳定性和适应性。在EuRoC数据集和TUM数据集上对该方法进行定性和定量评估。在单目惯性和立体惯性模式下,将估计轨迹与参考轨迹进行对比,以绝对轨迹误差(absolute trajectory error,ATE)、关键帧数量和运行时间作为评判指标,并与ORB-SLAM3方法进行比较。结果显示,提出的方法可显著提高视觉SLAM在复杂环境下的定位精度和稳定性。

煤矿井下多重约束的视觉SLAM关键帧选取方法

煤矿智能化的重大需求对煤矿井下移动机器人智能感知提出了更高的要求,视觉同时定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)是煤矿机器人智能感知的关键技术。然而,煤矿井下存在非结构化环境特征、纹理弱、光照不均匀、空间狭小等问题,现有依赖启发式阈值进行关键帧选取的方法无法满足煤矿下视觉SLAM的定位与建图需求。为此,提出一种煤矿井下多重约束的视觉SLAM关键帧选取方法,实现了煤矿井下移动机器人实时稳健的位姿估计,并为煤矿井下数字孪生提供数据基础。首先,提出的方法根据几何结构约束,采用自适应阈值取代静态启发式阈值进行关键帧选取,以实现视觉SLAM关键帧选取的有效性和鲁棒性。其次,通过重心平衡原则对有效特征点分布进行均匀化处理,以进一步确保视觉SLAM关键帧选取的稳定性以及创建地图点的稠密性和准确性。最后,利用航向角阈值对转向处做进一步约束,降低视角突变对视觉SLAM精度的影响。为验证本文方法的有效性,利用自主搭建的移动机器人数据采集平台在室内场景及煤矿井下分别进行了实验,并从绝对轨迹误差(Absolute Trajectory Error,ATE)和均方根误差(Root Mean Square Error,RMSE)等方面进行了定量和定性评价。结果表明:相比于启发式视觉SLAM关键帧选取方法,提出的方法在室内场景中轨迹RMSE提高了29%,在煤矿井下环境中轨迹RMSE提高了44%,具有较高的鲁棒性、定位精度和全局一致的建图效果。

基于视频分割的关键帧选取

综合考虑了基于帧分块的局部似然比特征和基于小波变换的全局的边缘信息,利用这两者进行镜头边界检测,从视频镜头重构度(SRD)角度出发,针对线性拟合方法,采用了最小二乘法曲线拟合优化方法,分段重构出视频曲线,求出曲线的极值点,并以极值点代表关键帧。通过实验数据比较表明,该方法与实际的情况相符并取得明显的数值效果。

改进ORB-SLAM2算法的关键帧选取及地图构建研究

针对传统ORB-SLAM2算法精度较低、图片帧跟踪容易丢失的问题,以及没有构建稠密点云地图与OctoMap的问题,原本构建的稀疏点云地图不能直接应用于机器人的三维路径规划。在传统ORB-SLAM2算法基础上,对关键帧的选取进行了改进。首先,在传统的ORB-SLAM2算法的基础上,在相邻图像帧间添加相对运动量的综合变换因数,并添加帧间特征点跟踪来提高关键帧选取的准确性;然后,使用已选取关键帧进行稠密点云地图与OctoMap的构建;最后,在TUM数据集上进行验证,并基于真实环境进行物理测试。实验结果表明,改进的关键帧选取方法在保证关键帧选取的准确性和快速性的前提下,可以增加ORB-SLAM2算法定位精度,有效的缓解了图片帧跟踪易丢失问题,并且构建的八叉树地图可直接用于机器人的三维路径规划。

基于自适应关键帧选取的人脸表情识别

人脸表情识别在人机交互、智能教育和影音娱乐等方面有着广泛的应用,是计算机视觉领域的研究重点。人脸表情序列中存在大量的冗余信息,找到人脸表情序列中的峰值表情能够有效提升人脸表情识别的准确度。为了准确定位峰值表情在人脸表情序列中的位置,提出通过计算表情变化过程中人脸关键点信息的变化来选取处于峰值表情的人脸图像,即关键帧选取方法,同时设计一个Baseline网络结构进行特征提取,用于验证自适应关键帧选取方法的有效性。在MMI和CK+数据集上的实验结果证明了所提方法的有效性。

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初"特征包"方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法。首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类。在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5%,93.7%和91.5%,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了"特征包"方法的局限性问题。

基于半直接视觉里程计的SLAM稠密重建

针对特征法视觉同步定位与地图构建(simultaneous localization and mapping,SLAM)耗时久、纹理缺失场景易跟踪失败而只能重建稀疏点云的问题,提出一种基于半直接视觉里程计的SLAM稠密重建算法。该算法以ORB-SLAM2框架为基础,视觉里程计采用直接法最小化光度误差求解相机初始位姿,采用特征法最小化重投影误差优化位姿,提高相机位姿的输出频率;以一种冗余关键帧删除算法计算帧间相对运动距离,删除视野重叠的关键帧;使用筛选后的关键帧进行闭环检测,构建稠密点云地图,滤波后转换为存储效率更高的八叉树地图。结果表明,所提算法能有效解决相机快速运动场景和纹理缺失场景跟踪失败的问题,实现三维地图重建,具有较高的定位精度与实时性。

复杂环境下机器人多传感器融合定位方法

为了解决在斜坡、特征退化以及GNSS信号丢失等复杂环境下连续精确的定位问题,提出了基于地面约束的多传感器融合方案,用于提高SLAM算法的整体性能。首先提出了不同系统状态下的关键帧选取策略。通过在起始位置增加关键帧的数量,避免了因子图优化后产生的定位跳变,从而得到连续准确的位姿输出。同时,针对误差累积所导致回环检测失效,利用该关键帧策略,有效地增大当前帧的子关键帧集合,提高了回环检测算法的鲁棒性。其次,针对IMU在长时间运行后高度方向上漂移过大的问题,本文根据提取的地面点构建地面约束,并引入因子图中进行优化。最后,利用搭建的移动机器人实验平台,完成了校园不同场景的数据采集,验证本文算法的有效性,并在KITTI数据集与LIO-SAM算法进行了对比测试,通过误差分析表明本文算法具有更优的定位精度。

基于点特征的单目视觉里程计实现

本文采用特征点检测实现移动机器人的单目视觉里程计,通过对图像进行网格划分保证特征点均匀分布,提高特征点匹配效率。并行计算基础矩阵及单应矩阵实现单目视觉里程计的自动初始化,采用RANSAC算法剔除外点提高特征点匹配质量。设定运动模型及参考帧模型加速帧间运动估计,并通过合理的关键帧选取策略及图优化提高相机位姿精度及鲁棒性。利用TUM数据集测试本文设计的单目视觉里程计,实验轨迹误差为3.58 m,通过Turtlebot2移动机器人对真实环境进行测试,实验表明本文方法的有效性。

基于单目视觉里程计的移动机器人自定位方法

为解决在列车底部直线移动的机器人对风管进行识别定位摘解时需到达两节车厢之间的自定位问题,提出一种基于单目视觉里程计的自定位方法。该方法根据单目相机在列车底部竖直向上拍摄时图像颜色较深,而当相机将要到达两节车厢之间时所拍摄图像中会有明显亮度变化区域的特点,选取关键帧图像,通过图像处理提取出图像中目标区域信息,根据所提出的运动估计算法估计相机自身的运动。最后,通过实验计算得到该方法的绝对误差为0.059 s,相对误差为1.16%,验证了该方法的可行性。

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM(同步定位与地图创建)算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度.在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题.算法具有全局重定位的能力.在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化.算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性.基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强.