弱纹理环境下融合点线特征的双目视觉同步定位与建图

针对室内弱纹理环境下基于点特征的视觉同步定位与建图(Simultaneous Localization and Mapping,SLAM)存在的轨迹漂移等问题,提出了一种融合点线特征的双目视觉SLAM系统,并对线特征的提取与匹配问题展开研究。为了提高线特征的质量,通过长度与梯度抑制、短线合并等方法,进一步改进LSD(Line Segment Detector)线特征提取方法。同时,通过将匹配问题转换为优化问题,并利用几何约束构建代价函数,提出了一种基于几何约束的快速线段三角化方法。实验结果表明,本文所提方法在多个数据集上的表现都优于基于描述子的传统方法,尤其在室内弱纹理场景下,其平均匹配精度达到91.67%,平均匹配时间仅需7.4 ms。基于此方法,双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2,PL-SLAM的定位误差分别为1.24,7.49,3.67 m,定位精度优于现有算法。

基于GPS和视觉同步定位与建图的无人驾驶车辆定位方法研究

为提高无人驾驶车辆的定位精度,提出一种基于GPS与视觉同步定位与建图(VSLAM)相融合的定位算法,在VINS-Mono基础上进行改进,提出了VINS-FAST算法进行角点提取,并将VINS-FAST与GPS技术相结合,提出了GPS与VSLAM相融合的VINS-GPS算法。试验结果表明:VINS-GPS在KITTI数据集07和09子集上的均方根误差较VINS-Mono分别降低了18.16%和33.08%,改善了VSLAM在大范围环境中表现较差的问题,同时提高了在GPS信号薄弱或无GPS信号环境中的定位精度。

基于激光与立体视觉同步数据的场景三维重建

本文介绍了一种利用移动机器人的激光信息和立体视觉信息实现室内外场景三维重建的方法。推导了激光与视觉采样点的配准关系。通过改变黑色三角形标定板的位置和姿态,选取足够的观测次数以获得足够的观测样本,使用高斯牛顿迭代方法进行估计,得到二维激光扫描仪与立体相机之间的变换矩阵。使用双目立体视觉里程计进行定位,采用八叉树算法存储和查找点,删除冗余点,得到场景的三维模型显示。实验证明本文所提出的方法有效地解决了室内外场景三维重建的基本问题。

X射线管道焊缝探伤中的视觉同步算法

X射线管道焊缝探伤机器人作业时,要求管外X射线接收器跟随管内X射线发射窗同步旋转。针对此要求,文中研究了一种基于视觉的同步算法。实现同步旋转的难点在于如何实时、准确地检测管内外间的转角差,文中通过对X射线图像进行特征提取检测转角差:先对X射线图像进行形态学滤波,接着用自适应阀值算法对其二值化,然后进行边缘提取,最后通过Hough变换提取特征并获取转角差。文中对机器人作业时拍摄的一组X射线图像进行了试验,结果表明:文中算法从X射线图像中准确检测出了管内外间的转角差,且检测速度超过25帧/秒的实时性要求。文中算法再结合PID等规律控制伺服电机可实现管内外同步旋转。

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图(SLAM)鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差(SD)值最高分别提升98%和97%。

基于深度学习的实时同步定位与建图算法研究

传统的视觉同步定位与建图(simultaneous localization and mapping,SLAM)算法大多数建立在假设场景是静态的基础之上,这种假设限制了视觉SLAM在现实场景的应用。针对传统SLAM算法在动态环境下定位精度低、鲁棒性差的问题,提出了一种实时动态视觉SLAM算法。首先所提出的算法以ORBSLAM3为基础,新增了一个语义线程,该线程与其他线程并行运行,可以避免语义线程运行较慢而影响跟踪线程的运行。然后使用移动概率更新和传播语义信息,将其保存在地图中,并且使用数据关联算法从跟踪中去除动态点。最后使用公共TUM数据集来评估,证明了所提出的算法在动态环境下的鲁棒性和实时性优于现有的算法。

基于轻量化YOLOv8n的动态视觉SLAM算法

为了改善在动态场景下同步定位与地图绘制(Simultaneous Localization And Mapping,SLAM)算法定位精度低的问题,提出一种基于轻量化YOLOv(You Only Look Once version)8n的动态视觉SLAM算法。利用加权双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN)对YOLOv8n模型进行轻量化改进,减少其参数量。在SLAM算法中引入轻量化YOLOv8n模型,并结合稀疏光流法组成目标检测线程,以去除动态特征点,利用经过筛选的特征点进行特征匹配和位姿估计。实验结果表明:轻量化YOLOv8n模型参数量下降了36.7%,权重减少了33.3%,能够实现YOLOv8n模型的轻量化;与ORB-SLAM3算法相比,所提算法在动态场景下的定位精度提高83.38%,有效提高了动态场景下SLAM算法的精度。

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移动设备中拥有更好的应用价值。

同步视觉人工晶状体的临床前像质评价方法

该研究采用适配模型眼条件下的MTF频率响应、MTF随焦响应及预期视力共3种不同的临床前像质评价方法对比分析了4种不同光学设计人工晶状体的成像差异。该研究工作可以被应用于同步视觉人工晶状体的光学性能设计阶段,对人工晶状体的光学质量进行验证,其研究结果便于更好地预测植入同步视觉人工晶状体患者的视觉表现,可为人工晶状体制造商以及各使用方提供产品设计开发验证、应用选择等参考依据。

X射线管道焊缝探伤中的视觉同步技术

研究了一种基于机器视觉的同步技术。实现同步的关键在于检测管内外的转角差,通过对X射线图像进行特征提取获取管内外转角差。在特征提取时,先对图像进行形态学滤波,然后用遗传算法(GA)进行图像分割,最后用Hough变换从图像中提取特征量。试验结果表明,该算法从X射线图像中准确检测出管内外的转角差,且检测速度超过了25 fps的实时性要求。该算法再结合一定的控制规律控制伺服电机,即可实现管内外同步旋转。

视觉同步定位与地图重建——基于先验信息的SIFT匹配算法

鉴于尺度不变特征转换(SIFT)匹配算法存在计算效率不高且容易出现误匹配的问题,针对视觉同步定位与地图重建,提出了一种基于先验信息的SIFT匹配算法.该算法首先根据机器人和特征点的相对距离变化来预测尺度空间的变化;然后根据机器人和特征点的当前状态来预测特征点的图像位置;最后在预测的图像位置进行SIFT匹配.实验结果表明该算法能显著提高SIFT匹配的计算效率和准确性.

室内场景下基于曼哈顿约束的多重特征视觉SLAM方法

针对基于点特征的视觉同步定位与地图构建(SLAM)在室内低纹理环境出现定位精度差甚至失效的问题,提出一种基于曼哈顿约束的点线面多重特征视觉SLAM方法。为克服传统面特征提取算法检测精度差的问题,使用改进的PlaneRecNet网络进行更准确的面特征提取。针对单纯利用曼哈顿假设进行位姿估计的应用场景受限问题,利用平面间的正交关系判断曼哈顿假设条件。在非曼哈顿场景直接跟踪点、线特征估计六自由度位姿;对于曼哈顿场景,采用方向引导的方法筛选主平面,比较和跟踪平面结构的正交性进行三自由度旋转估计,降低旋转累积误差带来的漂移。在公开ICL-NUIM与TUM数据集上的实验结果表明:改进的面分割网络较PlaneRecNet和PlaneRCNN的精度分别提升5.47%和11.89%;平均绝对轨迹误差比ORB-SLAM3减少了39%,表现出了更优越的准确性和鲁棒性。

双模型语音识别中的听视觉合成和模型同步异步性实验研究

研究了双模型语音识别系统中前合成和后合成两种听觉视觉合成方法 ;同时在后合成方法中引入了考虑听觉和视觉同步异步特点的复合模型。仿真实验证明了在声学噪音环境下 ,后合成方法能够带来比较理想的识别效果 ;考虑听觉和视觉同步异步性的模型可以有效地提高识别率。

基于目标检测和语义分割的视觉SLAM算法

目前多数视觉同步定位与建图(VSLAM)算法基于静态场景设计且未考虑场景中的动态物体,然而现实场景中存在的动态物体会造成视觉里程计的特征点误匹配,影响VSLAM系统定位与建图精度,降低其在实际应用中鲁棒性。针对室内动态环境,提出一种基于ORB-SLAM3主体框架的VSLAM算法(RDTS-SLAM)。利用改进的YOLOv5目标检测与语义分割网络对环境中的物体进行精准快速分割,同时将目标检测结果与局部光流法相结合准确识别动态物体,并对动态物体区域内的特征点进行剔除,仅使用静态特征点进行特征点匹配以及后续的定位与建图。在TUM RGB数据集和真实环境数据上的实验结果表明,相较于ORB-SLAM3和RDS-SLAM算法,RDTS-SLAM算法对于walking_rpy序列的轨迹估计均方根误差分别降低了95.38%和86.20%,可以显著提高VSLAM系统在动态环境中的鲁棒性和准确性。

基于边缘计算的移动机器人视觉SLAM方法

针对计算资源不足的移动机器人,设计并实现了一种基于边缘计算的视觉同步定位与地图构建(VSLAM)系统。在机器人端引入局部地图,实现机器人位姿估计和轨迹实时跟踪的基本功能,并将具有位姿信息的关键帧发送到边缘计算端;边缘计算端完成全局地图构建、回环检测、地图优化和更新机器人端局部地图等功能。对VSLAM算法的线程进行解耦,提高算法的并行性;采用带有位姿信息的关键帧改进重定位功能。实验采用TUM数据集进行验证,实验结果表明,本文所设计的方法具有更好的实时性、地图构建精度和鲁棒性;当网络通信失败时,机器人可以实现独立定位和轨迹跟踪的基本功能;当网络通信恢复后,VSLAM系统可以快速恢复地图构建和轨迹跟踪功能。

基于全景视觉的移动机器人同步定位与地图创建研究

提出了一种基于全景视觉的移动机器人同步定位与地图创建(Omni-vSLAM)方法.该方法提取颜色区域作为视觉路标;在分析全景视觉成像原理和定位不确定性的基础上建立起系统的观测模型,定位出路标位置,进而通过扩展卡尔曼滤波算法(EKF)同步更新机器人位置和地图信息.实验结果证明了该方法在建立环境地图的同时可以有效地修正由里程计造成的累积定位误差.

基于深度学习的移动机器人语义SLAM方法研究

为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法。改进了ORB-SLAM2算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性。

基于点线特征融合的实时视惯SLAM算法

为了在光照不足和低纹理场景中实现移动机器人的高精度实时定位和建图,提出了一种基于视觉点线特征以及IMU特征融合的实时SLAM算法。首先通过跳跃路由策略和自适应阈值策略改进了EDlines算法,提高了线特征提取的质量,从而提高了特征跟踪的有效性。然后将视觉惯性特征紧耦合建立约束,通过滑动窗口和边缘化模型进行非线性优化,实现了高精度高实时性的状态估计。实验证明,所提算法在线特征提取的有效性方面优于传统的线段提取算法,同时SLAM系统的定位精度和鲁棒性均得到有效提升。

熔滴—焊缝同步视觉焊接偏差测定方法

由于无轨爬行式焊接机器人运动方式自由灵活,导致存在超前监测误差的主动视觉传感方法焊缝跟踪精度不高。被动视觉传感方法无超前监测误差,但需采用昂贵的熔池相机,从而导致设备成本增加。针对以上问题,设计了一种由双摄像机组成的视觉采集系统,并提出一种熔滴—焊缝同步采集焊接偏差测定方法。首先,通过标定分别校正熔滴和焊缝图像,然后将熔滴、焊缝图像信息融合到同一图像坐标系中。进一步,采用凹点区域检测方法定位熔滴图像中的焊丝尖端,并采用最小二乘法拟合焊缝边缘直线。最后,利用焊丝尖端与焊缝边缘直线的位置关系,在已建立的焊接偏差量测定模型中计算出当前时刻焊接偏差量。实验结果表明,在实验室环境下,采用熔滴—焊缝同步视觉方法,焊接误差可以控制在0.2 mm以内,具有较高焊缝跟踪精度和重要应用前景。

视觉SLAM综述

视觉SLAM指的是相机作为唯一的外部传感器,在进行自身定位的同时创建环境地图。SLAM创建的地图的好坏对之后自主的定位、路径规划以及壁障的性能起到一个决定性的作用。本文对基于特征的视觉SLAM方法和直接的SLAM方法,视觉SLAM的主要标志性成果,SLAM的主要研究实验室进行了介绍,并介绍了SIFT,SURF,ORB特征的检测与匹配,关键帧选择方法,并对消除累积误差的闭环检测及地图优化的方法进行了总结。最后,对视觉SLAM的主要发展趋势及研究热点进行了讨论,并对单目视觉SLAM,双目视觉SLAM,RGB_D SLAM进行了优缺点分析。