基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

基于点线特征的通风管道建模与管内定位方法

为解决在通风管道环境下场景构型单一、传统视觉特征点稀疏的问题,利用前后两个单目相机和左右两个线阵激光雷达作为主要传感设备,提出一种基于点线特征的管道建模与管内定位方法。首先,利用LaneNet网络和改进的随机抽样一致算法提取四条管壁边线特征,再利用图像中的几何和空间约束筛选局部直线分割算法的检测结果,得到管道连接处的两条竖直线特征。接着利用线阵激光雷达计算管道宽度和机器人偏航角,恢复了管道连接处线特征的深度信息并求解得到管道高度。最后建立管道地图坐标系并推算机器人的二维坐标位置和管道长度。实验结果表明,定位的相对误差在9.8 cm以内,管道建模的相对误差在2.9 cm以内,能够满足机器人在管道内巡检作业时的建模与定位需求。

融合点线特征的空间失效目标双目视觉位姿测量

提出了一种融合点线特征的双目视觉位姿估计方法,该方法基于视频的图像帧,先分别通过ORB算法和LSD算法提取图像帧的点、线特征,并采用LBD描述子实现帧间匹配;然后基于极线搜索方法获得右图像中与左图像对应的特征,从而获得匹配特征的空间坐标;最后基于点线特征融合的重投影模型,利用Levenberg-Marquardt法迭代获得失效目标的相对位姿。仿真实验表明,融合点线特征的视觉位姿估计方法相比单纯点特征的位姿估计具有更好的鲁棒性,尤其针对高速旋转目标,能更好地进行位姿跟踪测量。

基于改进点线特征的多源融合SLAM算法

传统视觉SLAM算法在缺乏明显特征的场景或移动平台快速运动时,特征难以被检测和跟踪。提出了一种基于改进点线特征多源融合SLAM算法。前端通过相似短线段合并的策略改进EDLines线特征提取算法,提取长线段特征,后端融合了点、线特征和IMU数据,并采用非线性优化方法进一步估计相机位姿。实验结果表明,改进EDLines线特征提取算法相比传统LSD线特征提取算法,其特征提取速度提高4倍。在EuRoc数据集的测试中,本算法在不同场景下都具有很好的定位和建图效果,且具有较高的鲁棒性和实时性,对机器人实时的避障导航应用有较大的参考价值。

基于点线特征的快速视觉惯性SLAM算法

为了提高基于点特征的SLAM算法的定位精度和鲁棒性,提出一种点线特征融合的快速单目视觉惯性SLAM算法。使用ELSED算法快速提取高质量的线特征,在非关键帧追踪时,基于连续帧之间微小运动的假设,实现连续图片间的快速线段匹配,且无需线段描述子。在插入新关键帧时,提取线段描述子来完成关键帧之间的线特征匹配,创造新的地图线。最后在公开数据集上进行实验,结果表明:ELSED算法在提取高质量线段的同时,耗时仅为LSD算法的13%;与传统利用线段描述子的匹配算法相比,此算法的时间效率提升了83%,并减少线段误匹配,提高系统定位精度,系统的平均跟踪帧率为33帧/s,保证了系统的实时性。

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping,SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。

融合点线特征的视觉惯性同时定位及建图

为了解决移动机器人在低纹理场景中的定位精度较低且容易跟踪丢失问题,本文设计了一种点线特征提取和匹配策略,并以此构建了视觉惯性同时定位和建图系统。提出线特征提取和匹配算法,通过改良线特征提取算法的隐藏参数,提高了线特征提取的精度。利用点线特征不同匹配筛选框架减少误匹配的数目,得出了可以应用于视觉惯性同时定位和建图系统的线特征提取匹配算法。在现有视觉惯性框架中引入提出的线特征约束,搭建了能在未知低纹理环境下鲁棒运行的视觉惯性同时定位及建图系统。研究表明:在真实环境中的移动机器人定位实验证明了该系统的精度和鲁棒性优于现有的视觉惯性框架,其室内定位精度提高了24.2%,走廊定位精度提高了8%,对于移动机器人在低纹理场景下的高精度定位具有较高价值。

点线特征自适应融合室内SLAM算法

传统的视觉同时定位与地图创建(SLAM)依赖于点特征来估计相机位姿.然而在室内环境中存在大量低纹理区域,使得提取足够多的点特征变得困难.此外,当相机抖动剧烈或转向过快时,基于点特征的SLAM系统也并不鲁棒.针对上述问题,本文提出了一种基于RGB-D的点线特征融合SLAM算法,利用点特征和线特征的优点,在困难环境下获得了鲁棒的结果.首先,提出了一种基于特征丰富度的特征提取策略.解决在模糊和低纹理区域内提取特征困难的问题.其次,设计了一种点线特征关联图,优化线特征匹配效果.该方法不仅参考了线特征之间的相似关系,还考虑了点线特征之间的几何关系.最后,在构建光束法平差的成本函数时建立自适应模型,实现点线双模态特征的"无缝融合".本文分别在两个公开数据集和室内真实场景中进行了算法评估,并与其他先进算法对比.结果表明本文提出的算法具有更好的整体性能.

一种改进点线特征融合的双目视觉惯性定位算法

在复杂产品装配过程中,对增强现实设备定位是实现虚拟引导信息与装配现场实时融合的核心。传统基于标签或预先构建离线装配基体模型的定位方式,存在装配任务与视觉定位兼容性低,单一视觉定位鲁棒性和稳定性差的问题。利用多传感器融合的视觉惯性导航方式进行定位,可提高定位的精度和鲁棒性,有效提高复杂产品装配质量和效率。本文提出了一种基于点线特征融合的双目视觉惯性定位算法,对双目相机和惯性测量单元(Inertial measurement unit,IMU)进行联合标定,并通过ORB和LSD线端融合的点线特征提取匹配,采取视觉和IMU紧耦合的方式,建立基于点线特征的视觉惯性融合的位姿误差融合模型。对比VINS-Fusion、PL-VIO和本文改进IPLVIO算法,结果表明IPL-VIO算法在结构化场景下的绝对位移和旋转误差比原算法误差更小,同时结构化场景信息更加丰富,能够应用在弱纹理的AR装配现场中,为增强现实辅助装配平台提供稳定可靠的位姿数据。

一种基于结构约束的点线特征融合SLAM算法

针对目前存在的特征点SLAM(同时定位与地图构建)算法在低纹理环境下难以提取足够多的特征点、定位精度低等问题,提出一种基于结构约束的点线特征融合SLAM算法。通过LSD算法提取直线后,将直线分为平行线与垂线,以此作为约束优化特征线的三维位置与相机位姿;通过CAPE算法提取表面法向量估计环境中的曼哈顿主方向,将其作为局部地图的约束优化特征位置与相机位姿。最后,在TUM RGB-D数据集上对提出的算法进行验证。结果表明,该算法提高了在弱纹理环境中的定位精度,数据有效提高了系统的稳定性。

基于点线特征的快速视觉SLAM系统研究

SLAM是机器人实现自主运动、完成高级功能的基础和前提。视觉SLAM技术构建的地图颜色、纹理更丰富,近年来一直是SLAM技术研究的热点。然而视觉SLAM技术受环境光照影响较大,且当环境中纹理较弱时,容易造成定位精度低。设计了一种能够实现快速SLAM的控制系统,采用单目相机、惯性测量单元IMU、高性能计算机和显示器构成硬件系统。利用单目相机获取环境图像,通过算法提取相机图像的ORB点特征和LSD线特征,提高弱纹理场景下获取的视觉信息量。同时利用视觉图像回环检测和误差估计,结合视觉图像误差与惯性测量误差进行非线性优化,从而实现更为精准和定位和位姿估计。设计的SLAM系统采用单目相机实现图像获取,提高了前端算法的运行效率;通过点线特征结合,提高了SLAM系统的鲁棒性;通过相机与惯性测量单元的结合,提高了定位和位姿估计的准确性。

基于点线特征视觉惯性融合的机器人SLAM算法

针对弱纹理环境下单目视觉SLAM系统只依靠提取点特征鲁棒性较差的问题,提出一种点线特征视觉与惯导融合的机器人SLAM算法。首先,采用自适应加权提取点线特征并使用普吕克坐标法表示线段,减小计算量同时较好克服线特征提取时线段割裂的不足;其次,采用四叉树法实现点线特征提取均匀化解决特征堆积问题,同时消除点线特征误匹配,再利用视觉点线信息与IMU紧耦合优化机制提高机器人SLAM算法精确度。最后,将该算法在EuRoC数据集和弱纹理环境中进行实验,结果表明,改进后线特征提取相较于传统线特征提取鲁棒性提高了12.94%,相较于原生算法ORB-SLAM3,改进后特征匹配时间节约了19.2%,大型弱纹理环境中绝对定位精度提高了55.6%,所提算法在弱纹理环境中定位效果具有较强的鲁棒性和精确性。

融合点线特征的双目视觉-惯导SLAM算法

针对视觉与惯导信息融合的同时定位与地图构建中,因使用场景缺少纹理和相机图像模糊导致的点特征缺失,以及线特征容易错误关联的问题,提出了一种融合点线特征的双目视觉-惯导SLAM算法。该算法首先使用惯导信息辅助系统前端进行点线特征数据关联,跟踪相机位姿;然后,在系统后端根据点线特征的丰富程度对点线特征的重投影残差进行加权,采用非线性优化的形式进行状态估计,并为系统前端提供局部地图信息;最后,使用点线综合的视觉词典进行回环检测,当检测到回环时,对系统中各状态量进行全局优化。基于EuRoC数据集以及KITTI数据集的实验结果表明:该双目视觉-惯导SLAM算法可以有效剔除线特征误匹配,提高系统前端的跟踪精度,而点线综合的视觉词典可以提升系统回环检测的准确率。

一种基于个人电脑及外设的黑白点线特征草图覆墨方法

介绍了一种利用扫描仪、数位板等计算机外围设备在个人电脑中Photoshop图像处理软件下对分类学研究黑白点线特征草图进行覆墨的方法。该方法包括输入草图、定稿、覆墨、排版、输出等步骤。

一种点线特征融合的双目同时定位与地图构建方法

基于特征点的视觉同时定位与构图方法依赖于图像质量以及可提取的特征点数量,且稀疏的特征点不能直观表达环境的结构信息。为此,提出一种将图像的点特征和线段特征融合的双目同时定位与构图方法。算法前端提取图像的点特征和线段特征,进行特征跟踪并完成相机位姿求解,从跟踪线程中分离出特征提取线程,进一步提升了前端线程的帧率。后端采用集束调整对局部地图进行优化,利用基于词袋模型的闭环检测以抑制系统的累积误差。最后结合点线特征共同构建环境地图。在公开数据集上进行了实验,与当前主流算法相比,提出的算法在保证定位精度的同时能够获得更丰富的环境地图,具备较好的鲁棒性与实时性。

基于RGB-D相机的点线特征融合SLAM算法

针对大场景、弱纹理环境下ORB-SLAM算法特征点采集困难和精度低的问题,提出一种基于RGB-D相机的点线特征融合SLAM算法——PAL-SLAM。在ORB-SLAM算法基础上设计点线特征融合新框架,通过研究点特征与线特征的融合原理来推导点线融合的重投影误差模型,进而得到该模型的雅可比矩阵解析形式,以此为基础提出PAL-SLAM算法的框架。利用TUM数据集对PAL-SLAM和ORB-SLAM算法进行对比实验,结果表明PAL-SLAM算法在室内大场景中的定位精度更高,标准误差仅为ORB-SLAM算法的18.9%。PAL-SLAM算法降低了传统视觉SLAM在大场景、弱纹理环境中的定位误差,有效提升了系统的准确性。文中还搭建了基于Kinect V2的实验平台,实验结果表明,PAL-SLAM算法能与硬件平台较好结合。

数字摄影测量教学中的点线特征提取

在数字摄影测量的研究和生产实践中经常需要提取数字影像中的点、线特征,对这些点线特征的提取,多数文献和教材由于篇幅限制和侧重不同,都只是给出了相关算子模型和计算过程,而对这些算子的设计原理和理论基础分析重视不够,这给数字摄影测量学课程教学中学生对算子的学习和理解带来困难。本文针对数字摄影测量中的一些经典特征提取算子,分析了其设计初衷和基础理论分析过程,其结果有助于工程技术人员和相关专业学生对点线特征提取的理解,有助于培养学生分析问题和解决问题的能力。教学实践表明,这种方法收到了较好的教学效果,得到学生好评。

点线特征融合的双目视觉SLAM算法

在低纹理场景中,基于点特征的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)算法很难追踪足够多的有效特征点,系统甚至无法正常工作.众所周知,丰富的线段特征存在在人造结构化环境中的地面与墙面交界处.因此,提出一种点线特征融合的双目视觉SLAM算法.在特征提取前,引入梯度密度滤波器加速线特征提取和提高线匹配的准确度,在特征点匹配阶段,采用渐进采样一致性(Progressive Sampling Consensus,PROSAC)算法剔除误匹配点,从而提高定位精度.此外,在特征的融合过程中引入加权思想.在构造误差函数时对点线特征权重进行合理分配.最后,通过在公开的数据集上得到的仿真并与一些优秀的算法进行对比,该算法性能优于PL-SLAM和LSD-SLAM算法,证明了算法的有效性和准确性.

基于光度与点线特征融合的半直接单目视觉定位算法

针对室内环境中对定位精度和可用性不断提高的需求,基于视觉的同步定位与建图算法(SLAM)成为了室内定位领域的研究热点,但是视觉SLAM算法或因采用点作为特征导致其在低纹理环境鲁棒性较低,或因只采用光度计算而对环境过于敏感。由此,提出了基于光度和点线特征融合的半直接单目视觉定位算法,结合基于光度的直接法构建相对稠密的逆深度场景结构进行位姿优化,同时在基于点特征的算法上加入直线特征提高特征的丰富性和位姿估计的准确性。通过EuRo C数据集和实际场景实验表明:所提方法具有更高的位姿估计精度和鲁棒性。

双目点线特征与惯导融合的机器人SLAM算法研究

针对机器人SLAM系统,在实际场景或低纹理场景中提取的有效特征点数量少,使得系统初始化效果差和定位精度不高的问题,提出了一种基于点线特征和IMU信息融合的双目惯导SLAM系统(Stereo Visual-Inertial state estimator based on optimized ORB point feature and line feature,OOL-VINS).首先,对双目视觉进行点线特征的提取与匹配,通过匹配的特征点构建残差模型,并结合松耦合算法实现系统快速且稳定的初始化.然后,利用点线特征以及三角化算法设计了一种更加鲁棒的方法来获取路标点的3D信息,以此来实现系统的位姿跟踪.最后,根据位姿跟踪过程中构建的局部三维地图,并结合滑动窗口的非线性优化对相机位姿进行更新,提高系统的定位精度.实验结果表明,OOL-VINS在TUM纹理结构类数据集上能获取更多有效的点线视觉特征,且特征提取耗时为27ms.在Eu Roc和TUM-VI数据集上进行初始化实验,实验表明,OOL-VINS初始化更加快速稳定.同样地,我们使用以上数据集进行系统性能的实验验证.结果表明,该系统的平均跟踪帧率为25Hz,在300m的低纹理场景中,定位精度可达0.072m.