基于卷积神经网络的语义同时定位以及地图构建方法

环境感知技术是智能车功能实现的前提,而在感知的基础上提高智能车对环境的认知能力是实现全自动驾驶的关键。针对室外交通场景,基于卷积神经网络提出了一种新的智能车同时定位以及语义地图构建方法。对智能车进行定位,并且构建稠密的3D语义地图,提高智能车的环境感知、认知能力。首先,基于双目ORB-SLAM提出了一种四线程的双目SLAM(simultaneous localization and mapping)方法构建稠密的3D点云地图,四线程分别为追踪线程,局部地图构建线程,回环检测线程以及稠密地图构建线程。其次,为提高智能车的环境认知能力,使用端对端的方法对图像进行语义分割,并且为提高语义分割精确率,将环境的几何信息也作为卷积神经网络输入。最后,将感知的能力与认知的能力相结合构建语义地图,为智能车实现全自动驾驶奠定基础。将算法在KITTI数据集上进行测试,整体算法速度为10帧/s,语义分割的全局精确率为73.1%,构建的语义地图显示本文提出算法能够在大规模室外场景下重构全局一致性地图,并且帮助智能车实现对环境的解析。

基于视觉同时定位与地图构建的水下图像增强式视觉三维重建方法

针对仿生机器鱼水下作业时面临的水下图像质量偏低、水下自主定位难的问题,提出一种颜色均衡与G-B通道先验融合的水下图像增强式算法。将该算法和视觉同时定位与地图构建(SLAM)方法结合,实现了水下图像增强式的视觉三维重建。在不同水域环境下进行了水下图像处理实验、水下环境视觉三维重建实验和运动轨迹跟踪实验,结果表明该方法有效提高了水下图像综合质量,特征匹配效率提高了16.03%,真实轨迹与估计轨迹的误差平均约为7.99 mm。

ORB-SLAM3融合语义分割的AGV栅格地图构建与导航

同时定位与建图(SLAM)技术是自动引导车(AGV)实现自主引导的关键技术之一,传统的视觉SLAM生成的稀疏点云地图无法得到真实场景中空间是否被障碍物占据的状态,因此不具备导航功能。提出了一种基于语义分割的栅格地图构建方法。通过全景分割网络Panoptic FCN对ORB-SLAM3生成的关键帧进行语义分割,利用相机水平安装且高度固定作为先验条件确定地面的空间位置,再结合关键帧位姿将得到的语义掩膜进行反投影,利用贝叶斯增量式估计方法构建二维占据栅格地图。在实验室搭建的AGV平台上对该建图算法进行验证,利用A*算法作为路径规划算法,实验结果表明算法生成的语义栅格地图能够正确的表示出地面和障碍物位置,AGV按照规划好的路径正确地跟踪到目标点,算法生成的栅格地图能够正确地反映出环境语义信息并可以应用于AGV实际导航,算法实时性和准确性都能够满足需求。

基于语义似然与高精度地图匹配的智能车辆同时定位与检测

车载传感器数据与高精度地图的精确匹配是提升智能车辆感知与定位的关键.提出基于语义似然模型(SLM)的高精度地图匹配新算法,实现智能车辆同时定位与目标检测任务.首先通过U-Net提取路面语义目标,利用核密度估计建立SLM.基于粒子滤波框架,利用位姿变换将高精度地图上目标抽样点映射至SLM中,计算该抽样点与传感器数据的匹配程度对每个粒子的权重更新,实现智能车辆的高精度定位.最后利用定位结果完成地图上的要素目标到图像的映射,实现目标的精准检测.利用在校园道路与城市道路环境下采集的数据对所提算法进行验证,实验结果表明,算法的平均定位误差约为14 cm,路面路标检测结果平均交并比(MIoU)均大于80.较之深度神经网络等当前最佳(SOTA)的检测方法,所提算法引入高精度地图的先验信息可显著提升智能车辆定位与目标检测性能.

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。

基于点线特征的视觉同时定位与地图构建综述

同时定位与地图构建(simultaneous localization and mapping,SLAM)作为计算机视觉中的热门方向,在无人驾驶、移动机器人等领域中发挥着重要的作用。由于线特征在低纹理环境下的优势,越来越多的研究人员利用点线特征融合的方法提高SLAM系统的精度和鲁棒性。文中首先简要阐述了传统的点特征SLAM系统在低纹理环境下的局限性,并对现有的视觉SLAM综述文献进行了总结;随后,对经典的点线SLAM方案进行了介绍,并总结了点线特征融合在前端、后端、闭环检测中的研究进展;最后,对点线SLAM未来的发展方向进行了展望。

基于先验地图的视觉重定位方法综述

在自动驾驶、增强现实和智能移动机器人领域,视觉重定位是非常重要的基础问题.视觉重定位是指根据视觉传感器实时拍摄的数据,在已有先验地图中确定位置和姿态的问题.过去数十年间,该问题受到广泛关注,涌现出种类繁多的先验地图构建方法和视觉重定位方法.这些工作差异大,涉及范围广,技术概括和总结尚缺乏.因此,对视觉重定位领域进行综述具有重要的理论和应用价值.尝试为视觉重定位相关方法建立一个统一的蓝图,从图像数据在大规模地图数据库中查询的角度对相关工作进行分析和总结.综述不同类型地图数据库构建方法、不同特征匹配、重定位和位姿计算方法,总结目前视觉重定位的主流数据集,最后分析视觉重定位存在的挑战和潜在发展方向.

地下停车场环境融合语义特征的视觉惯性定位方法

针对地下停车场环境GPS信号差、光线暗、特征少、纹理弱等带来的定位问题,提出了一种融合语义信息的视觉惯性定位算法.该算法首先通过视觉里程计和IMU预积分进行视觉惯性信息的融合.同时,利用4个鱼眼摄像头输入图像构建全景环视图像,并采用语义分割算法提取停车场环境语义信息.然后,根据视觉惯性紧耦合位姿完成逆投影变换,获得语义特征投影地图并采用回环检测和位姿图优化方式减小累积误差,完成全局位姿图优化,实现较高精度的定位效果.最后,通过Gazebo仿真与实车测试对该算法进行了验证.结果表明,本文算法能充分利用环境语义信息构建较为完整的语义地图,且基于重复定位误差对比,相较于ORB-SLAM3提高了车辆定位精度.

掘进机器人视觉定位及巷道地图重构技术研究

在实现煤矿掘进工作面智能化和无人化方面,巷道环境的构建以及掘进机器人的准确定位至关重要。考虑到井下空间狭小、设备众多以及光线不足等限制因素,实现对巷道环境和设备的可视化变得复杂。解决这一难题的关键在于精准地勘测井下环境,实现设备的精确定位。以煤矿掘进机器人为研究对象,对巷道的三维重建和掘进机器人的定位问题进行了深入分析。通过比较不同的掘进机器人定位和建图方案,确定了适用于煤矿巷道的整体方案。该方案综合运用了单目视觉、激光雷达等多种传感器,为解决掘进机器人定位和巷道环境构建等难题提供了应对策略。

回环修正语义并结合三角定位的重定位算法

针对栅格地图的回环检测导致语义物体的映射产生偏移,Cartographer匹配定位算法在单一环境下定位速度慢甚至定位错误的问题,本文提出基于回环检测修正语义物体位置并结合三角定位的重定位算法。通过YOLOV5物体识别并结合Cartographer构建语义地图,基于回环检测修正语义地图中语义物体位置,基于语义地图结合三角定位对机器人预定位,基于预定位位姿进行Cartographer精定位。最后通过多组真实环境下的实验证明了该算法在大场景下定位速率相较于原始Cartographer重定位算法提升76.23%,并提升鲁棒性。

农业场景下移动机器人的双目视觉定位与地图构建方法

视觉定位与地图构建是实现移动机器人自主导航的关键技术。针对农业场景下特征跟踪困难、场景规模大、运动不稳定引起系统精度和鲁棒性下降的问题,提出了一种适用于农业场景的双目视觉定位与地图构建方法。该方法首先利用静态立体匹配点来增加跟踪阶段地图点的数量和覆盖范围,从而增加了深度计算的准确率,同时提出一种点选择算法对密集地图点进行采样并移除离群点,进一步提高了系统的准确率和运行效率;然后通过显式尺度估计来减小大规模场景下定位与地图构建的尺度误差,并结合场景特点改进关键帧判别策略,避免了远处大目标导致关键帧稀疏的问题;最后提出新的运动假设构建位姿估计失败时的恢复策略,提高了系统在颠簸运动时的鲁棒性。在农业场景数据集上的评估结果表明,相比于当前先进的视觉定位与地图构建系统,提出的方法在困难序列上的轨迹误差降低幅度超过50%,其中3个序列上的尺度误差下降了一个数量级,取得了更高的精度和鲁棒性,能有效地应对农业场景下视觉定位与地图构建的挑战。

基于目标检测的单目视觉半稠密语义地图构建

传统的视觉同步定位与地图构建(simultaneous localization and map construction, SLAM)系统在机器人定位和制图工作中取得了显著的成功,但存在着缺乏场景信息、地图过于稀疏、单目相机初始化困难等亟待解决的问题。提出了MNS-SLAM(monocular-semantic SLAM),将目标检测算法与单目视觉SLAM技术相结合,进而构建有助于环境理解的半稠密语义地图。首先,通过目标检测网络YOLOv4检测对象获取边界框和类别信息,通过消失点算法和二次曲面恢复算法由2D目标检测恢复出3D长方体及二次曲面,实现3D物体的位姿初始化。同时,引入了目标间相对位姿不变性的语义约束,构造了语义损失函数,将其添加到BA(bundle adjustment)优化中,最后通过增量式3D线段提取,构建带有物体语义信息的半稠密地图。文中方法在TUM公开数据集和真实场景中进行试验,不仅构建了半稠密地图,同时添加了语义信息,为后端的优化提供了新的约束,相机的绝对和相对位姿误差表现出优于单目ORB-SLAM2的性能,有助于搭载单目相机的移动机器人感知和理解环境,执行更复杂的任务。

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建(SLAM)算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。

基于目标检测和动静点分离的视觉即时定位与地图构建技术

针对视觉即时定位与地图构建在动态环境中鲁棒性失效的问题,提出一种基于目标检测和动静点分离的视觉即时定位与地图构建技术。使用目标检测算法YOLO v5对图像预处理,获取动态目标物的图像区域。在图像区域划分的基础上,对框外区域使用随机抽样一致性算法剔除外点。根据点的运动规律分离框内区域的动点和静点,在光束法平差优化中对可用静点赋以权重。为了在建图中滤除动态信息,仅保留框外区域的点云显示。通过性能测试确认,所提出的方法在数据集中表现出较高的精度和鲁棒性,整体上优于同类算法。

基于二维概率网格的语义地图构建

在同步定位与地图构建(SLAM)算法构建语义地图的过程中,为解决使用深度学习技术提取的语义信息中含有噪声的问题,提出通过网格的概率表征语义观测的语义匹配法,结合网格匹配和概率更新降低噪声的影响,无需特征点匹配等辅助手段即可增量地构建清晰的地图。基于实车数据构建的地图所包含的斑马线和车道线均清晰准确,证明了该方法的有效性。

基于2D激光雷达的移动机器人同步定位与地图构建算法研究

文中提出一种将激光雷达和轮式里程计相融合的方法,用于提升SLAM (Simultaneous Localization and Mapping)算法前端点云配准效率和点云畸变矫正效果。在点云配准方面,对PL-ICP算法做出改进,首先对激光点云进行预处理去除无效点,再利用自适应体素滤波方法对激光点云进行下采样,在保留点云特征的同时将点云稀疏化,从而减少点云配准的计算量,利用轮式里程计的测量值为点云配准提供初值,提高点云配准的效率和定位效果。在点云畸变矫正方面,按照轮式里程计测量的机器人位姿的时间戳,利用拉格朗日线性插值法对点云配准配得到的机器人位姿进行线性插值,利用EKF算法融合轮式里程计测量的位姿和点云配准插值得到的位姿对轮式里程计的测量误差做出矫正,然后为激光点云提供运动补偿,从而去除点云畸变提升SLAM算法定位和建图效果。利用ROS搭建仿真环境验证了本文提出的算法的有效性。

基于环境语义信息的同步定位与地图构建方法综述

同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点,传统的SLAM技术虽然在实时性方面已经达到较高的水平,但在定位精度和鲁棒性等方面还存在较大缺陷,所构建的环境地图虽然一定程度上满足了机器人的定位需要,但不足以支撑机器人自主完成导航、避障等任务,交互性能不足.随着深度学习技术的发展,利用深度学习方法提取环境语义信息,并与SLAM技术结合,越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新研究进展,重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果,并对传统视觉SLAM算法与语义SLAM算法做了深入的对比研究.最后,展望了语义SLAM研究的发展方向.

基于GPS的先验地图辅助视觉惯性定位方法

为提高视觉惯性导航系统定位精度,解决其航向缺失且无法提供绝对地理位置的问题,提出一种利用GPS生成先验地图来辅助视觉惯性同时定位与地图构建(SLAM)方法。将每一帧图像采集点的GPS地理坐标投影成绝对高斯坐标,与视觉关键帧信息同步,构建先验地图。利用词袋模型进行闭环检测,由视觉重投影误差因子、IMU残差因子、先验图像重投影误差因子共同构建目标优化函数,基于最小二乘法进行位姿估计与优化。通过地面车载和低空机载实验对该方法进行了验证,实验结果表明:相比于无先验地图的定位方法,x、y、z方向的平均定位误差分别降低了68.2%、75.1%、46.4%以上;相比于有先验地图(未融合GPS)的定位方法,x、y、z方向的平均定位误差分别降低34.9%、51.5%、19.4%以上,有效提高了视觉惯性导航系统在大范围环境中的定位精度。

联合UWB和IMU的矿井内实体定位及语义地图构建系统

煤矿开采包括地面开采和地下开采两种方式,在全世界,地下开采方式占60%,矿井作业依然普遍。为保证矿井下作业人员的安全,需要实时掌握井下人员的位置情况,传统的GPS在矿井环境下由于信号衰减太大已经不再适用。为解决矿井环境下人员的稳定定位、安全保障问题,本文提出了一种联合UWB和IMU器件的矿井内实体定位及语义地图构建系统,介绍了系统总体构成、系统实现的功能和系统各部分的原理及技术实现方法。该系统可以实现矿井下人员的稳定定位,具备一键SOS功能、物理实体的语义地图构建功能,在平时,井下作业人员基于所构建的语义地图可以更高效地工作;在发生危险时,能让相关人员及时地获取到遇险人员的位置信息。

基于改进ORB-SLAM2算法的RGB-D稠密地图构建

针对传统ORB-SLAM2系统无法稠密建图以及缺少可应用于移动机器人在特定场景下导航与路径规划的八叉树地图等问题,提出了一种改进RGB-D ORB-SLAM2算法.该算法利用深度信息,通过针孔成像模型计算出关键帧点云的三维空间位置,采用离群点滤波去除多余杂点,体素滤波保留具有特征信息的点云进行拼接,降低地图冗余度,并经过稠密回环处理进一步优化更新关键帧的点云位姿,构建出精确的稠密点云地图并转换为八叉树地图.试验数据表明,相比于RGB-D SLAMV2系统,RGB-D ORB-SLAM2系统的全局轨迹误差和相对位姿误差提升有50%以上,均方根误差为0.89%,均值误差为0.76%;在建图性能方面,相比于同类型算法,点云数量平均降低约30%.此外,八叉树地图相比于点云地图,仅占其内存的0.6%,更加满足了高精度、快速性的导航需求.