基于局部与全局优化的双目视觉里程计算法

为实现移动机器人的实时精确定位,提出一种新的双目视觉里程计算法。利用加速尺度不变特征变换(SIFT)算子提取左右图像特征并做稀疏立体匹配,对前后帧图像进行帧间SIFT特征追踪,在RANSAC策略下通过运动估计获得初始位姿(旋转和平移矩阵)。在此基础上,将图像序列分为关键帧和非关键帧,采用可变滑动窗口对相邻关键帧的位姿局部非线性优化以减小帧间运动估计误差,同时通过词袋模型进行回环检测,对环内所有关键帧的位姿全局优化,避免位姿误差的累积和轨迹漂移。实验结果表明,该算法满足实时性要求,并且能够减小位姿误差,提高定位精度。

融合运动信息的三维视觉显著性算法研究

计算机视觉领域中的视觉显著性研究大多局限于二维图像层面,而忽略人的视觉注意力决策是在三维动态场景下发生的。为此,在融合多种特征的显著性计算框架基础上,提出一种三维视觉显著性算法。通过场景的颜色信息、运动信息和深度信息分别计算各个特征通道下的显著性结果,再经过动态的融合得到最终的显著性结果。同时针对三维场景下显著性数据集的稀缺问题,给出一个用于评价三维动态场景下显著性算法的数据集。与HC算法、RC算法、GMR算法的对比结果验证了该算法具有明显的优势,并且更符合人眼的视觉注意力机制。

基于人类视觉机制的层级偏移式目标检测

当前大多数深度强化学习方法在目标检测方面的召回率较低。为此,提出一种层级偏移的动态搜索方法。在原有层级搜索的基础上,采用了锚点的思想,增加区域偏移,避免层级产生的区域局限,使得搜索更加灵活。结合Double DQN与Dueling DQN的优势,以Double Dueling DQN的网络结构作为智能体深度增强网络的结构。实验结果表明,与原有层级搜索方式相比,该方式的目标检测的精确度与召回率较高。

结合尺度预测的核相关滤波器目标跟踪方法

视觉目标跟踪问题中,被跟踪目标的尺度变化普遍存在。为解决这一难题,本文在核相关滤波器目标跟踪方法的基础上提出了一种能结合尺度预测的目标跟踪方法,简称为KCFSE。该方法使用两种更新策略不同的岭回归模型。在实际跟踪过程中,先采用可塑性强的模型跟踪目标的位置偏移。然后,以此位置为中心,构建图像金字塔,利用稳定相强的模型预测目标的尺度变化。对10组视频序列进行的实验测试表明,该方法在处理尺度变化的被跟踪目标时性能明显优于其他目标跟踪算法。

基于RGBD图像和卷积神经网络的快速道路检测

针对移动平台有限的计算资源以及基于彩色图像的道路检测方法在极端光照情况下及路面类型变化时存在的不足,提出了一种融合彩色图像和视差图像的基于9层卷积神经网络的快速道路检测算法。提出一种数据输入层预处理方法,将视差图变换为视差梯度图以强化地面特征,降低网络深度需求。所提两种网络结构为双通道后融合网络和单通道前融合网络,分别用于卷积特征分析和快速道路检测。实验使用KITTI道路检测数据集并人为划分为普通和困难两组数据集,对该算法进行实验对比和分析,结果表明:与基于彩色图像的卷积神经网络方法相比,该算法在普通数据集上最大F1指标(MaxF1)提升了1.61%,在困难数据集上MaxF1提升了11.58%,算法检测速度可达26frame/s,可有效克服光照、阴影、路面类型变化等影响。

基于迭代式自主学习的三维目标检测

为了提高基于双目视觉的三维目标检测的精度与鲁棒性,提出了一种基于迭代式自主学习的三维目标检测算法。首先,为了给三维目标检测任务提供更精准的目标点云信息,提出了一种基于迭代式自主学习的视差估计算法,通过迭代地增加目标区域的视差监督信号以及引入选择性优化策略,提高了视差估计在目标区域中的准确性。其次,在网络结构中,提出了一种自适应特征融合机制,将不同模态信息的特征进行自适应融合,进而得到准确且稳定的目标检测结果。结果表明,与近年来较流行的基于视觉系统的算法相比,所提出的三维目标检测算法在检测精度上有较大提升。

基于语义先验和深度约束的室内动态场景RGB-D SLAM算法

针对大多数同时定位与地图构建(simultaneous localization and mapping,SLAM)系统在动态场景下位姿估计不准确的问题,本文提出了一个基于语义先验的加权极线和深度约束的运动一致性检测算法,以此构建一个室内动态场景下的视觉SLAM系统.该系统首先对输入图像进行语义分割,获取潜在运动特征点集合;其次对图像非潜在运动区域进行特征点提取,获取帧间变换的初值,利用加权的极线约束和深度约束完成对潜在外点(如运动特征点)的二次判断,并将外点移除从而更新静态特征点集合.最后利用静态特征点集实现对相机位姿的精确求解,并作为位姿优化的初值送入后端.本文在TUM(慕尼黑工业大学)数据集上的9个动态场景序列以及波恩复杂动态环境数据集的3个图像序列上进行了多次对比测试,其绝对轨迹误差(ATE)的均方根误差(RMSE)与现有先进的动态SLAM系统DS-SLAM相比降低了10.53%~93.75%,对于平移和旋转相对位姿误差(RPE),RMSE指标最高实现73.44%和68.73%的下降.结果表明,改进的方法能够显著降低动态环境下的位姿估计误差.

视觉传感器和惯性传感器的时间标定方法

视觉惯性信息融合的同时定位和建图(SLAM)技术是机器人导航领域的热点问题。多模态数据同步是数据融合算法的前提,其关键在于获取不同传感器采集时刻的准确时间戳。视觉传感器的时间戳可通过硬件方法准确获得,而惯性传感器的时间戳通常粗略地用输出时间代替,这必将导致视觉惯性融合算法精度的降低。针对该问题提出了一种视觉惯性传感器的时间同步标定方法。首先设计了一种基于平面单摆的标定装置,视觉传感器与惯性传感器在平面单摆运动中独立捕获数据,并基于同一时钟添加时间标记;其次,提出了基于最小二乘法估计摆锤重心角位移函数和角速度函数的方法;最后,通过比较两个函数的相位差获得惯性传感器的输出延时和时间戳。实验结果表明所提方法的重复标定均方差为0.018 ms,这证明所提方法的有效性。