SPATIAL TRAJECTORY PREDICTION OF VISUAL SERVOING

Target tracking is one typical application of visual servoing technology. It is still a difficult task to track high speed target with current visual servo system. The improvement of visual servoing scheme is strongly required. A position-based visual servo parallel system is presented for tracking target with high speed. A local Frenet frame is assigned to the sampling point of spatial trajectory. Position estimation is formed by the differential features of intrinsic geometry, and orientation estimation is formed by homogenous transformation. The time spent for searching and processing can be greatly reduced by shifting the window according to features location prediction. The simulation results have demonstrated the ability of the system to track spatial moving object.

基于计算机视觉的电力作业人员行为分析研究现状与展望

电力作业人员的有效监管是保障电力安全生产的基础。该文对电力视频中作业人员的行为识别研究进行了归类总结,涵盖静态行为分析(穿戴分析、动作分析和组合分析)和动态行为分析(复杂动作、时序行为和行为预测等);详细综述了电力作业行为分析中的核心算法模块,包括目标检测、姿态估计和视频跟踪等;论述了电力作业行为识别在算法高效性、鲁棒性、灵活性等方面所面临的应用难点和挑战,并展望了电力作业行为智能监控领域的未来发展方向,特别强调了在软硬件结合、通用大模型、生成式人工智能方面进行技术创新和改进所蕴含的潜在机会。

视觉SLAM方法综述

实时定位与建图(SLAM)技术搭载特定传感器,使移动机器人在无任何环境先验条件下,在运动过程中自主建立环境模型来计算自身位姿,大幅提高其自主导航能力,以及对不同应用环境的适应性。视觉SLAM方法以相机作为外部传感器,通过采集周围环境信息来创建地图并实时估计机器人自身位姿。为此,介绍了具有代表性的经典视觉SLAM方法及与深度学习相结合的视觉SLAM方法,分析了视觉SLAM方法中采用的不同特征检测方法、后端优化、闭环检测,以及动态环境下视觉SLAM方法的应用,总结了视觉SLAM方法的问题,并探讨了视觉SLAM方法在未来的热点研究方向和发展前景。

面向空间目标近距离操作的相对位姿测量系统设计

面向空间近距离操作的相对位姿测量系统(RPS)是对目标进行距离测量、位姿测量、三维重构及光学成像的有效方式。针对高精度一体化位姿测量需求,文章提出了融合激光雷达测距的单目视觉位姿测量系统,可同时具备目标距离、方位测量及三维成像等能力。经过在轨应用验证,结果表明:方位测角精度和位姿测量精度等关键指标均优于预期值,该系统主要功能性能可满足空间操作实际应用需求,可以为未来空间机动平台的目标测量系统研制提供参考。

基于先验地图的视觉重定位方法综述

在自动驾驶、增强现实和智能移动机器人领域,视觉重定位是非常重要的基础问题.视觉重定位是指根据视觉传感器实时拍摄的数据,在已有先验地图中确定位置和姿态的问题.过去数十年间,该问题受到广泛关注,涌现出种类繁多的先验地图构建方法和视觉重定位方法.这些工作差异大,涉及范围广,技术概括和总结尚缺乏.因此,对视觉重定位领域进行综述具有重要的理论和应用价值.尝试为视觉重定位相关方法建立一个统一的蓝图,从图像数据在大规模地图数据库中查询的角度对相关工作进行分析和总结.综述不同类型地图数据库构建方法、不同特征匹配、重定位和位姿计算方法,总结目前视觉重定位的主流数据集,最后分析视觉重定位存在的挑战和潜在发展方向.

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化完成在局部约束下的无人机位姿的优化和修正,避免估计位姿的误差累计导致无人机轨迹偏移。模拟矿井灾后复杂环境进行仿真实验,结果表明:基于视觉与激光融合的位姿估计算法的平均相对平移误差和相对旋转误差分别为0.0011 m和0.0008°,1帧数据的平均处理时间低于100 ms,且算法在井下长时间运行时不会出现轨迹漂移问题;相较于仅基于视觉或激光的位姿估计算法,该融合算法的准确性、稳定性均得到了提高,且实时性满足要求。

基于多关键点检测加权融合的无人机相对位姿估计算法

针对无人机降落阶段中无人船受水面波浪影响导致图像产生运动模糊以及获取无人机相对位姿精度低且鲁棒性差的问题,提出一种基于多模型关键点加权融合的6D目标位姿估计算法,以提高位姿估计的精度和鲁棒性.首先,基于无人船陀螺仪得到的运动信息设计帧间抖动模型,通过还原图像信息达到降低图像噪声的目的;然后,设计一种多模型的级联回归特征提取算法,通过多模型检测舰载视觉系统获取的图像,以增强特征空间的多样性;同时,将检测过程中关键点定位形状增量集作为融合权重对模型进行加权融合,以提高特征空间的鲁棒性;紧接着,利用EPnP(Efficient perspective-n-point)计算关键点相机坐标系坐标,将PnP(Perspective-n-point)问题转化为ICP(Iterative closest point)问题;最终,基于关键点解集的离散度为关键点赋权,使用ICP算法求解位姿以削弱深度信息对位姿的影响.仿真结果表明,该算法能够建立一个精度更高的特征空间,使得位姿解算时特征映射的损失降低,最终提高位姿解算的精度.

基于运动约束的无监督单目视觉里程计

针对视觉里程计易受到动态物体及遮挡因素影响导致的位姿估计准确度低、鲁棒性差等问题,提出一种基于运动约束的无监督视觉里程计算法。首先通过最小重投影误差方法处理了大范围场景中的前景遮挡,考虑到现实场景中的运动物体影响,结合光流估计设计了一种运动掩膜处理方法,有效剔除了场景中动态物体像素信息;其次,对于场景中的重复结构和均匀纹理区域,通过数据驱动从轨迹数据中学习车辆的行为模式,建立运动学约束,将车辆运动模型建模为多源时间序列回归模型,避免陷入局部解;最后,结合运动掩膜与运动学模型约束所设计的无监督深度学习框架,对单目相机运动位姿及场景深度进行同步估计,提高了位姿估计精度及模型适应性。在KITTI道路公开数据集和校园低速无人车平台上的实验结果表明,所设计算法的位姿估计精度及深度估计精度优于目前主流无监督单目视觉里程计方法。

基于LSD检测的无人机视觉着陆定位算法

针对复杂电磁干扰和拒止环境下固定翼无人机自主着陆的应用场景,提出了一种基于LSD的无人机视觉着陆定位算法,通过检测跑道的左右边线以及起始线对无人机进行定位;根据机场跑道的形态学特征,构建机场跑道数据模型,并对实验所用相机进行标定,采用灰度化和高斯滤波对采集到的图像进行预处理,采用LSD直线检测算法以提取跑道的直线特征,设计几何滤波策略从直线特征中提取出跑道的三条边线,采用蒙版技术以提高检测算法的抗干扰能力;根据相机成像原理推导出基于线检测的PNP定位算法,通过检测得到的机场跑道线在像素坐标系下的位置信息求出无人机相对于跑道的三维位置;分别在视景仿真环境和真实机场环境进行检测和定位解算,结果满足无人机着陆定位实时性和准确性的要求,从而验证了视觉着陆定位算法的有效性。

融合语义信息的视觉惯性SLAM算法

针对传统SLAM算法在动态环境中会受到动态特征点的影响,导致算法定位精度下降的问题,提出了一种融合语义信息的视觉惯性SLAM算法SF-VINS(visual inertial navigation system based on semantics fusion)。首先基于VINS-Mono算法框架,将语义分割网络PP-LiteSeg集成到系统前端,并根据语义分割结果去除动态特征点;其次,在后端利用像素语义概率构建语义概率误差约束项,并使用特征点自适应权重,提出了新的BA代价函数和相机外参优化策略,提高了状态估计的准确度;最后,为验证该算法的有效性,在VIODE和NTU VIRAL数据集上进行实验。实验结果表明,与目前先进的视觉惯性SLAM算法相比,该算法在动态场景和静态场景的定位精度和鲁棒性均有一定优势。

融合事件的点线特征法视觉惯性里程计

视觉惯性里程计是机器人实现自主定位的关键技术,事件相机作为一种异步视觉传感器,与传统相机具有互补的特点。针对低光照、光照大幅度变化和高速运动场景,对事件相机的输出和传统图像进行融合,并结合惯性测量单元进行实时点线特征法视觉惯性里程计研究。提出一种从事件流生成事件图像的算法,设计融合事件的点线特征检测方法;基于视觉-惯性紧耦合的思想,设计后端滑动窗口优化算法;进行数据集试验验证和无人机飞行试验验证。在数据集上的试验结果表明:与仅使用传统图像的点线特征法视觉惯性里程计相比,在高速运动的场景下,定位误差平均减少了22%以上;在低光照、光照大幅度变化的场景下,定位误差平均减少了59%以上。

仿蜂鸟倾斜悬停的四旋翼系统设计

为了提高常规四旋翼的灵活性,模仿蜂鸟在空中倾斜身体悬停的特点,对一种改进后的轴可动四旋翼进行系统设计与验证。首先,在四旋翼的每个机臂上增加由舵机驱动的倾转装置,使得旋翼可以灵活地改变朝向,建立平台的六自由度模型;接着结合视觉传感器测量飞行平台的位姿,基于串级PID控制和线性的控制分配方法,基于嵌入式平台进行实物实验。结果表明,飞行器实现了静止在空中某一位置倾斜姿态,具有更高的灵活性。

基于特征跟踪辅助的小行星着陆先验位姿纠正

针对小行星着陆视觉导航过程中可能出现的先验位姿不准确场景,提出一种基于特征跟踪辅助的位姿估计方法。利用先验位姿信息和三维导航特征数据库实时生成导航特征,并利用手工与深度特征联合的多特征判别式相关滤波跟踪导航特征在导航相机影像中的位置,进一步利用平均峰相关能量筛选出可靠的跟踪结果用于位姿初步估计,基于该初步估计的位姿重新生成导航特征,并使其与导航相机影像做归一化相关匹配,该过程将在可微分的列文伯格−马夸尔特框架中基于归一化相关系数约束来实现位姿优化。利用“冥王号”(Origins,Spectral Interpretation,Resource Identification,and Security-Regolith Explorer,OSIRIS-REx)任务的影像、地形和星历数据进行位姿估算实验,结果表明:在先验位姿不同程度噪声的干扰下,提出算法的位姿估计重投影误差均为亚像素,在距离小行星表面1 km处,位置估算误差在2 m以内,姿态估算误差在1°以内,可有效纠正不准确的先验位姿。

GNSS辅助的视觉动态定位方法研究

针对在城市环境中全球导航卫星系统间歇失锁时运动平台无法连续定位的问题,研究一种GNSS辅助的视觉动态定位方法。该方法利用相机对街景拍摄3幅影像且记录相应位置的GNSS坐标,以GNSS坐标系为世界坐标系。首先分别提取这3幅影像中的SIFT特征点进行三维重建,得到这些特征点在第1幅影像所对应相机坐标系中的坐标以及相机在这3个位置之间的位姿变换,接着利用这3幅影像所对应的GNSS坐标求得相机坐标系与GNSS坐标系之间的位姿变换。然后通过对此街景任意拍摄1幅影像,即可利用P3P+RANSAC对当前影像所对应的相机位姿进行解算得到相机平台此时的GNSS坐标。最后对某场景的影像数据进行实验,实验结果验证了此方法的可行性,且其定位精度一般不超出6 m。

煤矿井下移动机器人多传感器自适应融合SLAM方法

基于同时定位与建图(SLAM)技术的移动机器人能够快速、准确、自动化地采集空间数据,进行空间智能感知和环境地图构建,是实现煤矿智能化和无人化的关键。针对目前煤矿井下多传感器融合SLAM方法存在机器人前端位姿估计退化失效和后端融合精度不足的问题,提出了一种煤矿井下移动机器人激光雷达(LiDAR)−视觉−惯性(IMU)自适应融合SLAM方法。对LiDAR点云数据进行聚类分割,提取线面特征,利用IMU预积分状态进行畸变校正,采用基于自适应Gamma校正和对比度受限的自适应直方图均衡化(CLAHE)的图像增强算法处理低照度图像,再提取视觉点线特征。用IMU预积分状态为LiDAR特征匹配与视觉特征跟踪提供位姿初始值。根据LiDAR相邻帧的线面特征匹配得到移动机器人位姿,之后进行视觉点线特征跟踪,分别计算LiDAR、视觉、IMU位姿变化值,通过设定动态阈值来检测前端里程计的稳定性,自适应选取最优位姿。对不同传感器构建残差项,包括点云匹配残差、IMU预积分残差、视觉点线残差、边缘化残差。为了兼顾精度与实时性,基于滑动窗口实现激光点云特征、视觉特征、IMU测量的多源数据联合非线性优化,实现煤矿井下连续可用、精确可靠的SLAM。对图像增强前后效果进行试验验证,结果表明,基于自适应Gamma校正和CLAHE的图像增强算法能显著提升背光区和光照区的亮度和对比度,增加图像中的特征信息,大幅提升特征点提取数量和匹配质量,匹配成功率达90.7%。为验证所提方法的性能,在狭长走廊和煤矿巷道场景下进行试验验证,结果表明,所提方法在狭长走廊场景的定位均方根误差为0.15 m,构建的点云地图一致性较高;在煤矿巷道场景中的定位均方根误差为0.19 m,构建的点云地图可真实地反映煤矿井下环境。

基于改进ArUco标签的位姿估计方法

针对使用ArUco标签在远距离测量时精度不高的问题,提出改进ArUco标签的位姿估计方法。该方法在ArUco标签的基础上设计了阵列特征圆环,提取圆环的中心点并对其进行排序,根据交比不变特性判断出圆心检测的准确性;利用加权最小二乘法建立ArUco标签角点与阵列圆环圆心之间的直线拟合关系,实现角点修正;采用EPnP算法解算出改进ArUco标签的位姿参数,并利用LM算法对位姿进行优化,提高位姿测量精度。设计了机械臂视觉定位系统验证所提出方法的可行性和有效性。实验结果表明,此改进方法在2.5~4 m范围内测量的最大平移误差为8.72 mm,最大旋转误差为1.78°。所提出的方法在4 m处纵向距离测量的相对误差降低0.69%,提高了测量精度。

二阶锥约束规划的机器人视觉闭环位姿自协调方法

将机器人“手-眼”位姿自协调视为无标定约束规划问题,提出一种基于二阶锥约束规划的视觉闭环控制方法。在图像平面和笛卡儿空间分别建立基于图像与基于位姿的视觉伺服控制算法;在路径约束和局部极小约束准则下构建二阶锥凸优化模型,实现了图像特征轨迹和机器人运动路径折中最优;将所提出的二阶锥约束规划模型嵌入自适应状态估计器,实现了机器人雅可比矩阵在线映射学习,解决了“手-眼”标定参数和视觉深度信息未知问题;最后通过无标定机器人视觉定位证明了二阶锥约束规划模型的有效性,真实环境抓取操作表明了机器人位姿自协调控制的可行性。

特征点法与光流跟踪融合的视觉里程计算法

针对视觉里程计中特征点法因计算量大而导致实时效果不好的问题,提出了一种特征点法与光流跟踪融合的算法。首先,通过度量运动大小的视差阈值和地图点的跟踪衰减系数作为筛选策略选取关键帧;其次,仅对关键帧中的特征点计算描述符,而对于非关键帧中的特征点则是通过基于图像金字塔的稀疏光流法建立起关键点间的对应关系,从而降低计算量;最后,通过最小化重投影误差得到当前帧的位姿估计。通过实验测试证明,该算法的定位精度与ORBSLAM2相当,但运行速度可提高70%以上,实时性明显优于ORBSLAM2算法。

基于双循环Transformer的三维人体姿态估计

针对视觉传感器采集到的图像进行三维人体姿态估计,提出一种双循环Transformer网络模型,有效地从二维关键关节点中提取时空维度高相关性特征,增大感受野,从而提高三维姿态估计的精度。通过在视觉传感器采集得到的公开数据集Human3.6M上的仿真实验,验证了双循环Transformer算法的性能。分析结果表明,最终估计得到的三维人体关节点的平均关节点位置偏差MPJPE(Mean Per Joint Position Error)为41.6 mm,相比于现有方法有一定提升,可以应用到许多下游相关工作中,有着较强的应用价值。

移动机器人视觉里程计综述

定位是移动机器人导航的重要组成部分.在定位问题中,视觉发挥了越来越重要的作用.本文首先给出了视觉定位的数学描述,然后按照数据关联方式的不同介绍了视觉里程计(Visual odometry,VO)所使用的较为代表性方法,讨论了提高视觉里程计鲁棒性的方法.此外,本文讨论了语义分析在视觉定位中作用以及如何使用深度学习神经网络进行视觉定位的问题.最后,本文简述了视觉定位目前存在的问题和未来的发展方向.