微型仿生扑翼飞行器机载单目视觉系统的设计

近年来仿生扑翼飞行器利用视觉系统自主飞行成为一个具有广泛前景的研究方向,然而,其有限的带载能力对视觉传感器的类型、尺寸和重量提出了严格要求。目前商用图像处理模块的尺寸和重量较大,且需要回传图像信息至地面控制系统处理,文章旨在设计一款轻量化机载单目视觉系统,帮助微型仿生扑翼飞行器获取外界信息并实现智能自主的飞行。相比于其他图像处理模块,此系统以国产高算力芯片K210为核心进行设计,可脱离电脑端完成图像处理,尺寸仅为2.2 cm×2.3 cm,重量仅为3 g,内部兼容轻量化网络模型实现分类识别,通过串口进行信息交互,控制扑翼飞行器实现手势识别和目标追踪。

基于自适应算法的单目视觉系统的姿态解算

提出了自适应总体最小二乘算法,以进一步提高单摄像机视觉测量系统光学特征点的姿态解算精度,研究并对比了常用的总体最小二乘算法及自适应总体最小二乘算法在测量系统中的应用。首先,根据空间几何位置关系构建光学特征点、像点及摄像机位置的系统坐标系及三维空间模型,并建立关于光学特征点及像点的矩阵方程。然后,应用常用的总体最小二乘法及自适应总体最小二乘法进行优化求解。最后,基于优化的总体最小二乘解确定光学特征点相对世界坐标系的姿态。应用三坐标测量机进行仿真对比实验,结果表明:常用的总体最小二乘算法得出的姿态坐标的标准差为0.055 7mm,自适应总体最小二乘算法得出的姿态坐标的标准差为0.041 4mm。相比之下,自适应总体最小二乘算法有更高的收敛速度及收敛精度,且解算速度优于常用总体最小二乘算法,满足单目视觉测量系统的稳定、可靠和精度高等要求。

轮式移动机器人单目视觉系统的设计

从轮式移动机器人视觉系统的系统构成出发首先叙述了视觉系统的其硬件组成然后重点阐述了轮式移动机器人单目视觉系统的设计方案与工作原理较深入地论述了设计方案中运动目标识别与跟踪模块和运动估计模块要实现的功能和实现方法

基于图像处理的BGA视觉系统设计

BGA是当今最流行的封装技术,其封装的精度决定了芯片的性能,在对典型视觉系统分析后,本文提出了单目对中视觉系统,并确定了芯片和焊盘与系统的距离,对采集到的图像用小波多尺度算法对其进行边缘检测,验证的系统的可行性,为后续研究提供参考。

基于几何特征的铆接件精确装配视觉伺服控制方法

针对目前铆接件机器人装配多采用示教再现方式实现,主要应用于固定工况的问题,为满足铆钉数量多、工况多变的铆接件装配需求,提出一种基于几何特征的铆接件精确装配视觉伺服控制方法。首先,通过将相机安装在机器人末端执行器平台,搭建基于机器人的铆接件自主对准的单目视觉系统,完成相机、机器人末端与基坐标系标定;其次,选取铆钉平面初始图像中的4个铆钉圆心作为特征点,以特征点之间的连线构造直线特征,利用直线特征与相机旋转运动间的交互矩阵设计基于线特征的铆接件姿态控制律,使得铆钉与铆钉孔轴线平行,从而保证装配过程中铆接件的相互平行;再次,选取铆钉平面初始图像中的4个铆钉圆心作为特征点,1个铆钉的轮廓作为圆面积特征,利用点特征与相机旋转运动的交互矩阵设计铆接件的姿态补偿项,进而利用点特征和圆面积特征与相机平移运动间的交互矩阵设计与姿态控制律相解耦的位置控制律,实现铆钉与相应铆钉孔轴线的重合。最后,采用六自由度机器人进行铆接件自主对准装配仿真。结果表明,以铆接件内部铆钉固有的图像特征作为控制输入,所设计的控制器能够实现铆接件的自主高精度对准。方法对于工业生产中多点对准装配的工况具有广泛的应用价值。

集装箱码头锁销自动化拆装视觉定位系统研究

上海港洋山深水港四期码头已实现集装箱的全自动抓取和摆放,加入视觉定位系统可实现集装箱锁销自动化拆装。介绍了视觉定位系统及其特点,基于锁销自动拆装的工作流程,对视觉定位系统的选择进行了研究,对比分析了单目视觉系统和双目视觉系统的特点。

基于视觉反馈的桥吊自适应滑模防摇控制

为了提高桥式吊车的运行效率,提出了一种基于视觉反馈的桥吊控制方案。首先,采用单目视觉系统、改进的均值漂移算法和最小面积圆法,获取负载的摆角,同时,提出了一种信息融合方案,用于提高检测的精度。其次,提出使用自适应积分滑模面设计控制器。控制器中通过使用积分环节,提高系统的鲁棒性,用于应对视觉系统中反馈延迟的影响,自适应项则用于改善动态性能。此外,为了削弱抖振现象,设计了一种新的自适应趋近律。其中的自适应切换增益能够灵活抑制外部扰动,提高系统的鲁棒性。最后,利用李雅普诺夫理论分析了控制系统的稳定性,并通过仿真验证了所提控制器的有效性。

融合改进SuperPoint网络的鲁棒单目视觉惯性SLAM

单目视觉惯性SLAM系统通过追踪人工设计的点特征来恢复位姿,如Shi-Tomasi, FAST等。然而光照或视角变化等挑战性场景中人工特征提取鲁棒性差,易导致位姿计算精度低甚至失败。启发于SuperPoint网络在特征提取的强鲁棒性,提出一种基于改进SuperPoint网络的单目VINS系统—CNN-VINS,旨在提升挑战性环境下VINS系统的鲁棒性。主要贡献包括:提出改进SuperPoint特征提取网络,通过动态调整检测阈值实现图像特征点均匀检测和描述,构建鲁棒精确的特征关联信息;将改进SuperPoint特征点提取网络与VINS系统的后端非线性优化、闭环检测模块融合,提出一个完整的单目视觉惯性SLAM系统;对网络的编码层和损失函数优化调整,并验证网络编码层对VINS系统定位精度的影响。在公共评测数据集EuRoc实验结果表明,相比国际公认的VINS-Mono系统,所提系统在光照剧烈变化的挑战性场景中定位精度提升15%;对光照变化缓慢的简单场景,绝对轨迹误差均值保持在0.067~0.069 m。

多传感器测量系统的联合标定

将坐标测量机与单目视觉测量系统组合起来,提出了一种触发式测头与视觉测头联合标定的方法。选用内孔径为4mm的光面环规作为标定件,并利用转台、精密滑台配合视觉系统进行环规成像面的调整;然后,利用视觉测量系统提取环规内孔圆心图像坐标,包括设置图像的感兴趣区(ROI)、二值化、形态学去噪、亚像素边缘检测和利用最小二乘法提取圆心的图像坐标。通过拟合内孔圆柱面找到轴线,并利用接触传感系统提取相同位置圆心仪器坐标下坐标;最后,采用最小二乘法求解相关方程,完成联合标定。试验验证显示,该标定方法的标定精度高于6μm,优于已有的标定方法,能够满足测量系统联合测量的精度需要。

基于点线特征的快速单目惯性SLAM算法

以提高弱纹理场景下同步定位与建图(SLAM)算法的定位精度、鲁棒性和运行效率为目的,提出一种基于点线特征的快速单目视觉惯性SLAM算法。算法通过融合点线特征以及惯性测量信息估计出SLAM系统初始运行参数,在SLAM后端通过构建先验误差、惯性测量单元(IMU)测量误差、视觉特征重投影误差、回环检测误差函数进行非线性优化,估计更加精确的相机运动、路标点坐标及IMU状态信息,对算法中的点线特征检测基于计算机统一设备架构(CUDA)并行计算模型设计了并行检测方法。实验结果表明,该算法运行效率相对于串行计算模式有了较明显提升,且在某些场景下具有比VINS-Mono算法更高的定位精度和鲁棒性。

基于时间同步优化和特征筛选的无人机单目视觉惯导联合定位方法

针对全球定位系统(global positioning system,GPS)/北斗失能场景下无人机无法正常定位工作的情况,提出了一种基于单目相机和惯性传感器的状态估计方法。该方法采用单目相机和惯性测量单元(inertial measurement unit,IMU)联合估计无人机6自由度状态,通过运动建模迭代优化图像和IMU时间同步偏差,并以DBSCAN(density-based spatial clustering of applications with noise)聚类筛选鲁棒的视觉特征,用于提高定位精度、减少计算时间。在公共数据集上将所提方法与现有典型算法进行对比,结果表明,所提方法在定位精度与计算时间上取得了较优平衡。