基于双目相机的水下视觉SLAM前端改进

为使机器人能够在昏暗且模糊的水下环境中实现较为清晰的地图构建和准确的自身定位,基于Rtab⁃map算法对其前端进行优化。通过直方图均衡化算法对双目相机采集到的水中图像进行预处理,提高图像的亮度和细节处的清晰度。使用ORB算法提取和匹配图像特征点,采用RANSAC算法剔除图像误匹配点对,提高相机位置估计的精度。实验结果表明:使用直方图均衡化算法处理水下的模糊图像,特征匹配点对数明显增加。基于公开数据集对优化后的Rtab⁃map算法进行测试,所得到的多项误差明显降低。在实验室水槽条件下进行试验,验证了采用优化后的算法得到的三维点云图质量更优。

水下视觉SLAM图像增强研究

针对水下图像质量降低导致视觉SLAM中图像特征点提取与匹配数量减少的情况,提出一种采用图像增强算法改善对比度提高图像特征匹配数量的方法。本文分析了水下图像在水体吸收和散射作用下导致图像质量下降,以及由此造成的视觉SLAM定位精度降低的原因。对比了空域和频域图像增强算法,选择直方图均衡化作为图像预处理方法,研究了直方图均衡化过程。在实际海域分别采集了对比度不同的两组图像,利用ORB特征法进行特征提取与匹配。实验表明,图像增强对水下图像特征点提取、匹配数量以及正确匹配数量均具有较大改善,特别是对比度不高的图像,效果更为明显。

水下航行器视觉控制技术综述

视觉控制是通过视觉信息进行环境和自身状态感知的一种控制方式,文中将该技术应用于水下航行器控制,并对不同应用场景下的相关研究进展、难点与趋势进行分析。首先介绍水下航行器视觉控制技术发展现状与任务场景,然后对水下图像增强、目标识别与位姿估计技术进行介绍,并从水下视觉动力定位与目标跟踪、水下航行器对接及水下目标抓取作业等3个任务场景,对水下航行器视觉控制技术发展现状进行总结和分析,最后梳理了水下航行器视觉控制技术的难点与发展趋势。

基于视觉伺服的水下机器人导引技术

自主水下载具(AUV)需要通过停靠入站进行休眠、电池充电、传输数据等任务的需求。AUV的导引技术对延长AUV的工作时长、扩大作业范围有重要意义。在入站过程的最后阶段,AUV需要在容许范围内保持自身与对象物的相对位姿(包括位置和方向),进而完成对接。因此,确保传感器单元和控制系统在真实的水下环境中对各种干扰具有高度精确性和鲁棒性至关重要。针对此问题,提出了一种基于视觉伺服的AUV的导引技术。首先,该技术通过模型匹配认识法确定机器人与指定标的物(对象物)之间的相对位姿来确定自己的方位。其次,通过遗传算法(GA)以完成实时的位姿认识,抵消水流、图像采集干扰带来的视觉伺服干扰。采用此方法的水下机器人控制系统分别在与东京大学合作的模拟深海水下无光环境实验,以及真实海洋环境中完成了实验验证。实验结果证明,该系统具有对低照度、高浊度引起的图像劣化以及水流引起的控制干扰具备抗干扰性和鲁棒性。

水下视觉SLAM的图像滤波除尘与特征增强算法

将视觉SLAM(同步定位与地图创建)方法应用于水下环境时,扬起的沉积物会导致SLAM特征点提取与追踪困难,而且人工光源的光照不均匀还会引起特征点分布不均与数量较少。针对这些问题,设计了一种水下图像半均值滤波除尘与光照均衡化特征增强算法;根据水中杂质的像素特征,按照“检测-滤波”的顺序采取从外至内的半均值滤波过程消除扬起的沉积物在图像内造成的干扰;同时,通过统计光照均匀、充足区域内的像素分布,得到同一地形下不同位置处的环境特征相似的规律,并将其用于求解水下光照模型,将图像还原为光照均衡的状态,以此来增强图像的特征,进而实现更多有效特征点的提取。最后,利用该滤波与增强算法对多种海底地形数据集进行处理,并在ORB-SLAM3算法下测试运行。结果表明,滤波与增强后的数据集能够将特征点提取数量和构建地图的点云数量平均提高200%。综上,图像滤波除尘与特征增强算法能够有效提高视觉SLAM算法的运行效果与稳定性。

软体机械臂水下自适应鲁棒视觉伺服

水下仿生软体机器人在水底环境勘测,水下生物观测等方面具有极高的应用价值.为进一步提升仿章鱼臂软体机器人在特殊水下环境中控制效果,提出一种自适应鲁棒视觉伺服控制方法,实现其在干扰无标定环境中的高精度镇定控制.基于水底动力学模型,设计保证动力学稳定的控制器;针对柔性材料离线标定过程繁琐、成本高,提出材料参数自适应估计算法;针对水下特殊工作条件,设计自适应鲁棒视觉伺服控制器,实现折射效应的在线补偿,并通过自适应未知环境干扰上界,避免先验环境信息的求解.所提算法在软体机器人样机中验证其镇定控制性能,为仿生软体机器人的实际应用提供理论基础.

基于单目视觉的AUV水下定位方法

为解决传统水下定位传感器在定位方面的不足,提出一种基于目标光源的单目视觉四自由度定位方法,推导了四自由度定位算法原理,提出了深度定位、水平定位和艏向定位方法。设计了作为目标的共线排列定位光源系统。静态和动态试验证明所提出的单目视觉定位方法原理正确,目标光源系统合理可行,可以在深度为4~0.5 m范围内进行稳定的四自由度定位。经过校正,与SBL和测深仪的相对精度达到10 cm以内。实验说明上述方法对AUV执行近距离使命任务具有实际意义。

水下视觉环境感知方法与技术

有效感知水下环境是水下机器人自主运动与作业的关键。本文首先对水下视觉环境感知的共性问题进行分析,总结了视觉退化和折射畸变两大共性问题对水下视觉成像产生的影响。其次,围绕如何应对上述挑战,分别从水下视觉恢复方法、水下3维视觉感知以及水下视野增强方法3个方面对国内外主流的水下视觉环境感知方法的研究现状展开综述。最后,对水下视觉环境感知的未来发展趋势进行展望,重点包括集群化视觉感知、多模态感知信息融合、仿生视觉感知等热点研究方向。

基于水下双目视觉的燃料组件变形检测系统

燃料组件变形状态是堆芯运行过程中的重要监测指标,基于水下双目视觉的变形检测系统不仅能获得燃料组件关键参数的三维尺寸,还可以测量组件的整体轮廓。根据水下大型燃料组件的高热、高辐射特点,研制了一种基于16台摄像单元的水下双目检测系统,并给出各组成模块的详细设计;通过联合Harris特征点和区域灰度互相关方法,实现辐射噪声干扰下的双目摄像模块的组内快速图像配准。经模拟水池和核电现场实验,验证系统局部参数测量精度优于0.2mm,全局参数测量精度满足0.5mm,为高热、高辐射的水下乏燃料组件的局部变形和整体弯曲等参数测量提供有力工具。

面向水下目标的双目视觉测距方法

针对水下机器人对于探测海洋具有的高灵敏度、低成本、易携带特点的要求,设计和实现面向水下目标的双目视觉测距检测方法。采用张正友标定算法,通过使用9×9棋盘获取水下双目相机的内外矩阵模型的参数,采用SGBM (Semi-Global Block Matching)立体匹配算法,增强了图像的对比度,削弱了图像色斑的影响,保证了算法的鲁棒性,提升了匹配搜索速度。将视差图通过矩阵运算转化成深度图,并将其映射成可视化点云,构建目标物体的三维立体信息。

基于双目视觉的水下海参尺寸自动测量方法

水下捕捞机器人在进行海参捕捞作业时,需要对海参进行精选分级。然而光视觉系统在水中的折射现象严重影响了海参尺寸的精确测量。因此,利用水下双目标定方法,求解水下相机模型参数,消除水下光线折射造成的图像失真,并在此基础上,提出了一种水下海参自动检测与尺寸测量方法。在左目矫正图像上,利用预先训练的YOLOv3海参检测模型,进行海参自动检测和感兴趣区域定位,并利用双目矫正图像构建当前水下场景深度信息。利用融合颜色和场景深度信息的高斯模型,构建新颖的GrabCut-RGBD图像分割方法,在感兴趣区域上分割二维海参目标。利用凸包与旋转卡壳算法,在海参目标图像上寻找最佳尺寸测量点,通过三角测量获取最佳测量点三维坐标,实现海参尺寸的自动测量。实验结果表明,所提方法在0.5~1.5 m范围内平均误差为1.65%,能较好地实现海参尺寸的水下测量。

水下双目立体视觉对应点匹配与三维重建方法研究

针对水下双目立体视觉成像稠密立体匹配因不满足空气中极线约束问题,提出一种水下对应点匹配与三维测量方法,可将水下双目相机采集的立体图像校正为符合共面行对齐原则的图像对,再套用空气中成熟的立体匹配方法得到水下左右相机图像视差图,从而实现水下目标的三维重建。首先,将进入相机的所有光线总和看成光场,采用四维光场参数表达对每一条光线建模,据此建立相机的折射成像模型和双目立体视觉模型并计算光线的方向向量;根据光线的光场表达将光线转化为点矢量的形式,计算方向图像上任意像点对应原图像的像素坐标并确定位置映射关系。通过插值即可快速得到符合行对齐原则的左、右方向图像,并最终获得每条光线对应的视差图。仿真结果表明,方向图像的行对齐误差小于0.8 pixel。水池实验采用事先标定的靶球作为目标物,利用随机散点主动投射以增加目标物表面的纹理信息,对靶球多次测量的均方根误差为2.8 mm,具有较高的测量精度。

水下双目视觉系统的设计与密封技术研究

为在核电站乏燃料池中工作的水下焊接机器人设计一套双目视觉系统,介绍该系统的组成及各组成部分之间如何连接并协同完成双目视觉的图像采集工作。根据实际工作需求,设计适合水下工作环境的水下摄像机和水下光源,介绍摄像机和光源的选型、结构和密封方法。设计用于安装固定摄像机和光源的水下云台的结构与动密封,云台可以进行左右摇摆和上下俯仰运动。实际应用证明这套系统工作稳定、操作方便、反应迅速,可以获得清晰的水下实时图像。

基于图像增强的ORB-SLAM2算法水下应用研究

为了解决水下视觉SLAM算法由于图像对比度低、模糊等导致的特征提取鲁棒性差的问题,采用自适应直方图均衡化算法作为图像增强算法作用在ORB-SLAM2的前端,提高了水下图像对比度和清晰度的同时保留了原图的细节区域,使得质量不高的水下图像也能较好的提取特征.通过在数据集上的实验表明自适应直方图均衡化对水下图像的特征提取及关键帧跟踪效果明显改善,图像增强的ORB-SLAM2算法在水下环境中能较好的进行特征提取及跟踪,定位不易丢失,SLAM算法准确性和鲁棒性明显提高.

基于单目视觉的水下目标检测与位姿估计

应用于水下自主作业的单目视觉系统相较于双目视觉系统结构简单、装置灵活。在面向水下的自主作业任务中,单目视觉有其独特的优势。本文基于单目视觉系统对水下目标进行识别检测与位姿估计,提出一种基于YOLOv3算法的目标检测模型,通过优化聚类候选框、改进损失函数等方式对网络结构进行优化,提高了目标检测的准确率并为位姿估计提供信息,结合目标检测可以得到的像素信息,构建单应性模型,同时使用基于PnP问题的改进算法,结合目标物的先验信息,实时对目标位姿进行估计。实验研究表明:本文方法不仅能识别和跟踪目标,并且能实时估计目标位姿,满足实时性和准确性要求。

双目立体视觉的水下应用

从图像预处理、相机标定、立体匹配三个方面论述了双目视觉在水下场景的应用,比较了与空气环境中应用的不同,对水下双目视觉发展趋势做了分析。

基于散射模型的水下图像复原

水下图像的衰减度与成像距离有直接关系.为了在没有精确深度图情况下有效恢复水下图像,提出基于散射模型的分段映射方法.研究了水下光线的散射模型,探讨了水下图像的衰减规律;利用水池试验数据采用直线拟合法建立散射模型;提出基于散射模型的分段映射法.为避免求解精确深度图,利用映射约束条件及少量先验信息导出多级离散深度值,从而构建出从退化图像到真实图像的分段映射函数.恢复结果表明,所提方法增加了图像整体对比度,突出了图像细节,明显提高了图像质量.

水下图像的校正

水具有与空气不同的折射率,在水下成像时,目标位于水介质的物空间,而成像平面位于空气介质的图像空间,这将使物镜畸变明显增大。文中研究了水下图像的畸变校正,给出了平面玻璃密封窗口的摄像机的水下图像转化为一般对应的空气中的图像的条件和转换算法,特别给出了密封窗应位于摄像机的焦距处的位置关系准则。此时,水下图像和空气中的图像存在一一对应的关系,凭借水下图像即可确定其对应的一般空气中的图像。在平面窗与外焦点距离和焦距与物距相比足够小时,该结果仍近似成立。

基于散射模型的水下浑浊图像增强方法

由于水对光的选择性吸收和光的散射作用,水下图像存在色偏和雾化等现象,传统的去雾方法用于水下图像时效果欠佳。本文以散射模型为基础,提出了一种水下图像增强方法。基于局部区块熵分析估计背景光,权衡清晰度与图像逼真度设计了寻优透射率的代价函数,通过改进的加权最小二乘保边滤波算法细化透射率,设计了自适应调节因子对图像增强公式进行修正。实验结果表明:该算法能有效地去除水下图像的浑浊,提高图像的整体清晰度,验证了所提出算法工程有效性。

水下图像处理技术研究综述

随着自主式水下机器人的发展,水下探测技术成为新的研究热点。然而,吸收效应和散射效应导致水下获取的图像存在雾化和色彩偏差等缺陷。降质的水下图像在一定程度上降低了水下目标识别的准确性。为了改善水下图像质量,国内外学者对水下图像处理方法进行了深入研究。因水下图像处理方法对提升水下目标识别准确性具有良好的促进作用,故其具有重要的研究与分析价值。介绍了水下成像模型,分析了水下图像视觉质量下降的原理;根据水下物理成像模型将水下图像处理方法分为水下图像增强与水下图像复原,并分别对两类方法的研究现状进行分析与归纳;最后,总结与讨论了各类方法的优缺点,并展望了未来的发展方向。