基于双目立体视觉的多分辨率图像匹配方法研究

在双目立体视觉系统中,面对复杂场景时噪声会损害图像特征,增加提取难度,导致匹配精度和鲁棒性下降。因此,文中提出基于双目立体视觉的多分辨率图像匹配方法,旨在从不同尺度图像中有效获取信息并实现高精度匹配。该方法利用双目立体视觉模型的双目旋转相机扫描目标并进行成像,根据内、外空间标定提升双目旋转相机的位置精度,保证目标的多分辨率成像效果;将其输入金字塔立体匹配网络中,通过网络中的类金字塔多空洞卷积操作提取双目图像特征,在此基础上,基于可变卷积增强其纹理特征细节;结合细粒度特征和互注意力机制完成双目图像匹配。测试结果显示,空间标定后,左、右两个相机的成像误差最小值分别为0.6 Pixel和0.4 Pixel;匹配点坐标偏差均值和坐标偏差方差值分别低于0.012和0.011,匹配效果良好。

基于分层空间一致性的旋转双目立体校正算法

在旋转双目立体视觉系统中,转台机械间隙导致的左右相机旋转平移偏差,造成立体校正图像的严重畸变。针对该问题,提出一种基于分层空间一致性的旋转双目立体校正算法。采用ORB特征在原始左右图像中进行快速全局立体匹配,设计一种新的特征点全局双层约束,实现匹配点的优选。提出基于内点邻域空间一致性的局部校验方法,实现二次匹配优化,并利用质量排序的优化匹配点集,由八点法基础矩阵估计算法计算左右相机的精确位姿关系,以此完成图像的立体校正。在Oxford和SYNTIM数据集上的典型算法对比实验,验证了所提算法的性能。多角度立体校正实验表明:所提算法可适应光轴夹角变化,在双目最大45°夹角时保证立体校正的质量,匹配点偏差小于0.2像素。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

光学运动捕捉实验中参考相机的选择方法研究

针对运动捕捉实验过程中多目视觉系统的标定优化问题,通过对摄像机参数估计过程的误差分析,探索了参考相机的选择对于光束平差迭代计算的影响,并在此基础上提出了一种Q值评测方法,该方法运用有权无向图获得相机节点之间的最短连通路径,利用反投影误差和均方差的加权平均值来评估参考相机选择的合理性。在实验中,使用了多台摄像机组成多目视觉系统对所提出的参考相机选择方法进行了验证。实验结果表明,所提出的Q值评测方法是有效的,可进一步提高系统标定的精度,对运动测试实验精度控制具有重要的参考价值。

激光雷达与相机联合标定进展研究

针对激光雷达与相机标定精度会极大地影响定位初始化,融合定位算法对标定参数的准确性非常敏感,会严重降低融合定位算法的性能和可靠性等问题,提出一种激光雷达与相机联合标定分类方法:论述激光雷达与相机联合标定领域的最新的研究进展;重点分析和总结基于特征的标定方法、基于运动的标定方法、基于互信息的标定方法和基于深度学习的标定方法的突出研究成果;总结出4种标定方法的开源代码工具集,并对这4种标定方法的特点、标定精度和自动化程度进行分析比较;最后,展望激光雷达与相机联合标定研究的发展趋势。

利用旋转双目立体相机的桩体倾斜度测量方法

桩体倾斜度监测在沉桩作业中至关重要,现有方法普遍存在安置过程复杂、工作耗时长等典型问题。针对以上问题,以双目立体设备研制为基础,提出了一种基于双目立体视觉的桩体倾斜度测量方法。首先,该方法通过旋转码盘与相机的高精度标定实现利用码盘旋转角度读数来高效计算相机在任意旋转角度的位姿信息。其次,在双目影像同步采集以及高频倾斜角度测量条件下,设计了一种新的利用提取桩体边线几何的方法来拟合桩体中心轴线方向向量,从而快速计算柱体的倾斜度。实验结果表明,该方法可准确计算相机相对位姿以及柱体倾斜度,倾斜度测量精度可达到优于0.1°,且单次自动测量效率优于10 s,相较于常用的全站仪测量方法,其效率可提高6倍以上,能够满足连续高效且高精度的桩体倾斜度测量需求。

基于高斯滤波的双目相机三维目标检测Pseudo-LiDAR改进算法研究

Pseudo-LiDAR算法作为双目相机三维目标检测的通用算法之一,因其低成本的立体视觉方案及出色的适应性被广泛应用于在自动驾驶、机器人等领域。但该算法在预测物体边缘会产生过多畸变点从而导致目标与背景之间过渡区域估计误差大;且深度估计网络采用四分支结构,计算量大影响运行速度。对以上问题,将Pseudo-LiDAR算法中的Spatial Pyramid Pooling(SPP)四分支结构优化为单分支结构,提高运行速度;创新性构造高斯置信度滤波模块,滤除过渡区域误差大的数据;引入PointVoxel-RCNN(PV-RCNN)作为Pseudo-LiDAR算法中的三维目标检测网络,提升检测精度。在KITTI数据集上的实验结果表明,相较于原算法,在简单、中等和困难等级下的车辆目标三维检测平均精度分别提升了22.36%、26.48%和28.55%。

高精度抗遮挡的四目相机三维重建系统

多目相机用于三维重建能够提升精度,克服遮挡,可多方位获取目标的三维位置。为了更准确地恢复目标在空间中的分布情况,介绍了一种汇聚式四目相机三维重建系统。设计和搭建了围绕目标场景均匀分布四相机的重建平台,立体标定出相邻相机的相对位姿后,借助坐标系变换,获取每个相机在统一坐标系中的位置和姿态,并用传递次数最多的机位进行检验。检验结果表明,测量出的位姿与经过传递推导的位姿一致。对66×65阵列的棋盘标靶进行重建,在45 mm范围内最大相对误差为0.061%;与拟合结果相比较,均方根误差为0.319 3μm。使用金属块进行重建实验,能够通过其顶点恢复出形貌。实验结果表明,该装置能够用于高精度抗遮挡的三维重建系统中。

基于YOLO的浮体运动测量技术

为解决进行海洋浮体运动测量时测量速度与测量精度无法同时保障的问题,通过将YOLO目标检测算法与双目深度相机相结合,提出了一种基于机器视觉的浮体运动测量系统,通过振动台实验与波浪水槽进行了验证实验.结果表明:该系统可准确稳定地实时追踪与测量快速运动浮体的空间位置,并且适用于真实的波浪运动环境.研究成果为海洋工程实践中的浮体测量问题提供了更加优良的解决方案,进而有助于提升海上人工作业的安全性.

RP-3航油火焰三维温度场和碳烟浓度场测量

RP-3航空煤油是航空发动机的常用燃料之一,火焰温度及碳烟浓度分布作为反映燃烧状态最直接的参数,是燃料优化配比的重要数据支撑。针对三维测量中,重建路径计算的准确性受相机位姿影响的问题,提出了一种将三维辐射成像法与相机立体标定技术相结合的测量方法。数值模拟结果表明,所提方法可以在提供较高的空间分辨率的同时保证测量结果的可靠性。利用标定后的六相机测量系统,对RP-3、空气预混火焰进行了实验测量,获得了其三维温度及碳烟浓度分布。测量的空间分辨率为1 mm×1 mm×1 mm,重建与热电偶测量温差的标准不确定度为0.58 K,证明了测量方法的精确性。

基于无人驾驶小麦收割机立体视觉感知系统

针对小麦收割机在农场无人驾驶作业时无法实现动态障碍的实时避障,无人驾驶技术安全性低等问题,设计一种基于立体视觉与深度学习相结合的无人驾驶立体视觉感知系统。首先使用立体视觉相机采集左右目灰度图像,通过图像中像素位置的视差以及立体视觉成像原理,实现对障碍物的距离计算;再将相机采集的RGB图像通过深度学习进行处理,实现障碍物的检测识别,最终完成对动态障碍物的感知。结果表明,基于立体视觉与深度学习的无人驾驶感知系统在农场无人驾驶作业中动态障碍物的检测速率达到30.1 fps,精确率达到98.24%。该方法能够较好的满足作业中动态障碍物检测的识别要求,显著提升无人驾驶小麦收割机作业时的安全性和可靠性,为智能农机无人驾驶的研制奠定理论与技术基础。

基于点云的鸡毛菜表型参数提取

针对人工测量作物表型结构参数不够准确的问题,提出基于双目视觉的作物表型参数提取系统.利用鸡毛菜的叶面积和平均叶倾角两个重要表型参数,通过采集鸡毛菜原始RGB图和深度图,将原始信息合成为颜色点云后进行预处理.采用超体素聚类的分割算法将每片叶片从作物点云中分离,并改进贪婪投影三角剖分算法,获得最佳表面重建效果,实现网格模型的颜色渲染.在VTK库中完成网格模型的优化,获得真实感较强的鸡毛菜网格模型.在网格模型中实现对两个参数的提取,并与人工测量值比较.对于第四组大于4 cm的叶片,自动提取的叶倾角平均绝对误差小于5.5°,验证了自动化无损监测鸡毛菜作物的可行性.

基于双目视觉的六边形芯片晶圆台高度差测量

针对检测中晶圆台可能影响检测精度的问题,提出了一种基于双目视觉测量芯片晶圆台的测量方法。由于没有现成的六边形芯片数据集,因此采集的样本主要来自由CAD软件绘制生成的理想数据集,然后对采集的数据集进行训练,训练结果值符合检测识别的要求,且准确识别了六边形芯片。最后,利用YOLOv5s网络框架和全局立体匹配算法来对同一直线边缘芯片进行匹配测量,通过求差,计算是否含有高度差,由高度差可以判断出晶圆台是否在同一水平面上。多次实验的结果表明,此方法可以准确检测到六边形芯片晶圆台的高度差。

基于蜂窝立体结构靶标的多目相机标定方法

为解决多目相机快速标定以及构建不同坐标系之间位姿关系的问题,提出一种基于新型蜂窝立体结构靶标的多目相机标定方法,能够快速准确完成多目相机标定。通过仿生学原理设计的蜂窝立体结构具有5个附着自识别阵列标记的不同空间位姿平面,提升了标定稳定性以及鲁棒性;使用多目相机拍摄一幅图像即可完成相机标定以及坐标系间关系构建,提升了标定效率;最后,将所提方法与传统的相机标定方法进行了实验对比。结果表明:相比于传统标定方法,所提方法的相机标定平均重投影误差降低了18.4%,多目相机间外参平均重投影误差降低了8.5%,遮挡干扰下平均重投影误差的相对误差仅为0.01 pixel,进一步验证了所提标定方法的可行性。

基于BP算法的双目立体视觉标定技术优化分析

摄像机标定是指从多幅二维图像中提取图像的诸多特征,构成三维图像信息。而三维图像重构的逼真程度主要由摄像机标定的精度决定。传统摄像机标定算法中,往往会引入诸多假定的参数,导致计算量比较大,三维重构的精度也比较低。为了从根本上解决上述的缺陷与不足,引入BP神经算法,以此提高摄像机标定的精度和速度,有效增加三维重构的逼真程度,提出基于BP神经网络算法的双目立体视觉标定技术。实验数据表明,通过双目标定技术引入BP神经网络算法后,三维重构的精度有明显提升,算法的收敛速度快,该算法具有较强的正确性和可行性。

基于双目相机的森林样地调查方法研究

为了提高样地调查时的野外工作效率,设计了一种相片样地建立方法,以双目相机为测量工具,在样地中心上下放置双目相机,依次进行12次30°的旋转拍摄,获取12组立体相对,配合少量的现场目视检查和遮挡木补测,以立体相对前方交会作为内业处理手段,提取并纠正相片中各目标木的胸径和树心坐标,利用左右旋转角度和将树心坐标转换至同一坐标系中,完成样地各目标木的胸径提取、样木坐标提取、蓄积量计算等工作。为了验证该方法,选择了9块固定样地进行相片样地建立,分别对比相片样地与固定样地调查中提取的胸径、树心坐标、蓄积量和工作时间,其中蓄积量的平均相对误差为5.5%,最大相对误差为8.2%。

附约束条件的立体相机标定方法

在计算机视觉和摄影测量领域,经常应用立体相机对场景进行高精度的三维重建,其中,立体相机内参数和相机间固定相对关系的高精度标定是关键环节。推导立体相机系统的两个相机之间固定相对关系的6个独立约束条件,并利用这些约束关系按照附有限制条件的间接平差模型进行自检校光束法整体平差解算,从而实现立体相机的标定。最后的模拟数据和实际数据试验说明,固定相对关系约束条件的引入,能够有效增加平差系统的多余观测数,提高标定的精度和稳健性。此方法可推广到多个相机组成的多相机立体量测系统的标定中。

嫦娥一号卫星CCD立体相机的设计与在轨运行

介绍了立体成像原理、参数选择、相机方案及设计结果。发射前的实验室检测表明:整机MTF达0.48,S/N为235。由嫦娥一号卫星CCD立体相机获取的图像清晰,层次丰富。用户根据在轨运行前期探测数据对CCD立体相机的科学探测数据质量进行了初步评估,认为CCD立体相机工作正常,数据格式正确,科学数据有效,图像质量优良,能够进行稳定的数据观测、采集与下传。最后介绍了相机在研制过程中采用的一些新技术。

一种基于立体模板的双目视觉传感器现场标定方法

给出了一种基于立体标定模板的双目视觉摄像机内、外部参数现场标定方法。该方法采用理想小孔模型忽略摄像机镜头的非线性畸变,把透视变换矩阵中的元素作为未知数,在已知一组三维空间特征点坐标及其对应的图像点坐标时,利用线性算法求解出透视变换矩阵中的各个元素,进而得到所需的参数。最后采用立体标定模板对该标定算法进行了实验验证,用标定完成的立体视觉传感器对已知长度进行测量,相对精度达到了0.02%,取得了较为理想的结果。结果表明:该方法由于无需迭代,因此计算速度快,在测量现场只需摆放一次标定模板即可完成标定,可高精度地实现摄像机内、外部参数的现场标定。

探月光学

介绍了我国首次绕月探测嫦娥一号卫星的主载荷CCD立体相机与干涉成像光谱仪的原理、设计思想、技术措施与特色、设计结果以及在轨图像质量评估与检测.CCD立体相机采用一个广角物镜加一块面阵CCD的独特技术方案,从而使立体相机具有结构紧凑、小型轻量、配准精度高、航天环境适应性强等优点.4种曝光时间与4种电子学增益共16组合,可以实现同轨不同纬度的曝光量调整.干涉成像光谱仪采用了大比尺缩小的图像传递、2×2像元合并、矩形孔径光阑、2种曝光时间与3种电子学增益共6种组合的在轨曝光量调整等技术措施.在轨运行表明,各项技术措施有效,达到了预期目标.