High performance hardware architecture for depth measurement by using binocular-camera

High performance hardware architecture for depth measurement by using binocular-camera is proposed.In the system,at first,video streams of the target are captured by left and right charge-coupled device(CCD)cameras to obtain an image including the target.Then,two different images with two different view points are obtained,and they are used in calculating the position deviation of the image's pixels based on triangular measurement.Finally,the three-dimensional coordinate of the object is reconstructed.All the video data is processed by using field-programmable gate array(FPGA)in real-time.Hardware implementation speeds up the performance and reduces the power,thus,this hardware architecture can be applied in the portable environment.

基于双目立体视觉的多分辨率图像匹配方法研究

在双目立体视觉系统中,面对复杂场景时噪声会损害图像特征,增加提取难度,导致匹配精度和鲁棒性下降。因此,文中提出基于双目立体视觉的多分辨率图像匹配方法,旨在从不同尺度图像中有效获取信息并实现高精度匹配。该方法利用双目立体视觉模型的双目旋转相机扫描目标并进行成像,根据内、外空间标定提升双目旋转相机的位置精度,保证目标的多分辨率成像效果;将其输入金字塔立体匹配网络中,通过网络中的类金字塔多空洞卷积操作提取双目图像特征,在此基础上,基于可变卷积增强其纹理特征细节;结合细粒度特征和互注意力机制完成双目图像匹配。测试结果显示,空间标定后,左、右两个相机的成像误差最小值分别为0.6 Pixel和0.4 Pixel;匹配点坐标偏差均值和坐标偏差方差值分别低于0.012和0.011,匹配效果良好。

基于Cameralink接口的双目CMOS APS成像系统的研究

为满足大视场、多个图像传感器同时使用、多光电图像传感器成像系统的响应一致性等技术需求,设计了一种大视场的成像系统。将先进先出缓存(FIFO)应用到数据传输技术当中,保证了系统多种图像数据同步实时输出;在基于低压差分信号(LVDS)技术上同时采用Camera link接口协议,设计了一种低成本、高速、稳定、简易的双目半导体金属氧化物有源传感器(CMOSAPS)成像系统,并深入探讨了系统的基本组成和工作原理;利用可编程门阵列完成自上而下的模块设计;并对系统部分工作时序进行了仿真,并进行板上调试;结果表明,本设计方案满足系统的大视场需求,为后续的图像采集工作打下了坚实的基础。

Research on Extraction of Bottom of Shoe Pattern Based on Binocular Stereo Vision

In order to quickly and efficiently get the information of the bottom of the shoe pattern and spraying trajectory, the paper proposes a method based on binocular stereo vision. After acquiring target image, edge detection based on the canny algorithm, the paper begins stereo matching based on area and characteristics of algorithm. To eliminate false matching points, the paper uses the principle of polar geometry in computer vision. For the purpose of gaining the 3D point cloud of spraying curve, the paper adopts the principle of binocular stereo vision 3D measurement, and then carries on cubic spline curve fitting. By HALCON image processing software programming, it proves the feasibility and effectiveness of the method

自然环境下苹果点云多维度特征分割方法研究

为了解决自然环境下苹果果园复杂场景及光照变化对果实精准定位和空间形态评估带来的困难,对基于多维度特征的苹果点云分割方法进行了研究。研究中,通过融合欧氏距离、曲率分析和颜色特征创建苹果点云分割掩膜,对苹果点云进行分割;引入K-D Tree进行聚类修正,拟合后获取最终果实空间全面信息。试验结果显示:在自然果园环境下,该方法在逆光、顺光和侧光条件下分别取得了96.20%、97.67%和97.93%的分割纯净率,与仅基于欧氏距离或颜色特征的单一特征分割方法相比,该方法的纯净率分别提高了37.57%和14.53%,且聚类误分问题得到有效解决。该方法具有良好的鲁棒性和精确性,可为苹果智能化采摘作业的精确性和可靠性提供技术支持。

无人机双目视觉鲁棒定位方法

无人机(unmanned aerial vehicle,UAV)在全球定位系统(global positioning system,GPS)信号拒止环境中的应用受到限制,传统视觉同步定位与建图(simultaneous localization and mapping,SLAM)技术一定程度上解决了该问题,但在动态场景和弱纹理场景中定位精度较差。针对该问题提出一种基于双目视觉的多场景鲁棒SLAM方法,重点考虑了真实环境中的动态和弱纹理2类具有挑战性的场景,利用双目相机为UAV在动态和弱纹理场景中提供位姿信息。针对动态场景利用掩膜基于区域的卷积神经网络(mask region-based convolutional neural network,Mask R-CNN)分割潜在动态内容并剔除动态特征,通过计算稠密光流同步相邻帧的掩膜,减小了掩膜的计算成本。对于弱纹理场景,在传统SLAM算法使用的点特征基础上融合了线特征,充分利用了环境中的结构特征。数值模拟和仿真实验证明了本文算法具有更高的鲁棒性和精确性。

基于自适应阈值ORB特征提取的果园双目稠密地图构建

针对果园阴暗光照条件下图像特征点匹配数量少、易丢失以及点云稀疏问题,对ORB-SLAM2算法进行了改进,提出了基于自适应阈值ORB特征点提取的果园双目三维地图稠密建图算法。首先在跟踪线程中提出一种自适应阈值的FAST角点提取方法,通过计算不同光照下图像平均像素求解阈值,对左右目图像提取ORB特征,增加了不同光照条件下的特征点匹配数量;然后根据特征点估计相机位姿完成局部地图跟踪,对跟踪线程产生的关键帧地图点进行BA优化完成局部地图构建。在原有算法基础上添加了基于ZED-stereo型相机双目深度融合的稠密建图模块,对左右目关键帧进行特征匹配获得图像对,利用图像对求解深度信息获取地图点,经过深度优化获取相机位姿,根据相机位姿进行局部点云的构建与拼接,最终对获得的点云地图进行全局BA优化,构建果园三维稠密地图。在KITTI数据集序列上进行测试,本文所改进的ORB-SLAM2算法的绝对轨迹误差更加收敛,轨迹误差标准差在00和07序列分别下降60.5%和62.6%,在其他序列上也有不同程度下降,表明本文算法定位精度较原始算法有所提高。不同光照环境下进行算法性能测试,结果表明本文算法较原始算法能更好地适应不同光照条件,在较强光照、正常光照、偏弱光照和阴雨天气下特征点平均匹配数量增加5.32%、4.53%、8.93%、12.91%。进行果园直线和稠密建图试验,结果表明直线行驶偏航角更加收敛,定位精确度高,关键帧提取数量较原始算法下降2.86%、平均跟踪时间减少39.3%;稠密建图效果好,能够很好地反映机器人位姿和果园真实环境信息,满足果园三维稠密点云地图构建需求,可为果园机器人导航路径规划提供支持。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

机器人与双目相机的手眼标定方法

为了得到钻头在激光熔覆机器人坐标系下的模型数据需要机器人与双目相机进行手眼标定,针对这一问题提出了一种手眼标定的方法。改变机器人位姿对同一点进行测量,建立机器人DH模型并利用机器人正运动学方程计算出机器人末端坐标系与双目相机坐标系之间的变换矩阵,完成了手眼测量系统标定。基于此标定方法进行了误差测试与激光熔覆实验,对误差产生的原因进行分析并提出了减小误差的方法。实验结果表明,机器人与双目相机的手眼标定方法有效,可用于PDC钻头激光熔覆系统。

激光雷达SLAM下移动机器人双目视觉全局定位

移动机器人在未知环境中执行任务时,需精准感知地图环境和其他物体位置,确定其自身位置。为了提高移动机器人的全局定位精度,提出激光雷达SLAM下移动机器人双目视觉全局定位方法。依据双目视觉系统测距原理,选取双目摄像机中的任意一个相机建立主坐标系,构建双目摄像机模型,结合棋盘图与张正友标定法,标定双目摄像机中参数。在此基础上,计算单帧图像特征点的尺度,完成双目视觉初始化,利用权重函数计算任意一个特征点与线、与面之间的加权值和距离值,估计移动机器人的位置,引入非迭代畸变补偿方法,完成对移动机器人的全局定位。测试结果表明,所提方法的定位结果与实际运动位置之间的最小误差为0.1 m,该方法可以精准定位到移动机器人位置,指导移动机器人更好地执行作业任务。

利用旋转双目立体相机的桩体倾斜度测量方法

桩体倾斜度监测在沉桩作业中至关重要,现有方法普遍存在安置过程复杂、工作耗时长等典型问题。针对以上问题,以双目立体设备研制为基础,提出了一种基于双目立体视觉的桩体倾斜度测量方法。首先,该方法通过旋转码盘与相机的高精度标定实现利用码盘旋转角度读数来高效计算相机在任意旋转角度的位姿信息。其次,在双目影像同步采集以及高频倾斜角度测量条件下,设计了一种新的利用提取桩体边线几何的方法来拟合桩体中心轴线方向向量,从而快速计算柱体的倾斜度。实验结果表明,该方法可准确计算相机相对位姿以及柱体倾斜度,倾斜度测量精度可达到优于0.1°,且单次自动测量效率优于10 s,相较于常用的全站仪测量方法,其效率可提高6倍以上,能够满足连续高效且高精度的桩体倾斜度测量需求。

基于CMOS相机近眼显示的关键光学性能测试系统

设计一种基于双目CMOS相机的近眼显示测试设备,在此基础上提出了主要光学参数的测量方法。根据NED光学相关原理,通过推导建模、系统设计和标定实验,实现了对NED器件光学参数的快捷、低成本测量。最终通过实验可见,本测试系统比传统系统的测量时间节省约60%,并且关键参数测试误差小于5%。

一种多方位移动式双目相机标定方法研究

提出了一种移动式双目相机标定方法。该方法以传统张氏标定算法为基础,通过拍摄标定板的连续性视频替代传统抓取不同位姿的标定板图像进行双目相机标定。为了验证该方法的可行性,开展了静态双目标定与上-下、下-上、左-右、右-左等多方位移动式双目相机标定实验。通过实验可知,移动式双目相机标定替代传统静态标定具备可行性,其左-右方位更优,双目相机的有效焦距误差位于[2,3]pixels,重投影误差为0.06 pixels。

绝缘梯式配网搭接引流线机器人的作业控制方法研究

配电网人工搭接引流线工作繁重、效率低、危险系数高,当前配电网作业的机器人依赖斗臂车,成本高且不适用于农配网复杂的作业地形环境,因此,研制了一种绝缘梯式配网搭接引流线机器人。采用YOLOv8目标检测算法结合双目相机获取机器人作业过程中相关部件在作业坐标系下的三维坐标信息,并采用Fuzzy-PID控制方法精准控制相应作业机构到达指定位置;设计了一种基于多元线性回归控制方法的剥皮器,可以实现切削不损铝芯的精准控制;设计了一种基于滑模观测器的电动扳手,其具备轻量化、无转矩传感器的特点,能够实现作业过程中对转矩的估计与控制。通过仿真及在10 kV配网现场进行的三相搭接引流线试验结果可知,所提方法可以提高机器人的自动化程度和控制精度,保障机器人高效、高质量、安全稳定地完成三相搭接引流线试验,具有很好的实用价值。

基于相机平移矩阵奇异值分解的极线校正

极线校正是一种针对双目相机原始图像对的投影变换方法,使校正后图像对应的极线位于同一水平线上,消除垂直视差,将立体匹配优化为一维搜索问题。针对现今极线校正的不足,本文提出一种基于双目相机平移矩阵的极线校正方法:首先利用奇异值分解(singular value decomposition,SVD)平移矩阵,求得校正后的新旋转矩阵;其次通过校正前后的图像关系确立一个新相机内参矩阵,完成极线校正。运用本文方法对SYNTIM数据库的不同场景多组双目图像进行验证,实验结果表明平均校正误差在0.6像素内,图像几乎不产生畸变,平均偏斜在2.4°左右,平均运行时间为0.2302 s,该方法具有应用价值,完全满足极线校正的需求,解决了双目相机在立体匹配过程中由于相机的机械偏差而产生的误差和繁琐的计算过程。

基于几何约束下区域搜索的红外可见光双目配准算法

针对相对位置固定的红外和可见光双目相机配准任务,现有算法没有考虑到两者相对位置固定的先验知识,存在配准精度低、几何定位差异大等问题,适用性差。提出一种基于几何约束下区域搜索的红外可见光双目图像配准方法。首先借助红外和可见光双目相机的标定信息对红外和可见光图像进行立体校正使二者处于同一高度之上。接着借助于相位一致性计算红外与可见光的边缘特征图,然后在红外边缘图上提取特征点,最后提出两阶段的同名特征点搜索方法,以红外特征点为基准在可见光边缘图局部区域内搜索同名特征点。在第一阶段以归一化互相关(Normalized cross-correlation,NCC)为相似性度量计算两边缘图的整体水平偏移,预测同名特征点初始位置,在第二阶段提出多尺度加权NCC作为相似性度量,在初始同名特征点位置周围精确搜索同名特征点。在构造的真实环境数据集上进行实验,实验结果表明相对于其他对比算法,在特征点匹配数量和准确率以及主观视觉上的配准效果都优于其他对比算法。

基于双目视觉的吊卡识别及其方位检测方法

针对钻井自动化中的吊卡方位需要人工参与,存在识别定位缓慢和准确性差等问题,建立了基于双目视觉的吊卡自动识别和方位检测系统。通过搭建双目相机视觉检测系统,对获取的吊卡图像进行标定、立体校正和立体匹配,进而获取吊卡图像的深度图。在原YOLOv5s目标检测算法的主干网络中引入卷积注意力机制模块,将要识别的目标即吊卡图像进行增强,进一步提高吊卡的识别准确率,结合深度图计算出吊卡中心位置相对机械手的距离和偏转角度,从而实现自动送管。通过在钻井平台的试验,验证了吊卡识别和检测方法的有效性。所得结论可为钻井平台自动化程度的进一步提高提供技术借鉴。

基于双目视觉的六边形芯片晶圆台高度差测量

针对检测中晶圆台可能影响检测精度的问题,提出了一种基于双目视觉测量芯片晶圆台的测量方法。由于没有现成的六边形芯片数据集,因此采集的样本主要来自由CAD软件绘制生成的理想数据集,然后对采集的数据集进行训练,训练结果值符合检测识别的要求,且准确识别了六边形芯片。最后,利用YOLOv5s网络框架和全局立体匹配算法来对同一直线边缘芯片进行匹配测量,通过求差,计算是否含有高度差,由高度差可以判断出晶圆台是否在同一水平面上。多次实验的结果表明,此方法可以准确检测到六边形芯片晶圆台的高度差。

10 kV带电作业安全距离检测场景下的位姿组合标定方法

针对相机和激光测距仪间的位姿组合标定方法在10 kV带电作业安全距离检测场景下适用性不足,难以满足安全距离测定精度需求的问题,提出一种基于融合高斯拟合和LM算法的双目相机与单点激光测距仪间的位姿组合标定方法。首先,通过高斯拟合法提取双目图像中的光斑中心像素点,进而利用立体视觉算法获取该像素点在相机坐标系下的三维坐标;其次,联立两组像素点中心坐标值与激光测距值求取位姿组合标定初值,并建立以上两个传感器位姿组合参数的约束方程;最后,移动标定板获取多组像素点中心坐标值与对应的激光测距值,利用迭代算法优化双传感器位姿组合标定参数。实测结果表明,将该方法用于标定双目相机与单点激光测距仪系统后,在作业现场15-20 m的测量范围内,该系统的测距相对误差率为2.01%,且误差波动明显减小,满足10 kV带电作业现场的测距精度要求。

融合多传感器的障碍物定位及应用

机器人在使用2D激光雷达或双目相机进行障碍物定位时,会出现障碍物信息缺失或障碍物定位不准确等问题,影响机器人的正常工作。为了获得准确的三维障碍物信息,本文提出了一种融合2D激光雷达和双目视觉的算法进而完成障碍物的定位。以2D激光雷达点云的深度值作为基准,通过拟合双目相机点云深度值的误差方程,对相机点云的深度值进行修正,得到精确的三维相机点云,从而获得准确的三维障碍物信息。大量实验证明,2D激光雷达与双目视觉的融合算法可以获得较为精准的三维障碍物信息。