基于双目视觉的输送带表面损伤定量分析方法

为了对输送带表面损伤进行定量分析以有效判断其损伤程度,并根据损伤程度选择检修方法和时间,为工作人员检修提供依据,提出了一种基于双目立体视觉的输送带表面损伤定量分析方法。该方法首先对双目相机进行相机标定,对输送带表面损伤图像进行图像处理校正、立体匹配,基于视差原理根据三角测量原理获取目标点的三维空间信息,通过数学计算模型对损伤程度进行定量分析,提出了改进的Census变换和SGM(semi-global matching)算法相结合的立体匹配算法。结果表明:提出的改进算法匹配效果有所提升,和Census变换算法及梯度算法进行对比,误匹配率分别降低了5.26百分点和3.92百分点,得出的视差图精度最高;通过提出的方法对输送带表面损伤进行定量分析,在输送带损伤长度、宽度、深度三者误差中,损伤深度误差最大为8.5%,仍在可接受范围。

基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

双目视觉下钻杆接口定位的实现

智能机器人技术的快速发展推动了石油钻机装备自动化和智能化的提升。针对目前石油钻机上卸扣作业中,传统的钻杆接口定位存在困难,无法实现完全自动化的问题,提出了一种基于改进YOLOv5x算法的智能钻杆接口检测方法,并在双目视觉下建立了钻杆接口定位模型。模型基于卷积神经网络提取钻杆接口的图像特征,从而实现自动识别;融合CBAM(Convolution Block Attention Module)注意力机制以提高模型的特征提取与表达能力,引入更大尺度特征图作为小目标检测层,减少了钻杆接口图像中小目标的误检和漏检情况;结合SGBM(Semi-Global Block Matching)算法,实现双目视觉下钻杆接口的精准定位;通过网络训练检验改进算法的性能,并在模拟试验环境下开展了钻杆接口的定位试验。试验结果表明:改进YOLOv5x算法平均精度达到98.6%,比原始YOLOv5x算法提高了3.0%;上下接口平均定位误差分别为7.64和6.56 mm,符合工程误差要求,具有一定的工程应用价值。所得结论可为钻杆接口的准确检测和精准定位提供技术参考。

基于改进的SURF算法的机械臂识别定位及抓取研究

针对采用传统SURF算法对机械臂工作区域内的目标进行识别时出现的运行速度较慢、匹配准确度较低等问题,提出一种基于改进的SURF算法的机械臂识别定位及抓取方法。首先,利用传统SURF算法提取目标的尺度不变性特征点;随后,通过rBRIEF描述子与低方差过滤分别对提取特征实施描述及降维,再进行基于Hamming距离的2-NN特征点交叉匹配,并采用RANSAC算法剔除错误匹配对;最后,结合双目立体视觉三维重建获取目标的空间三维坐标,并将机械臂逆运动学求解得到的各个关节驱动角输入控制系统,驱使舵机带动机械臂末端执行器完成对目标的抓取作业。实验结果表明,采用改进的SURF算法,较SIFT、传统SURF算法提高了目标特征点的识别速度与匹配准确度,有效提升了机械臂抓取的实时性及精准性。

基于改进的ORB算法的机械臂识别定位及抓取研究

针对采用传统面向快速与旋转的二进制鲁棒独立基本特征(Oriented Fast and Rotated BRIEF,ORB)算法难以实现搭载双目立体视觉的机械臂对目标的实时、精准抓取等问题,提出一种基于改进的ORB算法的机械臂识别定位及抓取方法。首先,利用改进的ORB算法对目标进行识别,根据双目立体视觉光轴平行模型对目标实施定位;随后,运用标准D-H参数法建立机械臂的数学模型并进行逆运动学求解;最后,将获得的机械臂各关节驱动角传输至系统控制端,驱使机械臂末端执行器完成对目标的抓取作业。结果表明,提出的改进的ORB算法较传统ORB算法提高了目标识别定位的速度与准确度,有效提升了机械臂实施抓取时的实时性与精确性。

基于双目相机的船舶系泊运动感知算法研究

针对船舶系泊时的运动感知问题,提出了一种基于双目相机的船舶系泊运动感知算法,实现了船舶系泊时的位姿检测。算法采用先识别后测量的感知策略。首先,使用Mask-R CNN神经网络获取船舶掩膜;之后,利用船舶掩膜、双目视差图和双目相机的内外参数计算得到船舶点云;最后,应用NDT-ICP算法对船舶点云进行配准,得到位姿变换矩阵,从而计算出船舶系泊时的位姿。与实测值对比显示,该算法位移RPD最低为2.21 mm,旋转RPD最低为2.93°,位移RMSE最大为1.135 mm,旋转RMSE最大为3.809°,检测视频帧率达到8 FPS,算法检测能力较好,对船舶进港系泊活动具有重要意义。

基于双目视觉的目标空间定位系统的设计与实现

近年来,随着工业领域计算机视觉技术的不断发展,基于双目视觉的空间重建技术成为研究和应用的重点之一。针对实体无人档案库房的建设需求,文章设计了一套适用于小区域三维空间重建的系统。该系统采用双目相机搭配六自由度机械臂,并通过改进Census变换和自适应窗口立体匹配算法实现了档案库房的三维空间重建。经实验验证,该系统能够成功完成实际库房小区域的空间重建任务,为后续的存取任务奠定了基础。

结合多路梯度与重排序的AD-Census立体匹配算法

针对局部立体匹配算法在深度不连续和弱纹理区域匹配精度低,且容易受到噪声干扰的问题,提出一种结合多路梯度与重排序的AD-Census立体匹配算法。对传统的AD-Census变换进行改进,重排序不同尺度变换窗口中的像素,取中值作为中心像素点计算Hamming距离,使其对噪声具有更强的鲁棒性,并将八方向梯度信息相融合进行代价计算以增强可靠性;采用十字交叉域和4路径扫描线优化进行代价聚合,提高匹配精度;采用赢家通吃法则进行视差计算,同时引入多步骤视差优化策略得到最终的视差图。在Middlebury测试平台提供的标准立体图像上,所提算法的平均误匹配率低至4.62%,与经典和新颖算法相比,匹配精度明显提高,具有更强的稳健性。

基于双目视觉的灾后玻璃幕墙变形检测方法

为解决高层建筑玻璃幕墙年久失修、经历突发自然灾害以及常年受到高风压载荷导致幕墙变形且难以精确检测的问题,提出一种基于双目立体视觉检测玻璃幕墙变形的方法。该方法首先根据双目成像原理对左右相机进行高精度标定,获取相机的内外参数;然后通过预处理、形态学处理消除图像中的干扰项,并通过霍夫圆变换基于标识点对图像进行特征提取;最后,采用奇异值分解(SVD)和列文伯格-马夸尔特优化算法(LM)计算玻璃幕墙变形前后标识点的三维坐标,从而确定玻璃幕墙的形变。结果表明:借助双目立体视觉测量的方法能够精确检测玻璃幕墙的变形程度,平均相对误差为2.276%,能够有效满足玻璃幕墙变形检测的实际需求。

Determiningrelativeposition and attitude of a close non-cooperative target based on the SIFT algorithm

A binocular stereo vision positioning method based on the scale-invariant feature trans- form （SIFT） algorithm is proposed. The SIFT algorithm is for extracting distinctive invariant features from images. First, image median filtering is used to eliminate image noise. Then, according to the characteristics of the target satellite, image map is used to extract the middle part of the target satel- lite. At last, the feature match point under the SIFT algorithm is extracted, and the three-dimension- al position and orientation are calculated. The features are invariant to image scale and rotation, and are shown to provide robust matching across a substantial range of affine distortion, change in 3D viewpoint, addition of noise, and change in illumination. The experimental result shows that the al- gorithm works well and the maximum relative error is within 0. 02 m and 2.5 o

融合多尺度信息的各向异性立体匹配

针对传统立体匹配算法准确率低且在弱纹理区域存在误匹配的问题,提出融合多尺度信息的各向异性立体匹配算法(ASMSI)。首先构造各向异性的匹配代价计算函数,将梯度和相角信息引入代价计算过程中用于剔除弱纹理区域的离群点;随后采用融合多尺度信息十字交叉代价聚合计算每个支持域内的匹配代价;进一步经赢家通吃策略生成初始视差图;在此基础上进行左右一致性检测及后处理得到精修后的视差图;最后通过仿真实验对比图像中非遮挡、深度不连续区域的误匹配率和运行时间来评价算法模型。实验结果表明:所提算法能有效解决弱纹理区域的误匹配问题,使匹配准确率提高了5.02%,能够满足立体匹配过程中高效率、高精度的要求。

基于改进SSD算法的双目立体视觉人车距离检测方法

为提高人车距离检测效果,有效避免或减少由于未保持安全人车距离而导致的交通事故,研究了基于改进SSD算法的双目立体视觉人车距离检测方法。利用基于FPGA的双目立体视觉图像采集系统采集行人图像后,首先分别使用基于主色检测与灰色传播的彩色图像灰度化方法、小波阈值去噪方法对图像进行预处理,然后应用改进SSD算法检测车前行人,经SIFT特征匹配算法匹配双目立体视觉图像行人特征,最后估计双目立体图像视差,结合双目立体视觉测距原理完成人车距离检测。结果表明:该方法可有效检测人车距离,最大距离误差不超过0.16 m,且图像预处理结果可为距离检测打下良好的基础。

基于双目视觉的带电作业机器人的目标识别与定位方法研究

高空带电作业机器人对目标物的精细化作业,需要合适的视觉辅助系统判断机械臂或爪具的位置与距离。提出一种将基于双目立体视觉的带电作业机器人目标识别与定位方法。通过对传统的Census算法进行改进,用窗口均值像素代替中心像素,用自适应窗口代替固定窗口,并与差的绝对和(SAD)算法加权融合,得到一种改进的SAD-Census立体匹配融合算法。利用该算法进行像素匹配运算,得出视差图;在YOLO框架下训练输电线螺栓数据集,获得螺栓深度距离并精准识别。螺栓定位实验结果表明,该方法在近距离定位时能达到1.2%的定位精度,最小相对误差为0.5%,能够为带电作业机器人提供实时准确的环境感知信息,提高了带电作业机器人作业的稳定性。

机械手姿态识别的立体视觉匹配

为了提高机械手姿态识别的精度,提出了区域边缘线段立体匹配算法。该算法利用图像中包含边缘线段区域的颜色特性和边缘线段的几何特征进行线段匹配,其中,区域的颜色特征包括边缘线段的左右颜色和梯度方向,边缘线段的几何特征包括长度、方向和角度。由于充分利用了图像提供的颜色信息,特别是颜色梯度方向信息,使得边缘线段的匹配不仅依靠其自身的几何特征(如长度,方向和位置),而且依靠直线段所在图像区域的所有信息。因此,匹配的判据可以做得更准确。使用该算法进行机械手姿态识别实验,结果验证了该算法能够在复杂背景下识别机械手的姿态,识别精度高,其相对误差达到1.7%,该结果满足机械手在姿态识别中的精度要求。

基于线结构光和优化PID的压电柔性机械臂振动控制

针对单目相机无法感知三维深度信息、双目立体视觉在被测物表面特征不明显时存在局限性以及PID控制器参数整定不理想等问题,将线结构光技术应用于柔性臂的振动检测,并利用细菌觅食算法优化的PID对其进行振动控制。首先搭建了线结构光视觉测振系统,建立了数学模型,完成了视觉标定,验证了该方法的可行性与准确性;然后利用细菌觅食算法对PID控制器进行了参数优化,与经验整定法进行了仿真效果对比;最后进行了柔性臂振动主动控制实验。实验结果表明,针对柔性臂的一阶模态振动,利用经验法整定的PID控制方法平均控制效果为25.65%,而利用细菌觅食算法优化的PID控制方法平均控制效果为39.32%,验证了细菌觅食算法优化PID控制器参数的优越性。

基于SIFT图像特征匹配的多视角深度图配准算法

为有效地解决多视角深度图配准问题,提出一种新的配准算法.首先给出一种深度图数据图像化方法,根据深度图包含的像素信息和网格顶点处的曲率值创建特征图像;然后通过对特征图像进行SIFT特征检测与匹配来获得特征点与匹配关系,从而得到原始深度图上的特征点与匹配关系;最后采用投票和预配准方法去除误匹配,实现递增式多视角深度图配准.模拟噪声实验和多个实际测量深度图的配准实验结果验证了该算法的鲁棒性和有效性.

立体匹配算法研究综述

双目立体视觉的主要任务是通过2台位于不同位置的摄像机拍摄同一场景得到2幅视图,然后计算视差并获取3维数据信息。立体匹配是双目立体视觉中的关键环节,它利用2幅或者多幅匹配后的图像获取视差进而得到深度信息。本文通过分析国内外对双目立体匹配算法的研究,对立体匹配算法进行介绍,以全局匹配算法和局部匹配算法为对象作详细阐述,最后对各种算法的特性进行比较,并作出总结与展望。

基于双目立体视觉的三维重建方法

基于双目立体视觉视差原理,结合halcon视觉开发库标定摄像机的内外参数,利用标定结果校正目标图像;引入多重网格算法以及像素灰度、梯度、平滑度相结合的相似度判断准则对校正图像进行立体匹配,获得连续稠密的视差图;根据深度信息恢复原理获取三维点云,并采用移动最小二乘法对三维点云进行平滑滤波;最后运用基于贪婪算法的三角剖分实现物体可视表面三维重建,并对重建表面进行形态学处理填补黑洞.实验结果表明,物体重建表面光滑连续,视觉效果令人满意.

双目立体视觉的无人机位姿估计算法及验证

针对无人飞行器在未知复杂环境下的导航问题,提出了一种基于双目立体视觉的无人飞行器位置和姿态估计算法.用双目摄像机采集立体图像序列,对图像进行立体校正后使用Harris算法提取特征角点,用NCC算法获取匹配特征点,导出摄像机坐标系下的特征点坐标,得到三维立体特征信息,使用RANSAC算法与L-M迭代算法得到无人飞行器姿态和位置估计值.实验结果表明,基于双目立体视觉的位姿估计算法能适应未知环境变化,计算结果与实际位姿量相比误差小,能满足无人飞行器导航要求,可为无人飞行器的导航实现提供一套新途径.

采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计

因采摘机器人野外试验易受收获季节、气候和场地等诸多因素的限制,为辅助试验采摘机器人视觉定位及其行为控制算法,设计了基于硬件在环仿真的葡萄采摘机器人虚拟试验。该文先利用双目立体视觉提取葡萄串采摘点及防碰包围体等空间信息;然后以实验室已有的6自由度采摘机器人样机为原型,建立三维虚拟仿真模型,运用D-H法建立机器人坐标变换,求解虚拟环境下机器人运动学正解和逆解;再以实物视觉提取的葡萄串空间信息为基础,运用VC++、Javascript等编程语言在虚拟现实平台EON上对采摘机器人视觉定位及其采摘行为进行仿真设计和编程实现,设计出一套以实物视觉与虚拟采摘机器人相结合的硬件在环仿真平台。最后,在该平台上对葡萄采摘机器人进行了34次虚拟试验,试验中视觉定位、路径规划、夹剪果梗3个环节的成功率依次为85.29%、82.35%、82.35%。结果表明,该方法可很好地运用于验证和试验采摘机器人视觉定位及其行为算法。