DEDUCTION OF CONSTRAINT CONDITIONS IN THE CALIBRATION OF STEREO-VISION SYSTEN

In the test-field calibration,multi-azimuth stereo image pairs areproduced of the outdoor large control-field by the stereo-vision system under cali-bration.While in the analytical processing,the relationship between image pairsis adopted as a constraint condition,which ensures the stability and quality of thecalibration results.This paper introduces the deduction process of the constraintconditions.

基于立体视觉下联合收获机边缘检测技术的研究

智能联合收割机是目前作物收获的发展热点与研究重点技术之一,而确定田间地块边缘、未收割作物边缘、联合收获机直线行驶和在作物地头转向是实现全田间自动收获的基础。为此,设计了一种基于立体视觉下多种作物收获边缘快速检测方法,保持作物收获边缘在检测目标区域内,并提出了一种基于HSV(色调、饱和度和值)空间扫描的动态感兴趣区域提取算法,利用Ostu算法获得作物未收获面积,实现未收获作物边缘和作物末端边缘的同时检测,并根据作物收获末端边缘自动转向到下一个收割路径。田间验证试验表明:水稻检测准确率高于98%,玉米的检测准确率高于94%,平均处理速度为49frame/ms。研究结果表明:提出的基于立体视觉下联合收获机边缘检测及精准转向系统具有较高的工作精度和效率,可为提高作物收获性能提供技术参考与借鉴。

无人机立体视觉识别船舶航行风险仿真

由于船舶交通受碰撞、搁浅、走锚等随机干扰因素的影响,导致对船舶航行目标的跟踪与风险预警具有较大难度。为增强海上航行的安全性,提出一种基于无人机立体视觉的船舶航行风险识别方法。引入双目视觉立体技术,获得目标船舶在航行过程中的图像数据。利用卡尔曼预测器优化连续性自适应均值漂移算法,跟踪目标船舶,通过高斯混合模型识别船舶航行风险。实验结果表明,研究方法对不同海域的船舶跟踪曲线与船舶实际航行曲线具有较高拟合度,且上述方法的船舶航行风险识别正确率高于90%,且误报率低于0.2%,说明提出方法的应用可靠性较高。

基于转像激光立体视觉的油管接箍内螺纹参数检测

油管接箍是油田钻井用重要连接工具,其内螺纹质量对于油气安全开采至关重要。针对现有油管接箍内螺纹接触式检测方法效率低、磨损大、光谱共焦等非接触式方法测量可达性差的问题,提出基于转像激光立体视觉的油管接箍内螺纹参数检测系统与方法,利用激光和反射镜实现内螺纹牙型轮廓的强化和转角窥视,借助已标定的相机模型参数,通过立体视觉和旋转进给重构纵截面中双侧牙型的三维点云,经进一步处理,从三维点云中计算出内螺纹螺距、齿高和锥度三项几何参数。依据美国石油协会(API)标准规定的参数容限范围实现油管接箍内螺纹质量的判定,研制出视觉系统,并与传统量具在相同工况下测量27/8与31/2英寸两种规格的油管内螺纹几何参数,结果表明,提出的视觉系统可实现内螺纹多项参数的一体化高精、高效测量,满足工业现场需求。

电力变压器关键尺寸视觉检测方法及其缩比模型验证

电力变压器的关键尺寸测量是其装配制造、运输安装过程中重要一环,现有测量方法操作繁琐且效率较低。为此,本文提出了一种适用于110 kV油浸式电力变压器关键尺寸视觉检测方法,该方法利用YOLO目标检测算法、Grabcut图像分割算法实现关键组部件的智能检测与分割,然后基于双目立体视觉原理实现套管相间距离及变压器最大截面外形尺寸等关键尺寸的测量。本文搭建了110 kV油浸式电力变压器外观缩比模型,试验分析了拍摄距离和角度等因素对电力变压器关键尺寸视觉检测的影响。结果表明,本文基于缩比模型试验实现了在不同拍摄距离与角度下变压器关键尺寸的视觉检测,验证了该方法的有效性。本文方法可以为110 kV油浸式电力变压器现场尺寸测量提供参考。

基于多特征SAD-Census变换的立体匹配算法

视差不连续区域和重复纹理区域的误匹配率高一直是影响双目立体匹配测量精度的主要问题,为此,本文提出一种基于多特征融合的立体匹配算法。首先,在代价计算阶段,通过高斯加权法赋予邻域像素点的权值,从而优化绝对差之和(Sum of Absolute Differences,SAD)算法的计算精度。接着,基于Census变换改进二进制链码方式,将邻域内像素的平均灰度值与梯度图像的灰度均值相融合,进而建立左右图像对应点的判断依据并优化其编码长度。然后,构建基于十字交叉法与改进的引导滤波器相融合的聚合方法,从而实现视差值再分配,以降低误匹配率。最后,通过赢家通吃(Winner Take All,WTA)算法获取初始视差,并采用左右一致性检测方法及亚像素法提高匹配精度,从而获取最终的视差结果。实验结果表明,在Middlebury数据集的测试中,所提SAD-Census算法的平均非遮挡区域和全部区域的误匹配率为分别为2.67%和5.69%,测量200~900 mm距离的平均误差小于2%;而实际三维测量的最大误差为1.5%。实验结果检验了所提算法的有效性和可靠性。

基于双目视觉的车前行人检测方法研究

当前的汽车安全辅助驾驶和无人驾驶汽车是图像领域的研究热点,针对汽车在启动或行驶时车前存在行人可能导致的安全问题,着重研究了基于双目视觉的车前行人检测方法。进行了双目相机的相机标定和立体标定;通过改进后半全局立体匹配算法获取深度图,确定车前行人所处位置的感兴趣区域(Region of Interest,ROI),剔除冗余的背景信息;分割并提取了图像的降维梯度直方图(Histogram of Gradients,HOG)特征信息;将特征输入到支持向量机(Support Vector Machine,SVM)分类器训练,检测并标记出车前的行人目标。实验证明,所提算法对车前场景下的动态行人可以更为有效地检测,具备更优的检率精度、时效性和鲁棒性。

信号博弈的三维重建形变识别算法

现有双目立体视觉算法常常需要双目相机位置固定,在现实应用中,这类算法难以重构空间三维几何关系.为此,本文提出了一种不受位置限制的多视角图像三维重建与形变检测算法.该算法首先采用sift算法获取成对图像的特征点,以获取形变前后比对点对图像的特征信息;其次,利用信号博弈方法确定图像拍摄时相机的空间位置与视角,以准确获取图像的空间位置坐标;再次,依据上述信息完成物体的三维点云重建;进而,利用三维数据信息比对实现物体形变识别.最后,本文利用真实物体的实验,验证了三维重建形变识别算法的有效性.

基于自适应窗的动态权值代价聚合立体匹配

传统局部匹配算法通常在不同聚合窗口下采用单一权值进行代价聚集,而忽略了不同区域像素点之间的差异性,易导致基于双目视觉测量的立体匹配精度不稳定。为此,提出一种基于自适应窗的动态权值代价聚合立体匹配算法。首先,以梯度信息表征模型为约束条件,构建代价聚合自适应十字交叉窗口。其次,分析视差不连续区域与弱纹理区域的像素特征,建立基于像素距离与色差双阈值权重的代价聚集模型,进而计算各窗口的动态权重影响因子。最后,基于线性迭代聚类法分割视差图区域,剔除奇异的视差值以提高算法匹配精度。实验结果表明,在Middlebury数据集的测试中,所提算法的平均非遮挡区域和全部区域的误匹配率分别为4.11%和5.65%,优于传统匹配算法;4组测量样品的全局长度测量平均相对误差小于1.2%,全局高度测量平均相对误差小于2.7%。实验结果检验了所提算法的有效性和可靠性。

基于双目视觉的输送带表面损伤定量分析方法

为了对输送带表面损伤进行定量分析以有效判断其损伤程度,并根据损伤程度选择检修方法和时间,为工作人员检修提供依据,提出了一种基于双目立体视觉的输送带表面损伤定量分析方法。该方法首先对双目相机进行相机标定,对输送带表面损伤图像进行图像处理校正、立体匹配,基于视差原理根据三角测量原理获取目标点的三维空间信息,通过数学计算模型对损伤程度进行定量分析,提出了改进的Census变换和SGM(semi-global matching)算法相结合的立体匹配算法。结果表明:提出的改进算法匹配效果有所提升,和Census变换算法及梯度算法进行对比,误匹配率分别降低了5.26百分点和3.92百分点,得出的视差图精度最高;通过提出的方法对输送带表面损伤进行定量分析,在输送带损伤长度、宽度、深度三者误差中,损伤深度误差最大为8.5%,仍在可接受范围。

基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于双目视觉的柔性塑胶套壁厚检测系统研究

为了完成锥形波纹管形状的柔性塑胶防尘套壁厚的检测,建立一个基于双目立体视觉模型的测量系统。该系统中的两个工业数字摄像机通过PLC给予的外触发对工件同时进行图像采集,对采集的多组图像进行相应的预处理后,采用特征点提取方法实现图像拼接,运用特征匹配算法提取出相应待测点三维坐标信息,完成柔性塑胶防尘套壁厚检测。该测量系统,使用气动柔性夹爪夹取工件,减少柔性工件的夹取变形影响,使用高精度移动滑台带动工件运动到拍照位置,通过控制滑台特定的移动距离和对图形特征提取结合方法对多次拍照后的工件图像进行特征点筛选和图像拼接,完成工件壁厚的高精度检测。实验数据表明,该测量系统绝对检测精度达±0.05mm以内,简单快捷,缩短了工件生产工作中的设备调整时间。

基于双目立体视觉和轻量化神经网络的交通标志分割和识别

为了降低交通标志图像分割运算量,提出一种基于双目立体视觉和轻量化神经网络的交通标志分割和识别方法。使用已标定的双目立体视觉相机采集交通标志图像,并将其作为轻量化卷积神经网络的输入,通过卷积运算和池化运算提取交通标志的特征。在全连接层中,采用极限学习机和权值修正方法修正输出权值,从而得到交通标志的分割结果。实验结果表明,所提方法能够有效采集高精度的交通标志图像,并降低图像分割运算的复杂性,从而提高交通标志图像的应用性。

一种密集多尺度特征引导代价聚合的改进立体匹配网络

针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于PSMNet的密集多尺度特征引导代价聚合的立体匹配算法—DGNet(Dense multi-scale features Guided aggregation Network)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在KITTI 2015和KITTI 2012数据集上的误匹配率分别降至1.76%和1.24%,SceneFlow数据集上的端点误差降至0.56 px,与GWCNet、CPOP-Net等先进算法相比,所提算法在不适定区域有明显改善。

语义增强的多视立体视觉方法

针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。

双目立体视觉下破损黑陶三维重建方法仿真

在三维重建过程中,由于受环境光线变化、物体透明度、遮挡等因素影响,导致重建结果不准确或不完整,使得视觉效果较差。为了提高三维重建精度,提出一种基于双目立体视觉的破损黑陶三维重建方法。通过转换世界-相机-图像-像素坐标系,标定双目立体视觉相机内外参数,引入最小生成树方法立体匹配左右图像对,计算图像像素绝对强度、梯度、匹配截断值对黑陶重建曲面平滑度的影响,得到连续稠密的视差图,使用最小二乘曲线拟合法平滑处理黑陶三维点云数据,将游离在曲面外的点映射到曲面中,通过三角剖分实现破损黑陶三维表面重建。实验结果表明,所提方法能够有效提高重建后黑陶表面平滑度,且重建结果尺寸精准,拟合度高。

光学运动捕捉实验中参考相机的选择方法研究

针对运动捕捉实验过程中多目视觉系统的标定优化问题,通过对摄像机参数估计过程的误差分析,探索了参考相机的选择对于光束平差迭代计算的影响,并在此基础上提出了一种Q值评测方法,该方法运用有权无向图获得相机节点之间的最短连通路径,利用反投影误差和均方差的加权平均值来评估参考相机选择的合理性。在实验中,使用了多台摄像机组成多目视觉系统对所提出的参考相机选择方法进行了验证。实验结果表明,所提出的Q值评测方法是有效的,可进一步提高系统标定的精度,对运动测试实验精度控制具有重要的参考价值。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

改进Census变换与特征融合的立体匹配算法

针对局部立体匹配算法匹配精度较低问题,提出一种改进Census变换与特征融合的立体匹配算法。首先,使用变换窗口的邻域像素信息代替中心像素,解决传统Census变换过度依赖窗口中心像素问题;其次,引入图像的颜色信息与梯度信息构建融合代价计算函数,提高初始匹配代价的可靠性;为建立邻域像素间联系,引入单向动态规划思想进行代价聚合;最后,提出一种基于八方向的视差空洞填充方法对视差图进行优化。实验结果表明:该算法在Middlebury数据集上的平均误匹配率为3.77%,优于其他改进Census变换方法,具有较高的匹配精度。

基于双目视觉技术的茶叶嫩芽定位方法研究

进一步提升茶叶嫩芽定位的准确性及茶叶嫩芽采摘的作业效率,选取双目视觉技术作为切入点,针对其识别、定位、采摘等环节展开设计研究。考虑茶叶嫩芽采摘的基础特征和双目视觉技术的应用条件,合理搭建双目视觉模型,选用立体匹配的核心定位算法,完成茶叶嫩芽的定位方法与采摘功能优化,并布置相应的试验机构,展开定位采摘验证试验。结果表明:基于双目视觉技术的茶叶嫩芽定位方法应用具有显著的优越性,较普通定位方法而言,识别误匹配率可降低至4.01%,平均漏采率为3.20%,嫩芽采摘完整率达93.40%,可以很好地促进茶叶嫩芽的后续处理加工,是采摘茶叶嫩芽的品质化的重要基础保障。