Research on Extraction of Bottom of Shoe Pattern Based on Binocular Stereo Vision

In order to quickly and efficiently get the information of the bottom of the shoe pattern and spraying trajectory, the paper proposes a method based on binocular stereo vision. After acquiring target image, edge detection based on the canny algorithm, the paper begins stereo matching based on area and characteristics of algorithm. To eliminate false matching points, the paper uses the principle of polar geometry in computer vision. For the purpose of gaining the 3D point cloud of spraying curve, the paper adopts the principle of binocular stereo vision 3D measurement, and then carries on cubic spline curve fitting. By HALCON image processing software programming, it proves the feasibility and effectiveness of the method

Accuracy study of a binocular-stereo-vision-based navigation robot for minimally invasive interventional procedures

BACKGROUND Medical robot is a promising surgical tool,but no specific one has been designed for interventional treatment of chronic pain.We developed a computed tomography-image based navigation robot using a new registration method with binocular vision.This kind of robot is appropriate for minimal invasive interventional procedures and easy to operate.The feasibility,accuracy and stability of this new robot need to be tested.AIM To assess quantitatively the feasibility,accuracy and stability of the binocularstereo-vision-based navigation robot for minimally invasive interventional procedures.METHODS A box model was designed for assessing the accuracy for targets at different distances.Nine(three sets)lead spheres were embedded in the model as puncture goals.The entry-to-target distances were set 50 mm(short-distance),100 mm(medium-distance)and 150 mm(long-distance).Puncture procedure was repeated three times for each goal.The Euclidian error of each puncture was calculated and statistically analyzed.Three head phantoms were used to explore the clinical feasibility and stability.Three independent operators conducted foramen ovale placement on head phantoms(both sides)by freehand or under the guidance of robot(18 punctures with each method).The operation time,adjustment time and one-time success rate were recorded,and the two guidancemethods were compared.RESULTS On the box model,the mean puncture errors of navigation robot were 1.7±0.9 mm for the short-distance target,2.4±1.0 mm for the moderate target and 4.4±1.4 mm for the long-distance target.On the head phantom,no obvious differences in operation time and adjustment time were found among the three performers(P>0.05).The median adjustment time was significantly less under the guidance of the robot than under free hand.The one-time success rate was significantly higher with the robot(P<0.05).There was no obvious difference in operation time between the two methods(P>0.05).CONCLUSION In the laboratory environment,accuracy of binocular-stereo-vision-based navigation robot is acceptable for target at 100 mm depth or less.Compared with freehand,foramen ovale placement accuracy can be improved with robot guidance.

Hawk‐eye‐inspired perception algorithm of stereo vision for obtaining orchard 3D point cloud navigation map

The binocular stereo vision is the lowest cost sensor for obtaining 3D information.Considering the weakness of long‐distance measurement and stability,the improvement of accuracy and stability of stereo vision is urgently required for application of precision agriculture.To address the challenges of stereo vision long‐distance measurement and stable perception without hardware upgrade,inspired by hawk eyes,higher resolution perception and the adaptive HDR(High Dynamic Range)were introduced in this paper.Simulating the function from physiological structure of‘deep fovea’and‘shallow fovea’of hawk eye,the higher resolution reconstruction method in this paper was aimed at ac-curacy improving.Inspired by adjustment of pupils,the adaptive HDR method was proposed for high dynamic range optimisation and stable perception.In various light conditions,compared with default stereo vision,the accuracy of proposed algorithm was improved by 28.0%evaluated by error ratio,and the stability was improved by 26.56%by disparity accuracy.For fixed distance measurement,the maximum improvement was 78.6%by standard deviation.Based on the hawk‐eye‐inspired perception algorithm,the point cloud of orchard was improved both in quality and quantity.The hawk‐eye‐inspired perception algorithm contributed great advance in binocular 3D point cloud recon-struction in orchard navigation map.

Bubble behavior characteristics based on virtual binocular stereo vision

The three-dimensional(3D) behavior characteristics of bubble rising in gas-liquid two-phase flow are of great importance to study bubbly flow mechanism and guide engineering practice. Based on the dual-perspective imaging of virtual binocular stereo vision, the 3D behavior characteristics of bubbles in gas-liquid two-phase flow are studied in detail, which effectively increases the projection information of bubbles to acquire more accurate behavior features. In this paper, the variations of bubble equivalent diameter, volume, velocity and trajectory in the rising process are estimated, and the factors affecting bubble behavior characteristics are analyzed. It is shown that the method is real-time and valid, the equivalent diameter of the rising bubble in the stagnant water is periodically changed, and the crests and troughs in the equivalent diameter curve appear alternately. The bubble behavior characteristics as well as the spiral amplitude are affected by the orifice diameter and the gas volume flow.

基于Stereo Camera-YOLOv5自然环境下百香果检测与定位模型

针对百香果采摘机器人在自然环境中作业时受复杂光线及遮挡影响,难以快速精确地检测及定位成熟百香果的问题,提出一种基于Stereo Camera-YOLOv5自然环境下成熟百香果检测及定位模型。针对自然环境下光线以及遮挡的影响,通过MSRCP算法、随机遮挡、数据增扩等图像处理算法对原始数据集进行优化。将优化的数据集输入到YOLOv5网络中训练出最优模型,在检测代码中嵌入双目立体视觉算法。该模型对自然环境下百香果进行检测及成熟度判断,将判断为成熟的百香果进行图像处理,并提取到中心点二维坐标。通过立体匹配及视差计算得到中心点的三维坐标。田间试验结果表明,该模型的目标检测准确率为97.8%,总体准确率为90.2%,平均运行时间为4.85 s。该系统鲁棒性强、实时性好,能够更好地实现自然环境下成熟百香果的检测及定位,为百香果采摘机器人后续工作奠定基础。

电力变压器关键尺寸视觉检测方法及其缩比模型验证

电力变压器的关键尺寸测量是其装配制造、运输安装过程中重要一环,现有测量方法操作繁琐且效率较低。为此,本文提出了一种适用于110 kV油浸式电力变压器关键尺寸视觉检测方法,该方法利用YOLO目标检测算法、Grabcut图像分割算法实现关键组部件的智能检测与分割,然后基于双目立体视觉原理实现套管相间距离及变压器最大截面外形尺寸等关键尺寸的测量。本文搭建了110 kV油浸式电力变压器外观缩比模型,试验分析了拍摄距离和角度等因素对电力变压器关键尺寸视觉检测的影响。结果表明,本文基于缩比模型试验实现了在不同拍摄距离与角度下变压器关键尺寸的视觉检测,验证了该方法的有效性。本文方法可以为110 kV油浸式电力变压器现场尺寸测量提供参考。

一种密集多尺度特征引导代价聚合的改进立体匹配网络

针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于PSMNet的密集多尺度特征引导代价聚合的立体匹配算法—DGNet(Dense multi-scale features Guided aggregation Network)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在KITTI 2015和KITTI 2012数据集上的误匹配率分别降至1.76%和1.24%,SceneFlow数据集上的端点误差降至0.56 px,与GWCNet、CPOP-Net等先进算法相比,所提算法在不适定区域有明显改善。

信号博弈的三维重建形变识别算法

现有双目立体视觉算法常常需要双目相机位置固定,在现实应用中,这类算法难以重构空间三维几何关系.为此,本文提出了一种不受位置限制的多视角图像三维重建与形变检测算法.该算法首先采用sift算法获取成对图像的特征点,以获取形变前后比对点对图像的特征信息;其次,利用信号博弈方法确定图像拍摄时相机的空间位置与视角,以准确获取图像的空间位置坐标;再次,依据上述信息完成物体的三维点云重建;进而,利用三维数据信息比对实现物体形变识别.最后,本文利用真实物体的实验,验证了三维重建形变识别算法的有效性.

基于双目视觉的柔性塑胶套壁厚检测系统研究

为了完成锥形波纹管形状的柔性塑胶防尘套壁厚的检测,建立一个基于双目立体视觉模型的测量系统。该系统中的两个工业数字摄像机通过PLC给予的外触发对工件同时进行图像采集,对采集的多组图像进行相应的预处理后,采用特征点提取方法实现图像拼接,运用特征匹配算法提取出相应待测点三维坐标信息,完成柔性塑胶防尘套壁厚检测。该测量系统,使用气动柔性夹爪夹取工件,减少柔性工件的夹取变形影响,使用高精度移动滑台带动工件运动到拍照位置,通过控制滑台特定的移动距离和对图形特征提取结合方法对多次拍照后的工件图像进行特征点筛选和图像拼接,完成工件壁厚的高精度检测。实验数据表明,该测量系统绝对检测精度达±0.05mm以内,简单快捷,缩短了工件生产工作中的设备调整时间。

基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

改进Census变换与特征融合的立体匹配算法

针对局部立体匹配算法匹配精度较低问题,提出一种改进Census变换与特征融合的立体匹配算法。首先,使用变换窗口的邻域像素信息代替中心像素,解决传统Census变换过度依赖窗口中心像素问题;其次,引入图像的颜色信息与梯度信息构建融合代价计算函数,提高初始匹配代价的可靠性;为建立邻域像素间联系,引入单向动态规划思想进行代价聚合;最后,提出一种基于八方向的视差空洞填充方法对视差图进行优化。实验结果表明:该算法在Middlebury数据集上的平均误匹配率为3.77%,优于其他改进Census变换方法,具有较高的匹配精度。

基于双目视觉的车前行人检测方法研究

当前的汽车安全辅助驾驶和无人驾驶汽车是图像领域的研究热点,针对汽车在启动或行驶时车前存在行人可能导致的安全问题,着重研究了基于双目视觉的车前行人检测方法。进行了双目相机的相机标定和立体标定;通过改进后半全局立体匹配算法获取深度图,确定车前行人所处位置的感兴趣区域(Region of Interest,ROI),剔除冗余的背景信息;分割并提取了图像的降维梯度直方图(Histogram of Gradients,HOG)特征信息;将特征输入到支持向量机(Support Vector Machine,SVM)分类器训练,检测并标记出车前的行人目标。实验证明,所提算法对车前场景下的动态行人可以更为有效地检测,具备更优的检率精度、时效性和鲁棒性。

用于钢铁回收中的目标检测与尺寸估计算法

为解决钢铁回收过程中由于开放式复杂场景而无法准确地获得目标废钢点云进行尺寸估计,文章提出一种基于Mask R-CNN模型预测掩膜自适应颜色阈值的目标点云提取算法。针对Mask R-CNN模型边缘分割的不完整性,通过预测框对点云进行截取,利用自适应颜色滤波阈值对截取的点云进行HSV颜色空间滤波,将非目标点云离散化,最后通过欧式聚类对目标点云进行分割并进行尺寸估计。通过废旧汽车B柱模拟回收场景,获取汽车B柱点云,验证了该算法的有效性。

一种大视场汇聚型双目立体视觉标定方法

双目摄像机汇聚型摆放易导致标记点出现散焦模糊和透视形变,使标记点定位出现偏差,在大视场环境下会引发不可忽视的标定误差,进而影响测量精度。为解决上述问题,提出了一种基于标记点定位偏差度加权的大视场汇聚型双目立体视觉标定方法。首先,利用靶标在摄像机坐标系下的位姿,计算标记点散焦模糊量和透视形变度;其次,根据标记点定位偏差度设置相应权重;最后,将标记点权重系数加入目标函数,引导标定参数优化。实验结果表明:在观测值为505 mm的情况下,该方法测距均方根误差和标准差可达0.809和0.290,不但有效提高了大视场汇聚型双目立体视觉标定精度,而且具有良好的稳定性。

基于改进的SURF算法的机械臂识别定位及抓取研究

针对采用传统SURF算法对机械臂工作区域内的目标进行识别时出现的运行速度较慢、匹配准确度较低等问题,提出一种基于改进的SURF算法的机械臂识别定位及抓取方法。首先,利用传统SURF算法提取目标的尺度不变性特征点;随后,通过rBRIEF描述子与低方差过滤分别对提取特征实施描述及降维,再进行基于Hamming距离的2-NN特征点交叉匹配,并采用RANSAC算法剔除错误匹配对;最后,结合双目立体视觉三维重建获取目标的空间三维坐标,并将机械臂逆运动学求解得到的各个关节驱动角输入控制系统,驱使舵机带动机械臂末端执行器完成对目标的抓取作业。实验结果表明,采用改进的SURF算法,较SIFT、传统SURF算法提高了目标特征点的识别速度与匹配准确度,有效提升了机械臂抓取的实时性及精准性。

面向桌面交互场景的双目深度测量方法

基于视觉的虚拟现实交互方式在桌面书写应用场景中尚未有针对性的解决方案,书写交互中精细动作准确识别的实现,需要一种全新的高精度手笔联合三维识别技术,其中深度准确度是影响三维识别精度的重要因素。为此提出一种高精度双目深度测量方法,该方法针对书写交互采用了高分辨率、近距离的图像对作为输入,并在算法上提出全局与局部重要信息交叉融合的思想以提升速度与精度,减少计算成本。算法使用区域检测模块提取图像对中的手部和笔尖关键区域以重要程度分尺度输入;并且引入区域特征金字塔结构结合多尺度语义信息;同时利用视差级联模块缩小匹配范围,提高网络实时性。实验证明,提出的深度测量方法在手部和笔尖交互区域精度高,实时性好,能够有效辅助提高手笔联合三维识别精度以提供更好的虚拟书写交互体验,具有广泛的应用前景。

基于稀疏匹配的机床零件瑕疵投影辅助视觉检测方法

机械臂在自动精准打磨机床零件前需要对机床零件进行特征识别,传统激光点阵扫描精度高,但设备成本高昂而难以规模应用。引入固定式投影产生扫描线图、棋盘格图和随机灰度图等特征作为测量辅助,并结合双目立体视觉测量对零件瑕疵进行检测,改善了传统双目视觉针对光滑平面零件难以识别特征进行立体匹配的情况。分析结果与激光点阵扫描结果进行精度校验。同时,通过5种经典局部立体匹配算法与所提方法进行精度比较,并对辅助图的关键参数进行精度关联分析。最后,引入自适应算法对所提方法进行优化以提高识别精度。结果表明:随机灰度图能够显著提高匹配精度,扫描线优化与子像素拟合能够进一步提高匹配精度,扫描线法与棋盘格法优化后精度提高较大,新方法可有效识别平面零件的瑕疵特征,检测精度达标区域占比大于98%。

基于双目视觉的灾后玻璃幕墙变形检测方法

为解决高层建筑玻璃幕墙年久失修、经历突发自然灾害以及常年受到高风压载荷导致幕墙变形且难以精确检测的问题,提出一种基于双目立体视觉检测玻璃幕墙变形的方法。该方法首先根据双目成像原理对左右相机进行高精度标定,获取相机的内外参数;然后通过预处理、形态学处理消除图像中的干扰项,并通过霍夫圆变换基于标识点对图像进行特征提取;最后,采用奇异值分解(SVD)和列文伯格-马夸尔特优化算法(LM)计算玻璃幕墙变形前后标识点的三维坐标,从而确定玻璃幕墙的形变。结果表明:借助双目立体视觉测量的方法能够精确检测玻璃幕墙的变形程度,平均相对误差为2.276%,能够有效满足玻璃幕墙变形检测的实际需求。

结合多路梯度与重排序的AD-Census立体匹配算法

针对局部立体匹配算法在深度不连续和弱纹理区域匹配精度低,且容易受到噪声干扰的问题,提出一种结合多路梯度与重排序的AD-Census立体匹配算法。对传统的AD-Census变换进行改进,重排序不同尺度变换窗口中的像素,取中值作为中心像素点计算Hamming距离,使其对噪声具有更强的鲁棒性,并将八方向梯度信息相融合进行代价计算以增强可靠性;采用十字交叉域和4路径扫描线优化进行代价聚合,提高匹配精度;采用赢家通吃法则进行视差计算,同时引入多步骤视差优化策略得到最终的视差图。在Middlebury测试平台提供的标准立体图像上,所提算法的平均误匹配率低至4.62%,与经典和新颖算法相比,匹配精度明显提高,具有更强的稳健性。

一种基于双目立体视觉的虚拟轨道列车路径识别方法

为了克服单目视觉的局限性和提高虚拟轨道列车的路径感知能力,文章提出一种基于双目立体视觉的虚拟轨道列车路径识别方法。针对虚拟轨道列车车道块明显、外形完整、形状独特等特点,提出了基于Mask R-CNN的车道检测模型。同时,针对通用的双目匹配算法计算量大和对重复物体匹配较难的缺点,提出了融合多目标跟踪的双目匹配算法。该方法通过左右相机各自检测车道块,进行多目标跟踪来分配ID,对左右图像中的各车道块实现有序、定向的双目匹配,并重建出车辆坐标系下路径的三维坐标,有效提升了车辆系统路径感知能力,为其循迹控制、自主定位、相对位姿估计等提供了更加直接准确的输入信息。试验结果表明,本文方法对路径的三维重建具有较高的准确性,并且在不同路况场景下具有较强的适应性。