基于Stereo Camera-YOLOv5自然环境下百香果检测与定位模型

针对百香果采摘机器人在自然环境中作业时受复杂光线及遮挡影响,难以快速精确地检测及定位成熟百香果的问题,提出一种基于Stereo Camera-YOLOv5自然环境下成熟百香果检测及定位模型。针对自然环境下光线以及遮挡的影响,通过MSRCP算法、随机遮挡、数据增扩等图像处理算法对原始数据集进行优化。将优化的数据集输入到YOLOv5网络中训练出最优模型,在检测代码中嵌入双目立体视觉算法。该模型对自然环境下百香果进行检测及成熟度判断,将判断为成熟的百香果进行图像处理,并提取到中心点二维坐标。通过立体匹配及视差计算得到中心点的三维坐标。田间试验结果表明,该模型的目标检测准确率为97.8%,总体准确率为90.2%,平均运行时间为4.85 s。该系统鲁棒性强、实时性好,能够更好地实现自然环境下成熟百香果的检测及定位,为百香果采摘机器人后续工作奠定基础。

Learning Epipolar Line Window Attention for Stereo Image Super-Resolution Reconstruction

Transformer-based stereo image super-resolution reconstruction(Stereo SR)methods have significantly improved image quality.However,existing methods have deficiencies in paying attention to detailed features and do not consider the offset of pixels along the epipolar lines in complementary views when integrating stereo information.To address these challenges,this paper introduces a novel epipolar line window attention stereo image super-resolution network(EWASSR).For detail feature restoration,we design a feature extractor based on Transformer and convolutional neural network(CNN),which consists of(shifted)window-based self-attention((S)W-MSA)and feature distillation and enhancement blocks(FDEB).This combination effectively solves the problem of global image perception and local feature attention and captures more discriminative high-frequency features of the image.Furthermore,to address the problem of offset of complementary pixels in stereo images,we propose an epipolar line window attention(EWA)mechanism,which divides windows along the epipolar direction to promote efficient matching of shifted pixels,even in pixel smooth areas.More accurate pixel matching can be achieved using adjacent pixels in the window as a reference.Extensive experiments demonstrate that our EWASSR can reconstruct more realistic detailed features.Comparative quantitative results show that in the experimental results of our EWASSR on the Middlebury and Flickr1024 data sets for 2×SR,compared with the recent network,the Peak signal-to-noise ratio(PSNR)increased by 0.37 dB and 0.34 dB,respectively.

Warhead fragments motion trajectories tracking and spatio-temporal distribution reconstruction method based on high-speed stereo photography

High speed photography technique is potentially the most effective way to measure the motion parameter of warhead fragment benefiting from its advantages of high accuracy,high resolution and high efficiency.However,it faces challenge in dense objects tracking and 3D trajectories reconstruction due to the characteristics of small size and dense distribution of fragment swarm.To address these challenges,this work presents a warhead fragments motion trajectories tracking and spatio-temporal distribution reconstruction method based on high-speed stereo photography.Firstly,background difference algorithm is utilized to extract the center and area of each fragment in the image sequence.Subsequently,a multi-object tracking(MOT)algorithm using Kalman filtering and Hungarian optimal assignment is developed to realize real-time and robust trajectories tracking of fragment swarm.To reconstruct 3D motion trajectories,a global stereo trajectories matching strategy is presented,which takes advantages of epipolar constraint and continuity constraint to correctly retrieve stereo correspondence followed by 3D trajectories refinement using polynomial fitting.Finally,the simulation and experimental results demonstrate that the proposed method can accurately track the motion trajectories and reconstruct the spatio-temporal distribution of 1.0×10^(3)fragments in a field of view(FOV)of 3.2 m×2.5 m,and the accuracy of the velocity estimation can achieve 98.6%.

Hawk‐eye‐inspired perception algorithm of stereo vision for obtaining orchard 3D point cloud navigation map

The binocular stereo vision is the lowest cost sensor for obtaining 3D information.Considering the weakness of long‐distance measurement and stability,the improvement of accuracy and stability of stereo vision is urgently required for application of precision agriculture.To address the challenges of stereo vision long‐distance measurement and stable perception without hardware upgrade,inspired by hawk eyes,higher resolution perception and the adaptive HDR(High Dynamic Range)were introduced in this paper.Simulating the function from physiological structure of‘deep fovea’and‘shallow fovea’of hawk eye,the higher resolution reconstruction method in this paper was aimed at ac-curacy improving.Inspired by adjustment of pupils,the adaptive HDR method was proposed for high dynamic range optimisation and stable perception.In various light conditions,compared with default stereo vision,the accuracy of proposed algorithm was improved by 28.0%evaluated by error ratio,and the stability was improved by 26.56%by disparity accuracy.For fixed distance measurement,the maximum improvement was 78.6%by standard deviation.Based on the hawk‐eye‐inspired perception algorithm,the point cloud of orchard was improved both in quality and quantity.The hawk‐eye‐inspired perception algorithm contributed great advance in binocular 3D point cloud recon-struction in orchard navigation map.

Adaptive Recurrent Iterative Updating Stereo Matching Network

When training a stereo matching network with a single training dataset, the network may overly rely on the learned features of the single training dataset due to differences in the training dataset scenes, resulting in poor performance on all datasets. Therefore, feature consistency between matched pixels is a key factor in solving the network’s generalization ability. To address this issue, this paper proposed a more widely applicable stereo matching network that introduced whitening loss into the feature extraction module of stereo matching, and significantly improved the applicability of the network model by constraining the variation between salient feature pixels. In addition, this paper used a GRU iterative update module in the disparity update calculation stage, which expanded the model’s receptive field at multiple resolutions, allowing for precise disparity estimation not only in rich texture areas but also in low texture areas. The model was trained only on the Scene Flow large-scale dataset, and the disparity estimation was conducted on mainstream datasets such as Middlebury, KITTI 2015, and ETH3D. Compared with earlier stereo matching algorithms, this method not only achieves more accurate disparity estimation but also has wider applicability and stronger robustness.

基于特征优化的Census立体匹配方法

针对传统Census立体匹配算法在弱纹理和边缘区域匹配精度较差的问题,提出一种基于特征信息优化的代价计算方法,在窗口中融入更多的差异信息以获得更精确的像素视差值。随后采用多方向路径独立的线扫描优化计算聚合代价以进一步提高匹配精度。为获得更好的遮挡区域匹配效果,提出一种基于差异填充的视差优化方法,对遮挡像素进行识别和视差填充。为提高算法的效率,提出一种基于降采样策略的算法运行模式,通过缩小视差搜索范围以减少硬件负荷。最后以五组标准图像为输入进行改进Census算法性能检验,结果显示,平均误匹配率为6.12%,较改进前降低了2.45%,算法效率平均提升17.7%。

基于立体视觉下联合收获机边缘检测技术的研究

智能联合收割机是目前作物收获的发展热点与研究重点技术之一,而确定田间地块边缘、未收割作物边缘、联合收获机直线行驶和在作物地头转向是实现全田间自动收获的基础。为此,设计了一种基于立体视觉下多种作物收获边缘快速检测方法,保持作物收获边缘在检测目标区域内,并提出了一种基于HSV(色调、饱和度和值)空间扫描的动态感兴趣区域提取算法,利用Ostu算法获得作物未收获面积,实现未收获作物边缘和作物末端边缘的同时检测,并根据作物收获末端边缘自动转向到下一个收割路径。田间验证试验表明:水稻检测准确率高于98%,玉米的检测准确率高于94%,平均处理速度为49frame/ms。研究结果表明:提出的基于立体视觉下联合收获机边缘检测及精准转向系统具有较高的工作精度和效率,可为提高作物收获性能提供技术参考与借鉴。

无人机立体视觉识别船舶航行风险仿真

由于船舶交通受碰撞、搁浅、走锚等随机干扰因素的影响,导致对船舶航行目标的跟踪与风险预警具有较大难度。为增强海上航行的安全性,提出一种基于无人机立体视觉的船舶航行风险识别方法。引入双目视觉立体技术,获得目标船舶在航行过程中的图像数据。利用卡尔曼预测器优化连续性自适应均值漂移算法,跟踪目标船舶,通过高斯混合模型识别船舶航行风险。实验结果表明,研究方法对不同海域的船舶跟踪曲线与船舶实际航行曲线具有较高拟合度,且上述方法的船舶航行风险识别正确率高于90%,且误报率低于0.2%,说明提出方法的应用可靠性较高。

可见光光色对南极磷虾集群行为的影响

南极磷虾为南极海洋生态系统中的关键物种,但有关南极磷虾反馈光色的机制研究极为缺乏。为了加深对该物种生态学的理解,本研究通过海上现场水箱暂养的方式探究了可见光光色对南极磷虾集群行为的影响。利用光学立体相机同步获取磷虾集群影像,借助摄影测量技术完成南极磷虾个体关键特征点几何信息的高精度自动量测,进而得到可见光中短波蓝光至长波红光间不同光色下集群内个体间距及其游泳倾角。结果显示,磷虾群的绝对个体间距为(14.51±9.71)cm,相对个体间距为(2.84±1.51)BL,不同光照下的游泳角度为(46.08±35.50)°,并且主要集中在60°左右。研究表明,光色会影响南极磷虾集群内个体的间距,短波蓝光和长波红光间具有显著差异,相较于长波的红光,蓝光的趋向性更佳,但游泳倾角在不同的光色间无显著差异。实验结果将有助于理解野外南极磷虾集群的大小规模以及提升声学评估中目标强度(TS)模型的精度。

基于多特征SAD-Census变换的立体匹配算法

视差不连续区域和重复纹理区域的误匹配率高一直是影响双目立体匹配测量精度的主要问题,为此,本文提出一种基于多特征融合的立体匹配算法。首先,在代价计算阶段,通过高斯加权法赋予邻域像素点的权值,从而优化绝对差之和(Sum of Absolute Differences,SAD)算法的计算精度。接着,基于Census变换改进二进制链码方式,将邻域内像素的平均灰度值与梯度图像的灰度均值相融合,进而建立左右图像对应点的判断依据并优化其编码长度。然后,构建基于十字交叉法与改进的引导滤波器相融合的聚合方法,从而实现视差值再分配,以降低误匹配率。最后,通过赢家通吃(Winner Take All,WTA)算法获取初始视差,并采用左右一致性检测方法及亚像素法提高匹配精度,从而获取最终的视差结果。实验结果表明,在Middlebury数据集的测试中,所提SAD-Census算法的平均非遮挡区域和全部区域的误匹配率为分别为2.67%和5.69%,测量200~900 mm距离的平均误差小于2%;而实际三维测量的最大误差为1.5%。实验结果检验了所提算法的有效性和可靠性。

基于双目视觉的车前行人检测方法研究

当前的汽车安全辅助驾驶和无人驾驶汽车是图像领域的研究热点,针对汽车在启动或行驶时车前存在行人可能导致的安全问题,着重研究了基于双目视觉的车前行人检测方法。进行了双目相机的相机标定和立体标定;通过改进后半全局立体匹配算法获取深度图,确定车前行人所处位置的感兴趣区域(Region of Interest,ROI),剔除冗余的背景信息;分割并提取了图像的降维梯度直方图(Histogram of Gradients,HOG)特征信息;将特征输入到支持向量机(Support Vector Machine,SVM)分类器训练,检测并标记出车前的行人目标。实验证明,所提算法对车前场景下的动态行人可以更为有效地检测,具备更优的检率精度、时效性和鲁棒性。

基于分层空间一致性的旋转双目立体校正算法

在旋转双目立体视觉系统中,转台机械间隙导致的左右相机旋转平移偏差,造成立体校正图像的严重畸变。针对该问题,提出一种基于分层空间一致性的旋转双目立体校正算法。采用ORB特征在原始左右图像中进行快速全局立体匹配,设计一种新的特征点全局双层约束,实现匹配点的优选。提出基于内点邻域空间一致性的局部校验方法,实现二次匹配优化,并利用质量排序的优化匹配点集,由八点法基础矩阵估计算法计算左右相机的精确位姿关系,以此完成图像的立体校正。在Oxford和SYNTIM数据集上的典型算法对比实验,验证了所提算法的性能。多角度立体校正实验表明:所提算法可适应光轴夹角变化,在双目最大45°夹角时保证立体校正的质量,匹配点偏差小于0.2像素。

电力变压器关键尺寸视觉检测方法及其缩比模型验证

电力变压器的关键尺寸测量是其装配制造、运输安装过程中重要一环,现有测量方法操作繁琐且效率较低。为此,本文提出了一种适用于110 kV油浸式电力变压器关键尺寸视觉检测方法,该方法利用YOLO目标检测算法、Grabcut图像分割算法实现关键组部件的智能检测与分割,然后基于双目立体视觉原理实现套管相间距离及变压器最大截面外形尺寸等关键尺寸的测量。本文搭建了110 kV油浸式电力变压器外观缩比模型,试验分析了拍摄距离和角度等因素对电力变压器关键尺寸视觉检测的影响。结果表明,本文基于缩比模型试验实现了在不同拍摄距离与角度下变压器关键尺寸的视觉检测,验证了该方法的有效性。本文方法可以为110 kV油浸式电力变压器现场尺寸测量提供参考。

基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

注意力机制与神经渲染的多视图三维重建算法

针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。

基于自适应窗的动态权值代价聚合立体匹配

传统局部匹配算法通常在不同聚合窗口下采用单一权值进行代价聚集,而忽略了不同区域像素点之间的差异性,易导致基于双目视觉测量的立体匹配精度不稳定。为此,提出一种基于自适应窗的动态权值代价聚合立体匹配算法。首先,以梯度信息表征模型为约束条件,构建代价聚合自适应十字交叉窗口。其次,分析视差不连续区域与弱纹理区域的像素特征,建立基于像素距离与色差双阈值权重的代价聚集模型,进而计算各窗口的动态权重影响因子。最后,基于线性迭代聚类法分割视差图区域,剔除奇异的视差值以提高算法匹配精度。实验结果表明,在Middlebury数据集的测试中,所提算法的平均非遮挡区域和全部区域的误匹配率分别为4.11%和5.65%,优于传统匹配算法;4组测量样品的全局长度测量平均相对误差小于1.2%,全局高度测量平均相对误差小于2.7%。实验结果检验了所提算法的有效性和可靠性。

基于两阶段代价矩阵和动态注意力的双目立体匹配网络

目前大多数先进的双目立体匹配网络通过构建4D代价矩阵以保留图像的语义信息,增加了网络的计算量开销。为了解决上述问题,提出了两阶段的组合代价矩阵和多尺度动态注意力的EDNet++网络。首先从全局的、粗粒度的视差搜索范围上构建的基于相似度的代价矩阵作为引导,在局部的搜索范围上实现细粒度的组合代价矩阵,其次提出基于残差的动态注意力机制,其根据中间结果信息自适应地生成空间上的注意力分布,并且通过迁移实验证明了该方法的有效性,最后在各大公开数据集上的对比实验结果表明,相较于其他方法,EDNet++方法能够达到算法精度和实时性的良好平衡。

一种密集多尺度特征引导代价聚合的改进立体匹配网络

针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于PSMNet的密集多尺度特征引导代价聚合的立体匹配算法—DGNet(Dense multi-scale features Guided aggregation Network)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在KITTI 2015和KITTI 2012数据集上的误匹配率分别降至1.76%和1.24%,SceneFlow数据集上的端点误差降至0.56 px,与GWCNet、CPOP-Net等先进算法相比,所提算法在不适定区域有明显改善。

基于双目视觉的输送带表面损伤定量分析方法

为了对输送带表面损伤进行定量分析以有效判断其损伤程度,并根据损伤程度选择检修方法和时间,为工作人员检修提供依据,提出了一种基于双目立体视觉的输送带表面损伤定量分析方法。该方法首先对双目相机进行相机标定,对输送带表面损伤图像进行图像处理校正、立体匹配,基于视差原理根据三角测量原理获取目标点的三维空间信息,通过数学计算模型对损伤程度进行定量分析,提出了改进的Census变换和SGM(semi-global matching)算法相结合的立体匹配算法。结果表明:提出的改进算法匹配效果有所提升,和Census变换算法及梯度算法进行对比,误匹配率分别降低了5.26百分点和3.92百分点,得出的视差图精度最高;通过提出的方法对输送带表面损伤进行定量分析,在输送带损伤长度、宽度、深度三者误差中,损伤深度误差最大为8.5%,仍在可接受范围。

浅谈数字化设计对产品包装的影响——以三维可视化立体模型为例

随着科技的不断发展,三维可视化技术已被应用于多个领域。三维可视化技术是一种将三维模型转化为二维图像的技术,可以将复杂的产品结构、工艺流程、装配方式等信息以三维的形式呈现出来,让人们更加直观地了解产品。对产品包装设计的数码设计来说,三维可视化技术已经逐渐成为产品包装设计和营销中不可或缺的一部分。利用三维可视化技术,可以更直观地展现产品的外包装、功能、性能等信息,从而吸引更多的消费者,提高产品销量。本文以三维可视化的立体模型为例,主要阐述了产品包装设计的数码设计效果。