无人机立体视觉识别船舶航行风险仿真

由于船舶交通受碰撞、搁浅、走锚等随机干扰因素的影响,导致对船舶航行目标的跟踪与风险预警具有较大难度。为增强海上航行的安全性,提出一种基于无人机立体视觉的船舶航行风险识别方法。引入双目视觉立体技术,获得目标船舶在航行过程中的图像数据。利用卡尔曼预测器优化连续性自适应均值漂移算法,跟踪目标船舶,通过高斯混合模型识别船舶航行风险。实验结果表明,研究方法对不同海域的船舶跟踪曲线与船舶实际航行曲线具有较高拟合度,且上述方法的船舶航行风险识别正确率高于90%,且误报率低于0.2%,说明提出方法的应用可靠性较高。

基于立体视觉下联合收获机边缘检测技术的研究

智能联合收割机是目前作物收获的发展热点与研究重点技术之一,而确定田间地块边缘、未收割作物边缘、联合收获机直线行驶和在作物地头转向是实现全田间自动收获的基础。为此,设计了一种基于立体视觉下多种作物收获边缘快速检测方法,保持作物收获边缘在检测目标区域内,并提出了一种基于HSV(色调、饱和度和值)空间扫描的动态感兴趣区域提取算法,利用Ostu算法获得作物未收获面积,实现未收获作物边缘和作物末端边缘的同时检测,并根据作物收获末端边缘自动转向到下一个收割路径。田间验证试验表明:水稻检测准确率高于98%,玉米的检测准确率高于94%,平均处理速度为49frame/ms。研究结果表明:提出的基于立体视觉下联合收获机边缘检测及精准转向系统具有较高的工作精度和效率,可为提高作物收获性能提供技术参考与借鉴。

基于双目立体视觉的乘员运动姿态测量方法研究

提出了基于双目立体视觉的汽车乘员运动姿态测量方法。首先使用自主搭建的双目立体视觉系统,按照张正友标定法标定相机并对图像进行立体校正;然后提出基于邻域的SGBM单参数优化算法,并依此建立乘员关键特征点与三维空间坐标间的映射关系,实现了对乘员运动姿态的非接触动态测量。实验结果表明,该方法可以有效地测量乘员运动姿态,且测量精度较高,对汽车乘员非标准坐姿下的保护策略制定具有重要的参考价值。

基于双目立体视觉和轻量化神经网络的交通标志分割和识别

为了降低交通标志图像分割运算量,提出一种基于双目立体视觉和轻量化神经网络的交通标志分割和识别方法。使用已标定的双目立体视觉相机采集交通标志图像,并将其作为轻量化卷积神经网络的输入,通过卷积运算和池化运算提取交通标志的特征。在全连接层中,采用极限学习机和权值修正方法修正输出权值,从而得到交通标志的分割结果。实验结果表明,所提方法能够有效采集高精度的交通标志图像,并降低图像分割运算的复杂性,从而提高交通标志图像的应用性。

语义增强的多视立体视觉方法

针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

双目立体视觉下破损黑陶三维重建方法仿真

在三维重建过程中,由于受环境光线变化、物体透明度、遮挡等因素影响,导致重建结果不准确或不完整,使得视觉效果较差。为了提高三维重建精度,提出一种基于双目立体视觉的破损黑陶三维重建方法。通过转换世界-相机-图像-像素坐标系,标定双目立体视觉相机内外参数,引入最小生成树方法立体匹配左右图像对,计算图像像素绝对强度、梯度、匹配截断值对黑陶重建曲面平滑度的影响,得到连续稠密的视差图,使用最小二乘曲线拟合法平滑处理黑陶三维点云数据,将游离在曲面外的点映射到曲面中,通过三角剖分实现破损黑陶三维表面重建。实验结果表明,所提方法能够有效提高重建后黑陶表面平滑度,且重建结果尺寸精准,拟合度高。

一种大视场汇聚型双目立体视觉标定方法

双目摄像机汇聚型摆放易导致标记点出现散焦模糊和透视形变,使标记点定位出现偏差,在大视场环境下会引发不可忽视的标定误差,进而影响测量精度。为解决上述问题,提出了一种基于标记点定位偏差度加权的大视场汇聚型双目立体视觉标定方法。首先,利用靶标在摄像机坐标系下的位姿,计算标记点散焦模糊量和透视形变度;其次,根据标记点定位偏差度设置相应权重;最后,将标记点权重系数加入目标函数,引导标定参数优化。实验结果表明:在观测值为505 mm的情况下,该方法测距均方根误差和标准差可达0.809和0.290,不但有效提高了大视场汇聚型双目立体视觉标定精度,而且具有良好的稳定性。

融合注意力机制和多层动态形变卷积的多视图立体视觉重建方法

针对现有多视图立体视觉(Multi-View Stereo,MVS)技术提取弱纹理区域和非郎伯体曲面特征信息不充分及重建效果不理想问题,提出一种融合注意力机制和多层动态形变卷积的AMDC-PatchmatchNet方法。构建一种融合坐标注意力的特征提取网络,能更准确地捕捉重建对象的边缘形状和纹理特征,同时融合一种基于动态形变卷积的自适应感受野模块,根据不同尺度的特征自适应调整感受野的大小和形状,获得兼具全局和细节的特征表示。在DTU数据集上的测试结果表明,所提方法相较于主流MVS方法,点云重建整体性指标提高2.8%,并且在航空影像数据集上验证了模型的泛化能力。

基于立体视觉的聚焦波作用下方形立柱近场波浪的三维测量

准确测量结构物的近场波浪演化是研究波浪与结构物相互作用问题的一个重要前提。针对固定方形立柱的聚焦波试验,提出基于立体视觉的近场波浪测量方法。使用轻质泡沫颗粒制成的标记网来标记波面以获得有丰富纹理的波面图像,在立柱前后各布置一个双目系统,全方位覆盖立柱周边区域,重建出聚焦波作用过程中立柱周围的三维波浪场,从空间分布的角度研究波浪爬升的三维演化。从连续图像序列的处理中可提取出波浪时历,与浪高仪的测量结果吻合良好。结果表明,立体视觉方法可以准确重建结构物的近场波浪演化,测量极端波浪下的波浪爬升。

基于异构立体视觉的大范围高精度测量方法研究

针对双目立体视觉系统无法在仓储物流空间中实现目标物精确感知的问题,本文提出了一种由固定在工作环境中采集较大视场图像的场域相机和搭载在机械臂末端采集局部高分辨率图像的臂载相机相结合的异构立体视觉,通过场域相机与臂载相机共同构建出三维空间中待测目标物与相机像平面坐标关系的三维模型,且臂载相机变换姿态后无需进行外参二次标定,可由对应的三维空间模型求解待测目标物的三维坐标,该异构立体视觉系统能够获得全局场景图像和具有公共视场的特定区域局部高分辨率图像,可联合构建动态场景下特定区域高精度的三维信息,根据实验分析,该方法可有效提高较大视场中目标物识别精度。

基于双目立体视觉的双臂协作机器人动态标定方法研究

基于双目立体视觉的双臂协作机器人在解决立体仓库散落零件识别抓取任务过程中的遮挡问题时,会因相机位姿变化而需要重新采集图像信息进行标定,其结果会受到外部环境因素的影响,使得标定精度降低,而架构无需重新标定的动态双目立体视觉系统可以有效解决该问题,故本文提出一种无需重新标定的动态双目立体视觉标定方法,通过在双臂机器人的两个协作机械臂上分别安装深度视觉模块,架构两个相机互为冗余的动态双目立体视觉系统,结合现有双目立体视觉标定方法和坐标系转换关系,仅在初始位姿标定一次即可推导出动态物像转换模型,得到动态基线与三维信息的函数关系,从而实现目标定位。实验结果表明,该方法能够有效降低动态环境下外部环境因素对双臂协作机器人标定结果的干扰程度,获得准确性较高的目标位置信息。

宽基线立体视觉远距离目标位姿测量

立体视觉测量作为被动探测技术的一种,广泛应用于位姿测量领域。针对传统立体视觉在远距离环境下目标位姿测量受限的问题,提出一种宽基线立体视觉远距离目标位姿测量方法。基于三点定面测量原理,构建位姿测量数学模型,采用相机参数解耦策略,对测量系统所需参数进行标定。设计远距离场景下易于识别的合作目标,利用两台相机对目标进行成像,通过计算合作目标中心点的三维空间坐标,完成远距离环境下目标位姿的解算。实验结果表明,在75~85 m距离下,该方法对目标间相对位姿测量精度优于0.5%,X和Y方向均方根误差优于7.3 mm,Z方向均方根误差优于22.6 mm,可有效适用于远距离下的目标位姿测量应用。

双目立体视觉几何量的高精度测量技术在计量检测中的应用和发展前景

计算机视觉被广泛运用在机器人导航和双目视觉测距等众多领域。对于大面积的计量检测,传统方法人工操作过程较为困难,利用基于计算机视觉的测量技术,可以发挥出较大的优势和价值。该技术是非接触测量技术,无须人工在危险的工作环境中操作,有着较高的测量精度,可以进一步减少测量成本投入,操作过程较为简单,因此在工业、医学以及航天测绘中有着广阔的使用前景以及较大的学科研究价值。基于此,本文针对双目立体视觉几何量的高精度测量技术展开研究,并提出了在计量检测中的应用要点和未来的发展前景。

基于立体视觉的焊孔识别与定位系统研究

目前对大型轴承焊孔、焊缝的焊接基本都是工人手工焊接,而这种传统的人工焊接方式,效率低且质量不稳定,难以满足大批量的生产需求;并且在高温高压、水下及核工业现场等恶劣环境下,要考虑温度、压强及光的折射等因素的影响,人工焊接更是困难,焊接过程对工人的身体伤害也非常大。针对上述问题,基于立体视觉技术,研究焊孔的自动检测识别与定位系统,先通过双目相机实时拍摄焊孔信息,并对拍摄的图像进行预处理;然后利用模板匹配算法和LOG算子检测技术实现对焊孔的检测识别;最后使用AD-Census算法对焊孔进行三维重建。经实验表明,焊孔三维定位误差在0.5 mm内,满足工厂对焊孔的焊接要求。

基于光栅投影双目立体视觉的综合实践设计

基于光栅投影双目立体视觉的综合实践设计旨在培养学生在仪器科学与技术领域的专业技能和实践能力。首先在课程教学中引入思政教育;其次引导学生搭建实验平台、完成相机标定,通过MATLAB编码求解包裹相位、相位解包裹、三维点云生成等,在教学过程中采用项目驱动教学,分模块进行实践教学。最后,通过课程实践培养学生的创新能力和解决复杂问题的能力。

联合光度立体视觉和图像校正的磨粒三维形貌重建

分析铁谱技术在机械装备磨损状态检测中发挥了重要作用,但其仅能提供磨粒二维图像,导致磨粒形貌信息不足。为实现磨粒三维形貌的精确重建,联合光度立体视觉和图像校正,为精确重建磨粒的三维形貌,联合光度立体视觉和图像。该方法首先采用大津阈值法由全光源图像识别磨粒与背景区域;然后为消除LED发光强度差异对磨粒形貌重建的影响,结合平面形状和朗伯反射模型确定背景区域的理想成像亮度,并校正各光度图像序列的亮度;最后根据光度立体视觉方法,由校正后光度图像序列重建磨粒的三维形貌。以不同类型的磨粒为测试样本,将所提出的方法的重建结果与激光共聚焦显微镜的测量结果进行对比。结果表明:重建磨粒的形貌参数误差小于15%,表明提出的方法能够精确重建磨粒的三维形貌。

基于立体视觉测量系统的锅炉管道剩余寿命预测

锅炉管道在高温高压的环境长期工作,在蠕变效应的作用下导致其在低于屈服极限的情况下失效。深度调峰下电厂锅炉主蒸汽、冷再热管道的蠕变效应更为明显,但因其管系复杂、工况恶劣,难以实现有效监测。基于Larson-Miller参数法对电厂主汽、冷再热管道蠕变寿命进行研究,以CAESARⅡ分析不同工况下的管系的位移、应力状态,通过CNN-LSTM建立全管系实时位移、应力在线模型,以立体视觉测量系统对所建立的数据集进行验证。结果证明所提出的CNN-LSTM网络能准确重建管系位移与应力值,重建误差控制在±3%以内;根据管系蠕变分布结果可以看出管道弯折部分容易产生应力集中,并且主汽管道产生的应力集中多于冷再热管道;蠕变寿命预测结果发现管系部分节点的蠕变寿命下降速率高于其余部分,在进行检修时需要对该部分进行重点监测。

基于无人驾驶小麦收割机立体视觉感知系统

针对小麦收割机在农场无人驾驶作业时无法实现动态障碍的实时避障,无人驾驶技术安全性低等问题,设计一种基于立体视觉与深度学习相结合的无人驾驶立体视觉感知系统。首先使用立体视觉相机采集左右目灰度图像,通过图像中像素位置的视差以及立体视觉成像原理,实现对障碍物的距离计算;再将相机采集的RGB图像通过深度学习进行处理,实现障碍物的检测识别,最终完成对动态障碍物的感知。结果表明,基于立体视觉与深度学习的无人驾驶感知系统在农场无人驾驶作业中动态障碍物的检测速率达到30.1 fps,精确率达到98.24%。该方法能够较好的满足作业中动态障碍物检测的识别要求,显著提升无人驾驶小麦收割机作业时的安全性和可靠性,为智能农机无人驾驶的研制奠定理论与技术基础。

基于双目立体视觉数据的波浪场重构研究

为及时准确地获取波面信息,建立了基于双目立体视觉的波面重构流程,从二维波面图像中快速获取三维波面分布。使用双目相机拍摄的波面图像对作为原始数据完成相机参数标定,基于加速鲁棒性特征算法、金字塔搜索法和极线约束完成波面特征点的提取和立体匹配。最后通过立体矫正、视差图分析及图片后处理优化流程实现波浪场的三维点云重构,并选取重构区域作线性插值划分均匀网格,将三维点云投影至二维波面原始图像完成可视化。研究结果表明,在光照条件良好、风浪等级相对较大的情况下,双目立体视觉模型能够准确提取波面特征点,重建的三维点云能够再现波面,具有使用便捷且成本较低的特点,为后续做波浪等级分析及波高预报的相关研究奠定了基础。