基于双目立体视觉的多分辨率图像匹配方法研究

在双目立体视觉系统中,面对复杂场景时噪声会损害图像特征,增加提取难度,导致匹配精度和鲁棒性下降。因此,文中提出基于双目立体视觉的多分辨率图像匹配方法,旨在从不同尺度图像中有效获取信息并实现高精度匹配。该方法利用双目立体视觉模型的双目旋转相机扫描目标并进行成像,根据内、外空间标定提升双目旋转相机的位置精度,保证目标的多分辨率成像效果;将其输入金字塔立体匹配网络中,通过网络中的类金字塔多空洞卷积操作提取双目图像特征,在此基础上,基于可变卷积增强其纹理特征细节;结合细粒度特征和互注意力机制完成双目图像匹配。测试结果显示,空间标定后,左、右两个相机的成像误差最小值分别为0.6 Pixel和0.4 Pixel;匹配点坐标偏差均值和坐标偏差方差值分别低于0.012和0.011,匹配效果良好。

无人机立体视觉识别船舶航行风险仿真

由于船舶交通受碰撞、搁浅、走锚等随机干扰因素的影响,导致对船舶航行目标的跟踪与风险预警具有较大难度。为增强海上航行的安全性,提出一种基于无人机立体视觉的船舶航行风险识别方法。引入双目视觉立体技术,获得目标船舶在航行过程中的图像数据。利用卡尔曼预测器优化连续性自适应均值漂移算法,跟踪目标船舶,通过高斯混合模型识别船舶航行风险。实验结果表明,研究方法对不同海域的船舶跟踪曲线与船舶实际航行曲线具有较高拟合度,且上述方法的船舶航行风险识别正确率高于90%,且误报率低于0.2%,说明提出方法的应用可靠性较高。

基于立体视觉下联合收获机边缘检测技术的研究

智能联合收割机是目前作物收获的发展热点与研究重点技术之一,而确定田间地块边缘、未收割作物边缘、联合收获机直线行驶和在作物地头转向是实现全田间自动收获的基础。为此,设计了一种基于立体视觉下多种作物收获边缘快速检测方法,保持作物收获边缘在检测目标区域内,并提出了一种基于HSV(色调、饱和度和值)空间扫描的动态感兴趣区域提取算法,利用Ostu算法获得作物未收获面积,实现未收获作物边缘和作物末端边缘的同时检测,并根据作物收获末端边缘自动转向到下一个收割路径。田间验证试验表明:水稻检测准确率高于98%,玉米的检测准确率高于94%,平均处理速度为49frame/ms。研究结果表明:提出的基于立体视觉下联合收获机边缘检测及精准转向系统具有较高的工作精度和效率,可为提高作物收获性能提供技术参考与借鉴。

VR立体视觉硬件技术及AI空间智能展望

总结VR立体视觉系统硬件建设的创新技术,提出了人工智能(Artificial Intelligence,AI)生成基于模型系统工程(Model-Based Systems Engineering,MBSE)数字模型VR视觉的创新方法。通过优选大屏幕式、小间距LED显示屏、主动立体显示硬件,创新实现了集科研演示验证、会议讨论功能于一体的高分辨率、多通道立体同步、多通道立体拼接的VR视觉硬件系统,并通过数据驱动的AI算法,准确高效地生成MBSE系统工程各类数字模型的VR视觉,为VR系统的软、硬件建设提供技术借鉴。

基于双目立体视觉的乘员运动姿态测量方法研究

提出了基于双目立体视觉的汽车乘员运动姿态测量方法。首先使用自主搭建的双目立体视觉系统,按照张正友标定法标定相机并对图像进行立体校正;然后提出基于邻域的SGBM单参数优化算法,并依此建立乘员关键特征点与三维空间坐标间的映射关系,实现了对乘员运动姿态的非接触动态测量。实验结果表明,该方法可以有效地测量乘员运动姿态,且测量精度较高,对汽车乘员非标准坐姿下的保护策略制定具有重要的参考价值。

基于双目立体视觉和轻量化神经网络的交通标志分割和识别

为了降低交通标志图像分割运算量,提出一种基于双目立体视觉和轻量化神经网络的交通标志分割和识别方法。使用已标定的双目立体视觉相机采集交通标志图像,并将其作为轻量化卷积神经网络的输入,通过卷积运算和池化运算提取交通标志的特征。在全连接层中,采用极限学习机和权值修正方法修正输出权值,从而得到交通标志的分割结果。实验结果表明,所提方法能够有效采集高精度的交通标志图像,并降低图像分割运算的复杂性,从而提高交通标志图像的应用性。

语义增强的多视立体视觉方法

针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

双目立体视觉下破损黑陶三维重建方法仿真

在三维重建过程中,由于受环境光线变化、物体透明度、遮挡等因素影响,导致重建结果不准确或不完整,使得视觉效果较差。为了提高三维重建精度,提出一种基于双目立体视觉的破损黑陶三维重建方法。通过转换世界-相机-图像-像素坐标系,标定双目立体视觉相机内外参数,引入最小生成树方法立体匹配左右图像对,计算图像像素绝对强度、梯度、匹配截断值对黑陶重建曲面平滑度的影响,得到连续稠密的视差图,使用最小二乘曲线拟合法平滑处理黑陶三维点云数据,将游离在曲面外的点映射到曲面中,通过三角剖分实现破损黑陶三维表面重建。实验结果表明,所提方法能够有效提高重建后黑陶表面平滑度,且重建结果尺寸精准,拟合度高。

一种大视场汇聚型双目立体视觉标定方法

双目摄像机汇聚型摆放易导致标记点出现散焦模糊和透视形变,使标记点定位出现偏差,在大视场环境下会引发不可忽视的标定误差,进而影响测量精度。为解决上述问题,提出了一种基于标记点定位偏差度加权的大视场汇聚型双目立体视觉标定方法。首先,利用靶标在摄像机坐标系下的位姿,计算标记点散焦模糊量和透视形变度;其次,根据标记点定位偏差度设置相应权重;最后,将标记点权重系数加入目标函数,引导标定参数优化。实验结果表明:在观测值为505 mm的情况下,该方法测距均方根误差和标准差可达0.809和0.290,不但有效提高了大视场汇聚型双目立体视觉标定精度,而且具有良好的稳定性。

基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法

为了实现机器人焊接的免示教路径规划,结合深度学习与点云处理技术,开发了一种高效、稳定的焊缝智能识别算法.首先,采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型,利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest,ROI),模型识别精度为99.5%,从而实现快速剔除背景点云,并基于RANSAC平面拟合、欧式聚类等点云处理算法,对ROI区域的三维点云进行焊缝空间位置的精细识别;最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹.结果表明,文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划,生成的轨迹与人工示教轨迹效果相当,偏差在0.5 mm以内.

融合注意力机制和多层动态形变卷积的多视图立体视觉重建方法

针对现有多视图立体视觉(Multi-View Stereo,MVS)技术提取弱纹理区域和非郎伯体曲面特征信息不充分及重建效果不理想问题,提出一种融合注意力机制和多层动态形变卷积的AMDC-PatchmatchNet方法。构建一种融合坐标注意力的特征提取网络,能更准确地捕捉重建对象的边缘形状和纹理特征,同时融合一种基于动态形变卷积的自适应感受野模块,根据不同尺度的特征自适应调整感受野的大小和形状,获得兼具全局和细节的特征表示。在DTU数据集上的测试结果表明,所提方法相较于主流MVS方法,点云重建整体性指标提高2.8%,并且在航空影像数据集上验证了模型的泛化能力。

结合视觉舒适度的无参考立体视频稳像效果评价

立体视频稳像效果评价是评价立体视频稳像算法性能的有效途径.针对当前缺乏立体视频稳像效果客观评价方法的问题,提出一种结合视觉舒适度的无参考立体视频稳像效果评价方法.将立体视频稳像前后的运动平滑度和视觉舒适度变化作为视频稳像前后的变化特征,结合主观评价训练得到立体视频稳像效果评价的支持向量回归模型;回归模型通过学习立体视频稳像前后的变化特征与主观评价结果之间的关系,最终获得直接评价任意立体视频稳像效果的能力.使用收集的55条仿真视频训练模型,并在10条真实视频上进行实验的结果表明,所提方法的稳定性较好,在视频量达到180条时,模型的评价结果趋于稳定,且模型评价结果与主观评价结果相关性达到93%,可用于立体视频稳像效果的客观评价.

基于立体视觉的聚焦波作用下方形立柱近场波浪的三维测量

准确测量结构物的近场波浪演化是研究波浪与结构物相互作用问题的一个重要前提。针对固定方形立柱的聚焦波试验,提出基于立体视觉的近场波浪测量方法。使用轻质泡沫颗粒制成的标记网来标记波面以获得有丰富纹理的波面图像,在立柱前后各布置一个双目系统,全方位覆盖立柱周边区域,重建出聚焦波作用过程中立柱周围的三维波浪场,从空间分布的角度研究波浪爬升的三维演化。从连续图像序列的处理中可提取出波浪时历,与浪高仪的测量结果吻合良好。结果表明,立体视觉方法可以准确重建结构物的近场波浪演化,测量极端波浪下的波浪爬升。

基于异构立体视觉的大范围高精度测量方法研究

针对双目立体视觉系统无法在仓储物流空间中实现目标物精确感知的问题,本文提出了一种由固定在工作环境中采集较大视场图像的场域相机和搭载在机械臂末端采集局部高分辨率图像的臂载相机相结合的异构立体视觉,通过场域相机与臂载相机共同构建出三维空间中待测目标物与相机像平面坐标关系的三维模型,且臂载相机变换姿态后无需进行外参二次标定,可由对应的三维空间模型求解待测目标物的三维坐标,该异构立体视觉系统能够获得全局场景图像和具有公共视场的特定区域局部高分辨率图像,可联合构建动态场景下特定区域高精度的三维信息,根据实验分析,该方法可有效提高较大视场中目标物识别精度。

基于双目立体视觉的双臂协作机器人动态标定方法研究

基于双目立体视觉的双臂协作机器人在解决立体仓库散落零件识别抓取任务过程中的遮挡问题时,会因相机位姿变化而需要重新采集图像信息进行标定,其结果会受到外部环境因素的影响,使得标定精度降低,而架构无需重新标定的动态双目立体视觉系统可以有效解决该问题,故本文提出一种无需重新标定的动态双目立体视觉标定方法,通过在双臂机器人的两个协作机械臂上分别安装深度视觉模块,架构两个相机互为冗余的动态双目立体视觉系统,结合现有双目立体视觉标定方法和坐标系转换关系,仅在初始位姿标定一次即可推导出动态物像转换模型,得到动态基线与三维信息的函数关系,从而实现目标定位。实验结果表明,该方法能够有效降低动态环境下外部环境因素对双臂协作机器人标定结果的干扰程度,获得准确性较高的目标位置信息。

双目立体视觉几何量的高精度测量技术在计量检测中的应用和发展前景

计算机视觉被广泛运用在机器人导航和双目视觉测距等众多领域。对于大面积的计量检测,传统方法人工操作过程较为困难,利用基于计算机视觉的测量技术,可以发挥出较大的优势和价值。该技术是非接触测量技术,无须人工在危险的工作环境中操作,有着较高的测量精度,可以进一步减少测量成本投入,操作过程较为简单,因此在工业、医学以及航天测绘中有着广阔的使用前景以及较大的学科研究价值。基于此,本文针对双目立体视觉几何量的高精度测量技术展开研究,并提出了在计量检测中的应用要点和未来的发展前景。

宽基线立体视觉远距离目标位姿测量

立体视觉测量作为被动探测技术的一种,广泛应用于位姿测量领域。针对传统立体视觉在远距离环境下目标位姿测量受限的问题,提出一种宽基线立体视觉远距离目标位姿测量方法。基于三点定面测量原理,构建位姿测量数学模型,采用相机参数解耦策略,对测量系统所需参数进行标定。设计远距离场景下易于识别的合作目标,利用两台相机对目标进行成像,通过计算合作目标中心点的三维空间坐标,完成远距离环境下目标位姿的解算。实验结果表明,在75~85 m距离下,该方法对目标间相对位姿测量精度优于0.5%,X和Y方向均方根误差优于7.3 mm,Z方向均方根误差优于22.6 mm,可有效适用于远距离下的目标位姿测量应用。

基于立体视觉的焊孔识别与定位系统研究

目前对大型轴承焊孔、焊缝的焊接基本都是工人手工焊接,而这种传统的人工焊接方式,效率低且质量不稳定,难以满足大批量的生产需求;并且在高温高压、水下及核工业现场等恶劣环境下,要考虑温度、压强及光的折射等因素的影响,人工焊接更是困难,焊接过程对工人的身体伤害也非常大。针对上述问题,基于立体视觉技术,研究焊孔的自动检测识别与定位系统,先通过双目相机实时拍摄焊孔信息,并对拍摄的图像进行预处理;然后利用模板匹配算法和LOG算子检测技术实现对焊孔的检测识别;最后使用AD-Census算法对焊孔进行三维重建。经实验表明,焊孔三维定位误差在0.5 mm内,满足工厂对焊孔的焊接要求。

一种基于双目立体视觉的虚拟轨道列车路径识别方法

为了克服单目视觉的局限性和提高虚拟轨道列车的路径感知能力,文章提出一种基于双目立体视觉的虚拟轨道列车路径识别方法。针对虚拟轨道列车车道块明显、外形完整、形状独特等特点,提出了基于Mask R-CNN的车道检测模型。同时,针对通用的双目匹配算法计算量大和对重复物体匹配较难的缺点,提出了融合多目标跟踪的双目匹配算法。该方法通过左右相机各自检测车道块,进行多目标跟踪来分配ID,对左右图像中的各车道块实现有序、定向的双目匹配,并重建出车辆坐标系下路径的三维坐标,有效提升了车辆系统路径感知能力,为其循迹控制、自主定位、相对位姿估计等提供了更加直接准确的输入信息。试验结果表明,本文方法对路径的三维重建具有较高的准确性,并且在不同路况场景下具有较强的适应性。