基于双目3D视觉技术的接触网几何参数动态检测系统

针对目前接触网几何参数检测设备工作效率低、精度不高的问题,采用双目3D视觉成像、结构光图像采集和图像处理等技术,研制了接触网几何参数动态检测系统。该系统主要由接触网图像采集装置、车体偏移图像采集装置、增量式编码器、图像数据转换装置、主机及检测软件组成,可随不同车载平台以0~120 km/h速度运行,能够在强光、低照度等天气条件下实现接触网导高、拉出值的动态非接触式检测,自动识别触网导高、拉出值异常,生成指导接触网精调和日常巡检所需的异常报表和标注文档。系统设备轻便、易于安装,并提供了有效的标定方法。在实验室搭建测试平台,进行导高、拉出值测试和车体振动位移修正测试,并在北京地铁某运营线路上进行初步动态测试。测试结果表明,该系统能够稳定地动态采集高清图像,接触网导高、拉出值测量精度误差低于5 mm,能够满足铁路、地铁和轻轨等接触网新建施工精调作业和运营线路接触网日常巡检作业需要。

双目视觉三维重建下的植保机作业优化研究

以喷雾植保机自动化作业路径规划为研究对象,利用双目视觉摄像机对作业环境区域内的障碍物进行检测,并基于三维重建技术构建障碍物空间位置坐标,根据检测到的障碍物位置信息对喷雾植保机的避障路径进行规划,以保证喷雾植保机作业过程可实时避障。试验结果表明:喷雾植保机能够按照预先设定的作业路径行进,遇到障碍物时能够及时进行障碍检测,并根据规划路径进行避障,保证了喷雾作业的有效实施。

基于双目视觉的三维车辆检测算法

在自动驾驶中,车辆的三维目标检测是一项重要的场景理解任务。相比于昂贵的雷达设备,借助双目设备的三维目标检测方法有成本低定位准确的特点。基于立体区域卷积神经网络(Stereo RCNN)提出了一种用于双目视觉的三维目标检测OC-3DNet算法,有效地提高了检测精度。针对特征提取高分辨率与感受野的矛盾,结合特征提取网络与注意力引导特征金字塔(AC-FPN),有效地提高了算法对小目标的检测精度。针对三维中心投影检测误差大的问题,建立了一种新的三维中心投影与二维中心的约束关系,进一步提升了三维目标检测的精度。实验结果表明,改进后的OC-3DNet算法在以0.7为阈值的三维目标检测上平均精度为43%,较Stereo R-CNN三维目标检测的平均精度提升了约3%。

双目立体视觉下破损黑陶三维重建方法仿真

在三维重建过程中,由于受环境光线变化、物体透明度、遮挡等因素影响,导致重建结果不准确或不完整,使得视觉效果较差。为了提高三维重建精度,提出一种基于双目立体视觉的破损黑陶三维重建方法。通过转换世界-相机-图像-像素坐标系,标定双目立体视觉相机内外参数,引入最小生成树方法立体匹配左右图像对,计算图像像素绝对强度、梯度、匹配截断值对黑陶重建曲面平滑度的影响,得到连续稠密的视差图,使用最小二乘曲线拟合法平滑处理黑陶三维点云数据,将游离在曲面外的点映射到曲面中,通过三角剖分实现破损黑陶三维表面重建。实验结果表明,所提方法能够有效提高重建后黑陶表面平滑度,且重建结果尺寸精准,拟合度高。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

基于插值超分辨的双目三维重建方法

基于双目立体匹配重建物体表面三维形貌时,其匹配精度往往受限于传感器尺寸、镜头焦距和光源环境等物理条件。针对此问题,本文提出了一种基于插值超分辨的双目表面三维重建方法。首先,在图像预处理阶段,建立基于小波变换与双直方图均衡融合的图像增强方法,克服传统双目视觉受限于复杂环境光干扰等问题;其次,构建基于拉格朗日与三次多项式插值的超分辨算法,提升图像像素密度,为双目匹配代价计算阶段增加图像细节,从而提高匹配精度;最后,基于SLIC算法对目标图像进行分割,并针对各分割区域分别做二次曲面拟合,进而获得与物体实际表面更为贴合的高度曲线,从而降低重建误差并可提高重建精度。实验结果表明:5组测量样品的全局高度测量平均相对误差为±2.3%,实验平均测量时长为1.8828 s,最大时长为1.9362 s,较传统方法有明显提升。实验分析结果验证了本文所提方法的有效性。

基于双目立体视觉的连铸辊尺寸三维测量方法

针对连铸车间中,扇形段连铸辊尺寸人工测量效率低下的问题,提出了一种基于双目视觉系统的连铸辊尺寸测量方法。首先,对双目相机采集的图像进行预处理并采用Otsu法分割工件前后背景;接着,针对边缘检测精度不高的问题,将传统Canny边缘检测算法的梯度模板增加到8个以提取工件轮廓,结合多项式插值公式提取亚像素级别特征点;然后,在SAD与Census变换融合的立体匹配基础上引入RANSAC算法来消除错误匹配;最后,采用三角测量原理计算出零件的尺寸。实验结果表明,系统测量的平均相对误差为0.14%,测量方法具有较高的精度,其稳定性与精确性满足连铸辊的尺寸自动检测任务。

基于双目立体视觉的实验室波浪场实时重建

准确测量波浪场演化对于海洋结构物的水动力研究十分重要。本文基于双目立体视觉建立了一套用于测量室内波浪的图像识别方法,以轻质泡沫作为示踪粒子标记波面以获得具有丰富纹理的波面图像,根据极线约束矫正图像,使用阈值分割避免光照不均和水底反射的干扰,使用GPU加速的立体视觉匹配算法,实现波浪图像的实时立体匹配,重建出波面的三维点云与网格模型。通过对图像序列的重建,提取出的波浪时历与浪高仪的测量结果基本一致,波高以及周期值的吻合性良好。结果表明,该方法可以准确测量实验室内的三维波浪场,捕捉瞬时波浪演化,并可提供实时的监控。

基于WLS滤波优化的双目视觉深度图重建

为解决双目视觉三维重建深度图边缘不连续的问题,提出基于加权最小二乘(weighted least squares,WLS)滤波的深度图优化,经双目标定、畸变矫正、立体校正、立体匹配建立三维深度图,加入WLS滤波,通过调整正则项更改约束条件,对梯度较大的区域减少约束,保留图像边缘,对梯度较小的区域平滑处理,去除噪声,采用峰值信噪比、结构相似性指数、平均绝对误差3个参数评价图像质量。评价结果表明:与半全局匹配算法相比,此算法的峰值信噪比增大1.849 dB,图像失真更少,质量更高;结构相似性指数增大0.4151,与原图结构相似性更强;平均绝对误差减小21.5422,还原度更高。重建的深度图视觉效果更好,改善立体匹配不连续的问题,减小匹配误差,使视差图质量更高。

基于快速聚合和预配准的三维人脸重建

为提高三维人脸重建的时间效率,提出一种基于快速聚合和预配准的三维重建方法。首先,使用两个普通摄像头构建双目立体视觉系统,通过标定双目摄像头获取相机参数和人脸图像对,并进行图像对校正、人脸特征点检测和前景提取。其次,根据人脸特征点计算合适的视差搜索范围,从而避免手动设置;在不影响精度的前提下,使用快速代价聚合方法提升聚合的时间效率;采用多角度孔洞填充方法对孔洞进行填充,从而得到较平滑的视差图。接着,利用基于人脸特征的点云配准从恢复的三维点云中提取标记的人脸特征点并进行配准,从而提高配准的精度和效率。最后,使用Possion重建方法进行人脸表面恢复。实验结果表明,改进后方法的平均时间效率提高了26.45%,时间效率高并且重建出的三维人脸轮廓真实、结构清晰。

基于被动视觉的三维重建技术研究进展

基于被动视觉的三维重建技术方法多样、应用广泛。按照不同的分类方法,对基于被动视觉的三维重建技术研究进展进行了分析总结。首先,根据采集装置的数量进行分类,介绍了基于单目视觉、双目视觉和多目视觉的三维重建技术,并对各种方法的优缺点进行比较。其次,根据不同应用方法进行分类,对运动恢复结构法和深度学习法的研究进展进行了阐述。最后,对基于被动视觉的三维重建方法进行了综合对比分析,并对三维重建的应用和发展进行了展望。

基于双目视觉的目标空间定位系统的设计与实现

近年来,随着工业领域计算机视觉技术的不断发展,基于双目视觉的空间重建技术成为研究和应用的重点之一。针对实体无人档案库房的建设需求,文章设计了一套适用于小区域三维空间重建的系统。该系统采用双目相机搭配六自由度机械臂,并通过改进Census变换和自适应窗口立体匹配算法实现了档案库房的三维空间重建。经实验验证,该系统能够成功完成实际库房小区域的空间重建任务,为后续的存取任务奠定了基础。

基于点阵激光的弱纹理对象三维建模研究

针对弱纹理对象表面信息要素少,机器视觉三维建模困难的问题,提出一种使用双目视觉技术配合点阵激光重建目标对象的方法。采用点阵激光赋予目标对象表面纹理,提出相应的特征点识别及匹配算法。根据相邻视角中相机间的空间位姿关系拼接多视角的点云三维图。实验结果表明,重建的三维模型直径平均误差为2.05%,三维模型边缘和实物边缘的重合度为87.4%,点云坐标与实际点的三维坐标偏差较小,能满足针对弱纹理对象的三维建模需求。

基于3DKAZE通道特征的实时行人检测

将二维非线性扩散滤波方法扩展到三维时空域,提出一种新的3DKAZE特征点检测与描述方法。同时提出一种基于3DKAZE通道特征的实时行人检测算法。利用双目视觉的方式获取输入图像对中行人的深度信息进而排除了地面和天空等自由区域,采用HOG+LUV+3DKAZE的积分检测算子进行检测,最后通过训练得到的Soft Cascade分类器对得到的描述子进行分类,最终得到目标行人。在Caltech、ETH、INRIA以及TUD-Brussels四个公共基准数据集中的实验结果表明,所提出的行人检测算法的检测结果在准确性上达到了较好的水准,同时也得到了快速实时的效果。

基于双目视觉的三维场景图像表面重建算法

在三维场景图像中,像素色度不均匀会影响图像的视觉表现效果,维持像素色度的均匀分布是提升图像视觉表现效果的有效方法。为满足实际应用需求,大幅提升三维场景图像的视觉表现效果,提出一种基于双目视觉的三维场景图像表面重建算法。首先,确定视觉相机的内参、外参标记结果,通过极线校正双目图像的处理方式,完成基于双目视觉的三维场景图像标定;然后,求解像素代价聚合条件,根据像素节点的三维视差推导图像表面的重建表达式,完成基于双目视觉的三维场景图像表面重建算法的设计。实验结果表明,双目视觉技术作用下,三维场景图像的像素色度呈现出较为均匀的分布状态,符合提升图像视觉表现效果的实际应用需求。

化工生产线工业机器人视觉点位修正校准方案优化研究

为提高工业机器人在复杂化工生产环境下的目标识别与抓取精度,对化工生产线工业机器人视觉点位修正校准方案进行优化研究。提出一种基于3D双目视觉的立体校准修正算法,通过对极几何模型、KNN算法以及点云预处理,实现对化工生产线工业机器人的六自由度位姿估算。结果表明,改进的视觉校准和姿态估算方法能够有效提升机器人在复杂环境下的抓取精度,抓取误差在3 mm以内。所提出的视觉修正算法能够稳定输出高置信度的目标位姿信息,在实际的工业应用中具有可行性。

基于双目视觉的运动目标检测与三维重建

移动机器人凭借其工作性能可靠、减少生产制造成本等优势,在现代集成智能制造业中具有广阔的市场应用前景。但目前移动机器人室内环境感知系统存在感知维度单一、精度不高等问题,往往难以满足多维度实时精确感知环境的需求。因此,在模拟物流储仓的实验室环境下构建了一种可同时进行二维动态目标检测和三维场景地图重建的环境感知系统,将双目相机采集的图像分别输入增加树形特征融合模块的改进YOLOv3网络与加入带色彩恢复的多尺度视网膜增强算法和关键帧筛选机制的优化RTAB-MAP算法,运行结果在机器人可视化平台实时显示,从而进行多维度环境感知,满足多任务需求。实验结果表明,动态目标检测中查准率与查全率较原算法分别提高1.78%和1.73%,检测耗时为16.57ms/f,平均定位误差为1.49%;改进后的RTAB-MAP算法相较原算法各误差均显著下降,实际室内场景重建中三维点云地图质量更佳。

基于双目视觉图像识别的输煤机皮带跑偏在线识别方法

受输煤机皮带原始图像质量的影响,导致对其跑偏程度的识别结果误差难以得到有效控制,基于此,提出基于双目视觉图像识别的输煤机皮带跑偏在线识别方法。将Mech-Eye UHP-140工业级3D双目视觉相机作为具体的输煤机皮带视觉图像采集装置,在对其安装后,结合实际的输煤机皮带运行状态以及图像质量要求,对具体的采集阶段参数进行设置;在输煤机皮带跑偏程度识别结果,引入了亥姆霍兹原理,对双目视觉图像的边缘进行识别,根据双目图像边缘交叉程度与皮带中心线之间的距离关系,确定具体的跑偏距离。在测试结果中,设计对于皮带偏移量的识别结果并未受到运行速度的影响,且具体的识别结果误差始终稳定在0.1 mm以内。

一种基于双目立体视觉的虚拟轨道列车路径识别方法

为了克服单目视觉的局限性和提高虚拟轨道列车的路径感知能力,文章提出一种基于双目立体视觉的虚拟轨道列车路径识别方法。针对虚拟轨道列车车道块明显、外形完整、形状独特等特点,提出了基于Mask R-CNN的车道检测模型。同时,针对通用的双目匹配算法计算量大和对重复物体匹配较难的缺点,提出了融合多目标跟踪的双目匹配算法。该方法通过左右相机各自检测车道块,进行多目标跟踪来分配ID,对左右图像中的各车道块实现有序、定向的双目匹配,并重建出车辆坐标系下路径的三维坐标,有效提升了车辆系统路径感知能力,为其循迹控制、自主定位、相对位姿估计等提供了更加直接准确的输入信息。试验结果表明,本文方法对路径的三维重建具有较高的准确性,并且在不同路况场景下具有较强的适应性。

基于点云的鸡毛菜表型参数提取

针对人工测量作物表型结构参数不够准确的问题,提出基于双目视觉的作物表型参数提取系统.利用鸡毛菜的叶面积和平均叶倾角两个重要表型参数,通过采集鸡毛菜原始RGB图和深度图,将原始信息合成为颜色点云后进行预处理.采用超体素聚类的分割算法将每片叶片从作物点云中分离,并改进贪婪投影三角剖分算法,获得最佳表面重建效果,实现网格模型的颜色渲染.在VTK库中完成网格模型的优化,获得真实感较强的鸡毛菜网格模型.在网格模型中实现对两个参数的提取,并与人工测量值比较.对于第四组大于4 cm的叶片,自动提取的叶倾角平均绝对误差小于5.5°,验证了自动化无损监测鸡毛菜作物的可行性.