基于双目深度筛选的ORB-SLAM3算法

针对ORB-SLAM3算法中特征点存在易丢失、精度低,进而导致双目在复杂场景下运动轨迹误差大的问题,本文设计了一种改进的ORB-SLAM3算法。首先,在ORB特征匹配算法中引入自适应角点检测技术,增加特征点的采集数量,并采用光流法跟踪图像特征,提高关键帧的创建成功率;其次,以特征点为中心,作区域搜索,提高实时性;然后,采用双向左右一致性检验筛选最优视差,应用Prosac算法去除误匹配点对;最后,结合深度信息对关键帧进行筛选,提高关键帧的质量,优化相机位姿。采用KITTI和EuRoc数据集进行了试验,验证了改进算法在绝对轨迹误差上具有良好的优化效果。

基于RGB-D双目视觉的苗期玉米三维模型重构方法研究

以玉米幼苗为对象,研究基于RGB-D双目视觉的苗期玉米三维模型重构方法,实现了部分重构参数的优化。首先,针对目标进行固定步距角环绕图像采集,依据RGB图像中目标区域分割结果,对深度图像进行目标区域深度数据分割,并采用改进后的均值滤波对苗期玉米区域内深度数据孔洞进行自适应填充;其次,针对苗期玉米各角度的深度点云数据,采用先粗后精完成多角度点云配准与融合;最后,对比两种体素精简方法对点云的精简平滑效果,实现苗期玉米三维模型的重构。通过试验对比步距角对苗期玉米模型的重构效率与精度,结果表明:采用八叉树滤波精简效果较好,60°步距角建模误差最小,重构的模型与苗期玉米株高精度误差为4.4 mm,茎粗平均精度误差为0.62 mm,能满足苗期玉米的三维重构形态测量需求。

双目视觉三维重建下的植保机作业优化研究

以喷雾植保机自动化作业路径规划为研究对象,利用双目视觉摄像机对作业环境区域内的障碍物进行检测,并基于三维重建技术构建障碍物空间位置坐标,根据检测到的障碍物位置信息对喷雾植保机的避障路径进行规划,以保证喷雾植保机作业过程可实时避障。试验结果表明:喷雾植保机能够按照预先设定的作业路径行进,遇到障碍物时能够及时进行障碍检测,并根据规划路径进行避障,保证了喷雾作业的有效实施。

基于双目视觉的车前行人检测方法研究

当前的汽车安全辅助驾驶和无人驾驶汽车是图像领域的研究热点,针对汽车在启动或行驶时车前存在行人可能导致的安全问题,着重研究了基于双目视觉的车前行人检测方法。进行了双目相机的相机标定和立体标定;通过改进后半全局立体匹配算法获取深度图,确定车前行人所处位置的感兴趣区域(Region of Interest,ROI),剔除冗余的背景信息;分割并提取了图像的降维梯度直方图(Histogram of Gradients,HOG)特征信息;将特征输入到支持向量机(Support Vector Machine,SVM)分类器训练,检测并标记出车前的行人目标。实验证明,所提算法对车前场景下的动态行人可以更为有效地检测,具备更优的检率精度、时效性和鲁棒性。

基于双目视觉的堆叠零件识别与定位研究

针对堆叠零件识别定位耗时长与精度低等问题,设计了一种高效的识别定位方法。在识别方面,提出了一种分类器融合方法。通过使用此方法训练出一个权重可动态调整的分类器模型,成功实现了对堆叠零件的分类识别。在定位方面,采用改进随机Hough变换的方法提取目标边缘。利用堆叠零件的边缘几何特征,重建出堆叠零件的空间姿态信息。最后,对单个特征分类器和组合特征分类器进行了分类识别实验和模型评估。实验结果表明,特征融合后的分类器展现出更高的识别精度和更稳定的准确率波动,表明其具有更好的分类鲁棒性。

自动钻铆末端双目高精定位系统设计

设计了基于自动钻铆末端的双目高精定位系统。首先对视觉定位需求进行分析,设计双目视觉系统结构参数,基于视觉光源去除复合材料背景纹理;其次对轮廓进行提取拟合,预处理标定后结合ESPCN和Canny算子进行亚像素边缘提取,利用改进最小二乘法拟合计算圆心坐标;最后对视觉定位系统进行精度验证。结果表明:平面定位误差小于0.02mm,深度定位误差小于0.04mm,满足钻铆机器人的视觉测量要求。

基于双目图像深度学习的农作物择优采摘仿真

面对复杂的农作物生长环境,利用传统机器视觉技术采摘易受到未成熟果实以及周围叶片影响,获取的农作物果实图像存在较多的不可用信息,无法完成择优采摘。为了确保采摘的果蔬品质,提出基于双目图像深度学习的农作物择优采摘方法。利用直方图均衡化变换视觉图像区域,明确农作物图像内像素灰度值,均衡化色块不均位置。通过色彩分量调节全局图像颜色,以颜色差异分割双目图像,剔除局部RGB色彩关联性。在提取农作物形状特征前,将深度信息再次归一化,获得作物形态描述符。选择卷积神经网络对图像实行卷积运算,将择优特征结果输入到卷积层内,输出图像分类结果,实现农作物择优采摘。实验结果表明,所提方法的择优采摘精准度达到0.98,果实形状特征识别为0.96。说明所提方法能够准确识别出品质佳的农作物,实现了择优采摘。

基于双目立体视觉的乘员运动姿态测量方法研究

提出了基于双目立体视觉的汽车乘员运动姿态测量方法。首先使用自主搭建的双目立体视觉系统,按照张正友标定法标定相机并对图像进行立体校正;然后提出基于邻域的SGBM单参数优化算法,并依此建立乘员关键特征点与三维空间坐标间的映射关系,实现了对乘员运动姿态的非接触动态测量。实验结果表明,该方法可以有效地测量乘员运动姿态,且测量精度较高,对汽车乘员非标准坐姿下的保护策略制定具有重要的参考价值。

基于双目结构光的三维立体电路板焊点定位

三维立体电路将传统二维集成电路拓展至三维,在提高了电路板形状设计柔性的同时,也提升了电路板上元器件焊点定位的复杂度.为了降低三维立体电路加工过程中的人力成本,提高加工效率,设计了一种用于焊接机床对三维立体电路板焊点定位的双目结构光系统,并针对双目结构光系统在与焊接机床结合应用过程中存在的坐标转换、焊点识别困难等问题,从硬件与算法层面提出了解决方案.在软硬件的配合下,可以简单快速地完成双目结构光系统与焊接机床之间的坐标转换,并对电路板焊点完成定位与坐标计算,代替了人工对三维立体电路板焊点测量定位的复杂流程.实验表明,提出的方案具有较高的精度,能够满足机床焊接元器件过程中对焊点的定位需求.

基于自适应阈值ORB特征提取的果园双目稠密地图构建

针对果园阴暗光照条件下图像特征点匹配数量少、易丢失以及点云稀疏问题,对ORB-SLAM2算法进行了改进,提出了基于自适应阈值ORB特征点提取的果园双目三维地图稠密建图算法。首先在跟踪线程中提出一种自适应阈值的FAST角点提取方法,通过计算不同光照下图像平均像素求解阈值,对左右目图像提取ORB特征,增加了不同光照条件下的特征点匹配数量;然后根据特征点估计相机位姿完成局部地图跟踪,对跟踪线程产生的关键帧地图点进行BA优化完成局部地图构建。在原有算法基础上添加了基于ZED-stereo型相机双目深度融合的稠密建图模块,对左右目关键帧进行特征匹配获得图像对,利用图像对求解深度信息获取地图点,经过深度优化获取相机位姿,根据相机位姿进行局部点云的构建与拼接,最终对获得的点云地图进行全局BA优化,构建果园三维稠密地图。在KITTI数据集序列上进行测试,本文所改进的ORB-SLAM2算法的绝对轨迹误差更加收敛,轨迹误差标准差在00和07序列分别下降60.5%和62.6%,在其他序列上也有不同程度下降,表明本文算法定位精度较原始算法有所提高。不同光照环境下进行算法性能测试,结果表明本文算法较原始算法能更好地适应不同光照条件,在较强光照、正常光照、偏弱光照和阴雨天气下特征点平均匹配数量增加5.32%、4.53%、8.93%、12.91%。进行果园直线和稠密建图试验,结果表明直线行驶偏航角更加收敛,定位精确度高,关键帧提取数量较原始算法下降2.86%、平均跟踪时间减少39.3%;稠密建图效果好,能够很好地反映机器人位姿和果园真实环境信息,满足果园三维稠密点云地图构建需求,可为果园机器人导航路径规划提供支持。

双目结构光视觉引导的螺栓自动装配系统设计

为解决螺栓自动化装配过程中存在的零件位姿快速获取和在弱纹理、反光等复杂场景中实现精确定位等难题,基于双目结构光视觉原理,研制了一套螺栓自动装配系统。首先,通过双目结构光视觉系统获取工件场景的三维信息,涉及光栅条纹图案的获取、双目标定、多频外差法求解绝对相位、相位校正、极线校正、立体匹配,接着采用欧式聚类对重建的点云数据进行分割,获取单个螺栓的三维点云聚类,然后利用迭代最近点(ICP)算法估计模板点云到目标点云的位姿变换矩阵,识别连接螺栓在空间中的位姿,最后结合机械臂末端进行自动装配拧紧。实验结果表明,整个装配过程可自动完成,单个螺栓拧紧装配时间约为10 s,系统测试平均轴孔对中误差不超过1.20 mm,误差标准差不超过0.11 mm。

无人机双目视觉鲁棒定位方法

无人机(unmanned aerial vehicle,UAV)在全球定位系统(global positioning system,GPS)信号拒止环境中的应用受到限制,传统视觉同步定位与建图(simultaneous localization and mapping,SLAM)技术一定程度上解决了该问题,但在动态场景和弱纹理场景中定位精度较差。针对该问题提出一种基于双目视觉的多场景鲁棒SLAM方法,重点考虑了真实环境中的动态和弱纹理2类具有挑战性的场景,利用双目相机为UAV在动态和弱纹理场景中提供位姿信息。针对动态场景利用掩膜基于区域的卷积神经网络(mask region-based convolutional neural network,Mask R-CNN)分割潜在动态内容并剔除动态特征,通过计算稠密光流同步相邻帧的掩膜,减小了掩膜的计算成本。对于弱纹理场景,在传统SLAM算法使用的点特征基础上融合了线特征,充分利用了环境中的结构特征。数值模拟和仿真实验证明了本文算法具有更高的鲁棒性和精确性。

基于双目视觉的柔性塑胶套壁厚检测系统研究

为了完成锥形波纹管形状的柔性塑胶防尘套壁厚的检测,建立一个基于双目立体视觉模型的测量系统。该系统中的两个工业数字摄像机通过PLC给予的外触发对工件同时进行图像采集,对采集的多组图像进行相应的预处理后,采用特征点提取方法实现图像拼接,运用特征匹配算法提取出相应待测点三维坐标信息,完成柔性塑胶防尘套壁厚检测。该测量系统,使用气动柔性夹爪夹取工件,减少柔性工件的夹取变形影响,使用高精度移动滑台带动工件运动到拍照位置,通过控制滑台特定的移动距离和对图形特征提取结合方法对多次拍照后的工件图像进行特征点筛选和图像拼接,完成工件壁厚的高精度检测。实验数据表明,该测量系统绝对检测精度达±0.05mm以内,简单快捷,缩短了工件生产工作中的设备调整时间。

基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

基于双目视觉的输送带表面损伤定量分析方法

为了对输送带表面损伤进行定量分析以有效判断其损伤程度,并根据损伤程度选择检修方法和时间,为工作人员检修提供依据,提出了一种基于双目立体视觉的输送带表面损伤定量分析方法。该方法首先对双目相机进行相机标定,对输送带表面损伤图像进行图像处理校正、立体匹配,基于视差原理根据三角测量原理获取目标点的三维空间信息,通过数学计算模型对损伤程度进行定量分析,提出了改进的Census变换和SGM(semi-global matching)算法相结合的立体匹配算法。结果表明:提出的改进算法匹配效果有所提升,和Census变换算法及梯度算法进行对比,误匹配率分别降低了5.26百分点和3.92百分点,得出的视差图精度最高;通过提出的方法对输送带表面损伤进行定量分析,在输送带损伤长度、宽度、深度三者误差中,损伤深度误差最大为8.5%,仍在可接受范围。

基于双目视觉的三维车辆检测算法

在自动驾驶中,车辆的三维目标检测是一项重要的场景理解任务。相比于昂贵的雷达设备,借助双目设备的三维目标检测方法有成本低定位准确的特点。基于立体区域卷积神经网络(Stereo RCNN)提出了一种用于双目视觉的三维目标检测OC-3DNet算法,有效地提高了检测精度。针对特征提取高分辨率与感受野的矛盾,结合特征提取网络与注意力引导特征金字塔(AC-FPN),有效地提高了算法对小目标的检测精度。针对三维中心投影检测误差大的问题,建立了一种新的三维中心投影与二维中心的约束关系,进一步提升了三维目标检测的精度。实验结果表明,改进后的OC-3DNet算法在以0.7为阈值的三维目标检测上平均精度为43%,较Stereo R-CNN三维目标检测的平均精度提升了约3%。

双目视觉检测钢卷内护角安装系统设计

针对国内外钢卷包装生产线钢卷内护角的安装工序普遍采用人工安装,在结构设计和控制系统设计的基础上设计一种基于双目视觉检测的钢卷内护角自动安装系统。以双目摄像头模组为图像采集模块;根据工况建立双目立体视觉模型对钢卷规格范围中任意规格的钢卷内护角安装点坐标提取方法进行重点研究;搭建钢卷位姿检测实验平台。从实验结果可以看出:钢卷在该平台经过图像采集和一系列图像处理流程后得到的钢卷安装点坐标和钢卷位姿角的理论值与实际值的误差较小,满足钢卷内护角的自动固定的精度需求。

基于深度学习的双目视觉水位监测方法

利用双目相机采集3D点云数据,通过多次连续测量不断增补水面空间数据;利用基于Transformer架构的深度学习模型过滤弱化噪点,强化特征纹理,通过对点云数据进行加权处理得到监测水位,该方法无需安装标尺和现场标定,不需额外结构光发射装置,减少了场景限制,降低了功耗和成本。试验结果表明,该方法可以消除水面波纹和漂浮物等的干扰,水位监测最大误差为0.8 cm,系统不确定度、随机不确定度、综合不确定度指标均小于1 cm,可满足智慧水利感知网部署场景复杂的要求。

基于PyQt的双目图像采集软件设计

在采集实际管制员工作场景双目图像信息的过程中,使用该软件设计对获取到的不同通道图像信息进行水平拼接编码并为视频数据,可以使双目画面在时间维度对齐,方便数据存储、管理和使用。通过实际测试,该软件设计在运行稳定性、图像信息压缩性能、跨平台运行能力方面表现良好。该设计可以解决实际工程及课题研究中的双目图像数据采集问题,具有较强的通用性。

基于双目立体视觉的连铸辊尺寸三维测量方法

针对连铸车间中,扇形段连铸辊尺寸人工测量效率低下的问题,提出了一种基于双目视觉系统的连铸辊尺寸测量方法。首先,对双目相机采集的图像进行预处理并采用Otsu法分割工件前后背景;接着,针对边缘检测精度不高的问题,将传统Canny边缘检测算法的梯度模板增加到8个以提取工件轮廓,结合多项式插值公式提取亚像素级别特征点;然后,在SAD与Census变换融合的立体匹配基础上引入RANSAC算法来消除错误匹配;最后,采用三角测量原理计算出零件的尺寸。实验结果表明,系统测量的平均相对误差为0.14%,测量方法具有较高的精度,其稳定性与精确性满足连铸辊的尺寸自动检测任务。