基于改进YOLOv8和GMM图像点集匹配的双目测距方法

针对无人塔吊系统的研究需求,提出一种基于改进YOLOv8和GMM图像点集匹配的双目测距方法,对驾驶室外环境中的塔吊吊钩进行检测识别并测距。通过双目摄像头进行图像采集,引入FasterNet骨干网络和Slim-neck颈部连接层,对YOLOv8目标检测算法进行改进,有效检测画面中的塔吊吊钩并获取检测框的二维坐标信息;采用局部敏感哈希方法,并融合分阶段匹配策略,提升GMM图像点集匹配模型的匹配效率,针对检测框中的塔吊吊钩,进行特征点匹配;最后通过双目相机三角测量原理计算得出塔吊吊钩的深度信息。实验结果表明,改进后的YOLOv8算法与原算法相比,精确率P提高了2.9%,平均精度AP50提高了2.2%,模型复杂度降低了10.01 GFLops,参数量减少了3.37 M,在提升检测精度的同时实现了模型的轻量化。改进后的图像点集匹配算法与原算法相比,各个指标表现出更加良好的鲁棒性。最后在工程现场对塔吊吊钩进行识别与测距,误差可接受范围内有效完成了塔吊吊钩的检测识别与测距任务,验证了本方法的可行性。

基于RGB-D双目视觉的苗期玉米三维模型重构方法研究

以玉米幼苗为对象,研究基于RGB-D双目视觉的苗期玉米三维模型重构方法,实现了部分重构参数的优化。首先,针对目标进行固定步距角环绕图像采集,依据RGB图像中目标区域分割结果,对深度图像进行目标区域深度数据分割,并采用改进后的均值滤波对苗期玉米区域内深度数据孔洞进行自适应填充;其次,针对苗期玉米各角度的深度点云数据,采用先粗后精完成多角度点云配准与融合;最后,对比两种体素精简方法对点云的精简平滑效果,实现苗期玉米三维模型的重构。通过试验对比步距角对苗期玉米模型的重构效率与精度,结果表明:采用八叉树滤波精简效果较好,60°步距角建模误差最小,重构的模型与苗期玉米株高精度误差为4.4 mm,茎粗平均精度误差为0.62 mm,能满足苗期玉米的三维重构形态测量需求。

基于MIDE个体寻优的采摘机器人轨迹规划仿真

为了提高移动式采摘机器人的作业效率,实现高效率高精度的采摘作业,提出改进DE算法下移动式采摘机器人轨迹规划方法。建立移动式采摘机器人的动力学模型,获取采摘机器人的动力学特性;根据该特性,建立基于双目视觉的针孔成像模型完成采摘机器人果实采摘经过的路径点收集;将得到的路径点作为种群个体,对DE算法实施改进,选取一种基于多种群移民的差分进化算法(MIDE)展开个体寻优并输出最优解,实现移动式采摘机器人的最优轨迹规划。实验结果表明,所提方法具有较高的收敛能力和搜索效率,能够有效提高机器人的工作效率和稳定性。

基于深度学习的双目视觉水位监测方法

利用双目相机采集3D点云数据,通过多次连续测量不断增补水面空间数据;利用基于Transformer架构的深度学习模型过滤弱化噪点,强化特征纹理,通过对点云数据进行加权处理得到监测水位,该方法无需安装标尺和现场标定,不需额外结构光发射装置,减少了场景限制,降低了功耗和成本。试验结果表明,该方法可以消除水面波纹和漂浮物等的干扰,水位监测最大误差为0.8 cm,系统不确定度、随机不确定度、综合不确定度指标均小于1 cm,可满足智慧水利感知网部署场景复杂的要求。

机器人与双目相机的手眼标定方法

为了得到钻头在激光熔覆机器人坐标系下的模型数据需要机器人与双目相机进行手眼标定,针对这一问题提出了一种手眼标定的方法。改变机器人位姿对同一点进行测量,建立机器人DH模型并利用机器人正运动学方程计算出机器人末端坐标系与双目相机坐标系之间的变换矩阵,完成了手眼测量系统标定。基于此标定方法进行了误差测试与激光熔覆实验,对误差产生的原因进行分析并提出了减小误差的方法。实验结果表明,机器人与双目相机的手眼标定方法有效,可用于PDC钻头激光熔覆系统。

基于深度学习的动态危险区域入侵检测方法

为解决天车吊装动态危险区域难识别、位置信息难确定、车间生产环境复杂导致特殊的相机视角所获取的人员目标特征信息不明显,影响漏检误检和标准目标检测模型部署应用难等问题,提出1种基于深度学习的动态危险区域人员入侵检测方法。该方法首先利用双目视觉技术完成重物提升判断及天车吊装动态危险区域检测2项任务,然后利用提出的PDConv轻量化卷积模块和卷积注意力机制模块对YOLOv5基础模型进行改进,并设计开发天车吊装动态危险区域人员入侵检测系统。研究结果表明:利用双目视觉技术可以更精准获取动态危险区域位置信息;改进后的YOLOv5基础模型在保证模型检测精度的同时可降低适当参数量;天车吊装动态危险区域人员入侵检测系统可实现远程管控天车危险区域入侵检测任务,并利用振动报警装置可实时对入侵人员进行提醒管理,该系统在实际测试中的漏检误检率为2%,满足工业生产需求。研究结果可为动态危险区域入侵检测研究提供参考。

基于点阵激光的弱纹理对象三维建模研究

针对弱纹理对象表面信息要素少,机器视觉三维建模困难的问题,提出一种使用双目视觉技术配合点阵激光重建目标对象的方法。采用点阵激光赋予目标对象表面纹理,提出相应的特征点识别及匹配算法。根据相邻视角中相机间的空间位姿关系拼接多视角的点云三维图。实验结果表明,重建的三维模型直径平均误差为2.05%,三维模型边缘和实物边缘的重合度为87.4%,点云坐标与实际点的三维坐标偏差较小,能满足针对弱纹理对象的三维建模需求。

基于非极小值抑制的双目视觉测量优化方法

视觉测量精度受限于系统的固有误差。提出一种基于RANSAC非极小值误差抑制模型,以提高双目视觉测量精度并增强系统鲁棒性。其在传统双目测量模型基础上,引入最小二乘误差评价函数,建立空间参考点以量化测量误差,并以所提误差评价函数作为目标函数,利用RANSAC迭代优化初始测量模型,进而得出总误差最优模型。实验结果表明,较之传统模型,其最大误差由0.359 mm降低至0.200 mm,平均误差由0.186 mm降低至0.115 mm,误差抑制率达38.2%。所提方法能有效改善双目测量系统精度和可靠性,在视觉精确测量领域具有广泛应用前景。

基于双目立体视觉的岩体结构三维建模及其参数优化

为研究岩体结构面的快速、高效建模方法,基于便携型LenaCV双目立体视觉成像系统,对左、右双目图像进行校正、对齐、纠偏和三维建模算法研究,提出确定相机内外参数的最优标定工况,分析适于点云建模的目标对象特征,确定三维点云建模的最佳拍摄距离与基线距离关系,获取双目视觉建模的最优参数。研究结果表明:以0.5像素为误差上限,LenaCV相机标定的最佳棋盘格尺寸为10 mm、最优标定距离为25倍基线距离;对比三维点云模型建模效果,表面粗糙对象建模效果优于光滑对象,目标在视野中图幅占比高的对象建模效果优于图幅占比低的对象;12 cm基线距离相较于6 cm基线距离的LenaCV双目系统,建立并输出的目标对象的三维点云数据结果更优。基于几种现场测试讨论了最优标定工况、摄影工况和建模对象特点,为岩体三维结构重建提供了可参考的实践经验,验证了基于LenaCV双目摄像机的三维岩体结构面建模的可行性。

基于透视变换法的双目摄像机标定

为实现双目视觉标定,研究了摄像机成像模型,选用针孔成像模型建立摄像机坐标系与图像坐标系之间联系,通过透视变换法求解双目相机的内外矩阵参数,进而确定两个相机的位置关系,完成双目立体视觉系统的标定。最后通过实验验证标定方法的准确性,对比计算结果与实测结果,三维坐标中,X方向的误差在0.700mm以内,Y方向在0.500mm以内,Z方向小于0.600mm。标定结果准确,为后续目标识别检测等机器视觉定位技术提供有效支撑。

双目立体视觉室内场景描述模型

为了解决室内场景中物体的准确检测与描述问题,本文设计了双目立体视觉的室内场景描述模型。系统首先使用双目摄像头模组捕捉具有视差的左右图像信息,并借助SGBM算法获得包含深度信息匹配点的视差图,然后运用基于图的密集视觉描述模型输出场景的描述内容,最后使用开源语音模块进行播报。在ScanRefer数据集的测试结果表明,模型在描述3D物体方面表现出色,在CIDEr@0.5IoU评价指标上达到了40.69%。

Dynamic Visual Image Modeling Based on Mobile RobotSelf- Organizing Network in Internetof Things Perception Layer

The dynamic multichannel binocular visual image modeling is studied based on Internet of Things (IoT) Perception Layer, using mobile robot self-organizing network. By employing multigroup mobile robots with binocular visual system, the real visual images of the object will be obtained. Then through the mobile self-organizing network, a three-dimensional model is rebuilt by synthesizing the returned images. On this basis, we formalize a novel algorithm for multichannel binocular visual three-dimensional images based on fast three-dimensional modeling. Compared with the method based on single binocular visual system, the new algorithm can improve the Integrity and accuracy of the dynamic three-dimensional object modeling. The simulation results show that the new method can effectively accelerate the modeling speed, improve the similarity and not increase the data size.

基于双目视觉的棒材端面中心点定位

在利用标签焊接机器人为捆装棒材焊接标签时,需要向其提供一组棒材端面中心点的三维坐标,针对从捆装棒材中选择并定位棒材端面中心点的问题,提出一种基于双目立体视觉的方法。该方法利用双目视觉系统的虚拟像平面模型,通过将平面标定板摆放在平行于捆装棒材端平面的位置进行两台相机的外参标定,根据标定结果生成目标在该标定平面上的虚拟图像;采用SVM和连通区的方法提取虚拟图像中棒材端面中心点特征;采用极线约束和中心点共面约束的方法进行特征匹配,向机器人提供一组端面中心点三维坐标。仿真实验结果显示提供给机器人的推荐点均来自正确匹配点对,说明本文提出的特征匹配算法有效;真实实验中推荐点深度位移最大误差为0.20 mm,平均误差为0.09 mm,说明本文提出的棒材中心点特征提取方法有效。

融合视觉信息的船舶舾装数字化三维辅助设计

研究融合视觉信息的船舶舾装数字化三维辅助设计,以改善模型设计效果。基于双目视觉原理获取船舶舾装设备目标多视角图像,在对其预处理的基础上采集三维空间数据,与舾装设备图纸、几何尺寸信息等作为依据,利用FORAN软件构建舾装设备参数化三维模型,并确定模型安装基准点。采用混合图元全自由度渲染法对船舶舾装数字化三维设计结果进行处理,提升模型整体设计效果。实验结果表明:该方法可获取舾装设备多视角图像,构建舾装设备三维模型并标注模型参数信息;实现船舶机舱底部区域舾装单元的布局,渲染后的舾装数字化三维设计色彩对比度强烈、饱和度好,视觉效果突出。

采摘机器人识别技术--基于深度图像和人工智能协同处理

首先,从双目系统成像原理和相机标定两方面介绍了双目视觉识别原理;然后,采用SSD-CNN算法设计了基于人工智能算法的采摘机器人识别模型,并采集了图像样本对模型进行训练。实验结果表明:建立的采摘机器人识别模型正确识别率较高,具有很好的别效果。

基于改进YOLOv5-face和双目视觉的坐姿检测方法

目前基于深度学习的坐姿检测方法目前虽然精度有了很大提升,但其在边缘计算设备中无法兼顾高精度和快检测速度。为此,基于双目视觉和人脸关键点检测,设计了一种坐姿实时检测方法,首先使用双目摄像头采集用户图像,然后对YOLOv5-face人脸关键点检测模型进行剪枝优化后得到轻量化P-YOLOv5-face模型,最后结合双目视觉测距和决策树分类器构建完整模型,并将其部署到边缘计算设备中进行坐姿实时检测。实验结果表明,设计的模型识别准确率高,8种坐姿多分类准确率达96.24%,并且在边缘设备中也能实现500 ms内的检测速度,满足日常生活基本要求。

基于红通道先验的水下障碍物双目定位方法

基于双目视觉的自主水下航行器在水下巡航过程中,由于水体对光线的衰减效应和悬浮颗粒对光线的散射作用,双目摄像机获取的图像存在对比度低、颜色失真等问题,导致水下障碍物定位的精度较低。针对以上问题,文中采用红通道先验复原算法提高水下成像质量,根据双目相机标定参数获取障碍物的双目视差图,并提出了一种基于深度视差图融合的水下障碍物定位方法。该方法通过融合深度视差图与水下复原轮廓图,对融合图像进行凸多边形检测,获取障碍物的轮廓,基于轮廓信息进行障碍物的有效深度信息提取,实现障碍物的空间定位。水下双目定位实验结果表明,文中所提方法可以使双目立体匹配的效果更理想,能够有效提高水下障碍物定位的精度。

基于Faster RCNN和YOLOX模型融合的路况检测算法

为防止驾驶员误判或忽视交通标志和车辆,提出一种通过线性加权方法融合Faster RCNN(faster regions with CNN features)和YOLOX-Tiny(you only look once X-Tiny)模型的路况检测算法,结合双目摄像头对检测目标物进行距离检测,以增强模型对道路远处目标的检测能力.实验结果表明,模型融合算法相较于Faster RCNN,每秒传输帧数提升了30.6帧,与YOLOX-Tiny相比,其目标检测结果的平均精度提升了21.9%.

基于鱼眼相机的双目视觉法在煤斗三维重建上的应用

煤斗或是煤仓的体积测算是燃煤厂的一项重要工作,直接关系到企业的运行经济和科学管理。采用基于鱼眼相机的双目视觉法,通过相机的标定、特征点匹配算法、视差图计算、三维恢复、噪声滤除、点云模型融合等技术手段来解决对煤斗的三维重建。