基于多轴无人机RealSense立体视觉技术空间测量的研究

文章通过使用多旋翼飞行平台作为载机,以先进的RealSense立体相机作为拍摄相机,通过手动或自动的飞行模式操控无人机来实现安全、快速、精确地采集输电线路跳线与铁塔之间的距离信息,并且将采集到的数据传送到系统终端,实现对监测点进行3D建模,更直观的分析跳线的风偏距离、以及与铁塔之间的距离,以排查隐患,降低事故发生率。

基于双目立体视觉的多分辨率图像匹配方法研究

在双目立体视觉系统中,面对复杂场景时噪声会损害图像特征,增加提取难度,导致匹配精度和鲁棒性下降。因此,文中提出基于双目立体视觉的多分辨率图像匹配方法,旨在从不同尺度图像中有效获取信息并实现高精度匹配。该方法利用双目立体视觉模型的双目旋转相机扫描目标并进行成像,根据内、外空间标定提升双目旋转相机的位置精度,保证目标的多分辨率成像效果;将其输入金字塔立体匹配网络中,通过网络中的类金字塔多空洞卷积操作提取双目图像特征,在此基础上,基于可变卷积增强其纹理特征细节;结合细粒度特征和互注意力机制完成双目图像匹配。测试结果显示,空间标定后,左、右两个相机的成像误差最小值分别为0.6 Pixel和0.4 Pixel;匹配点坐标偏差均值和坐标偏差方差值分别低于0.012和0.011,匹配效果良好。

无人机立体视觉识别船舶航行风险仿真

由于船舶交通受碰撞、搁浅、走锚等随机干扰因素的影响,导致对船舶航行目标的跟踪与风险预警具有较大难度。为增强海上航行的安全性,提出一种基于无人机立体视觉的船舶航行风险识别方法。引入双目视觉立体技术,获得目标船舶在航行过程中的图像数据。利用卡尔曼预测器优化连续性自适应均值漂移算法,跟踪目标船舶,通过高斯混合模型识别船舶航行风险。实验结果表明,研究方法对不同海域的船舶跟踪曲线与船舶实际航行曲线具有较高拟合度,且上述方法的船舶航行风险识别正确率高于90%,且误报率低于0.2%,说明提出方法的应用可靠性较高。

基于立体视觉下联合收获机边缘检测技术的研究

智能联合收割机是目前作物收获的发展热点与研究重点技术之一,而确定田间地块边缘、未收割作物边缘、联合收获机直线行驶和在作物地头转向是实现全田间自动收获的基础。为此,设计了一种基于立体视觉下多种作物收获边缘快速检测方法,保持作物收获边缘在检测目标区域内,并提出了一种基于HSV(色调、饱和度和值)空间扫描的动态感兴趣区域提取算法,利用Ostu算法获得作物未收获面积,实现未收获作物边缘和作物末端边缘的同时检测,并根据作物收获末端边缘自动转向到下一个收割路径。田间验证试验表明:水稻检测准确率高于98%,玉米的检测准确率高于94%,平均处理速度为49frame/ms。研究结果表明:提出的基于立体视觉下联合收获机边缘检测及精准转向系统具有较高的工作精度和效率,可为提高作物收获性能提供技术参考与借鉴。

VR立体视觉硬件技术及AI空间智能展望

总结VR立体视觉系统硬件建设的创新技术,提出了人工智能(Artificial Intelligence,AI)生成基于模型系统工程(Model-Based Systems Engineering,MBSE)数字模型VR视觉的创新方法。通过优选大屏幕式、小间距LED显示屏、主动立体显示硬件,创新实现了集科研演示验证、会议讨论功能于一体的高分辨率、多通道立体同步、多通道立体拼接的VR视觉硬件系统,并通过数据驱动的AI算法,准确高效地生成MBSE系统工程各类数字模型的VR视觉,为VR系统的软、硬件建设提供技术借鉴。

基于双目立体视觉的乘员运动姿态测量方法研究

提出了基于双目立体视觉的汽车乘员运动姿态测量方法。首先使用自主搭建的双目立体视觉系统,按照张正友标定法标定相机并对图像进行立体校正;然后提出基于邻域的SGBM单参数优化算法,并依此建立乘员关键特征点与三维空间坐标间的映射关系,实现了对乘员运动姿态的非接触动态测量。实验结果表明,该方法可以有效地测量乘员运动姿态,且测量精度较高,对汽车乘员非标准坐姿下的保护策略制定具有重要的参考价值。

基于双目立体视觉和轻量化神经网络的交通标志分割和识别

为了降低交通标志图像分割运算量,提出一种基于双目立体视觉和轻量化神经网络的交通标志分割和识别方法。使用已标定的双目立体视觉相机采集交通标志图像,并将其作为轻量化卷积神经网络的输入,通过卷积运算和池化运算提取交通标志的特征。在全连接层中,采用极限学习机和权值修正方法修正输出权值,从而得到交通标志的分割结果。实验结果表明,所提方法能够有效采集高精度的交通标志图像,并降低图像分割运算的复杂性,从而提高交通标志图像的应用性。

双目立体视觉下破损黑陶三维重建方法仿真

在三维重建过程中,由于受环境光线变化、物体透明度、遮挡等因素影响,导致重建结果不准确或不完整,使得视觉效果较差。为了提高三维重建精度,提出一种基于双目立体视觉的破损黑陶三维重建方法。通过转换世界-相机-图像-像素坐标系,标定双目立体视觉相机内外参数,引入最小生成树方法立体匹配左右图像对,计算图像像素绝对强度、梯度、匹配截断值对黑陶重建曲面平滑度的影响,得到连续稠密的视差图,使用最小二乘曲线拟合法平滑处理黑陶三维点云数据,将游离在曲面外的点映射到曲面中,通过三角剖分实现破损黑陶三维表面重建。实验结果表明,所提方法能够有效提高重建后黑陶表面平滑度,且重建结果尺寸精准,拟合度高。

语义增强的多视立体视觉方法

针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。

基于双目立体视觉技术的施工机械危险区域侵入检测研究

建筑工程施工现场人员密集、环境复杂,存在大量危险源和危险区域,违规进入这些区域会带来重大安全隐患甚至引发安全事故。现有的施工现场监控主要依靠专职安全员巡查,存在耗时、耗力、预警不及时等问题。为提高施工现场监控效率,充分利用已有摄像头资源,本文基于双目立体视觉技术和深度学习,提出了一种施工机械危险区域侵入检测方法。首先梳理相关文献,确定危险区域的划分方法;然后通过目标检测算法检测施工人员和机械的像素定位,利用双目立体视觉技术计算人机距离,并改进了人机距离判定方法,根据检测距离判断是否侵入危险区域;最后通过施工现场综合模拟实验验证,结果显示该方法能够准确识别施工人员侵入危险区域的行为,并提供预警信息,有效提高施工现场的监控效率和安全性。

基于卷积神经网络的立体匹配算法研究

在基于深度学习的立体匹配问题中,模型的网络结构、参数设置对匹配精度和匹配效率起到决定性作用。针对现有模型参数量大,精度低的问题,设计一种基于卷积神经网络的视差回归模型。首先,提出了基于扩张卷积和空间池化金字塔的多尺度特征提取网络,提高弱纹理区域的匹配精度;其次,改进了代价体相似度计算步骤,在保证匹配精度的同时,降低模型的参数量;最后,通过采取视差梯度信息和视差回归损失函数相结合的策略,有效地解决了在视差不连续区域中存在的边界信息保留不完整的问题。使用Middlebury数据集对模型进行验证,实验结果表明,相较于现有的立体匹配算法,在精度和速度方面都有所提升。

基于双目视觉技术的茶叶嫩芽定位方法研究

进一步提升茶叶嫩芽定位的准确性及茶叶嫩芽采摘的作业效率,选取双目视觉技术作为切入点,针对其识别、定位、采摘等环节展开设计研究。考虑茶叶嫩芽采摘的基础特征和双目视觉技术的应用条件,合理搭建双目视觉模型,选用立体匹配的核心定位算法,完成茶叶嫩芽的定位方法与采摘功能优化,并布置相应的试验机构,展开定位采摘验证试验。结果表明:基于双目视觉技术的茶叶嫩芽定位方法应用具有显著的优越性,较普通定位方法而言,识别误匹配率可降低至4.01%,平均漏采率为3.20%,嫩芽采摘完整率达93.40%,可以很好地促进茶叶嫩芽的后续处理加工,是采摘茶叶嫩芽的品质化的重要基础保障。

一种大视场汇聚型双目立体视觉标定方法

双目摄像机汇聚型摆放易导致标记点出现散焦模糊和透视形变,使标记点定位出现偏差,在大视场环境下会引发不可忽视的标定误差,进而影响测量精度。为解决上述问题,提出了一种基于标记点定位偏差度加权的大视场汇聚型双目立体视觉标定方法。首先,利用靶标在摄像机坐标系下的位姿,计算标记点散焦模糊量和透视形变度;其次,根据标记点定位偏差度设置相应权重;最后,将标记点权重系数加入目标函数,引导标定参数优化。实验结果表明:在观测值为505 mm的情况下,该方法测距均方根误差和标准差可达0.809和0.290,不但有效提高了大视场汇聚型双目立体视觉标定精度,而且具有良好的稳定性。

基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法

为了实现机器人焊接的免示教路径规划,结合深度学习与点云处理技术,开发了一种高效、稳定的焊缝智能识别算法.首先,采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型,利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest,ROI),模型识别精度为99.5%,从而实现快速剔除背景点云,并基于RANSAC平面拟合、欧式聚类等点云处理算法,对ROI区域的三维点云进行焊缝空间位置的精细识别;最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹.结果表明,文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划,生成的轨迹与人工示教轨迹效果相当,偏差在0.5 mm以内.

结合视觉舒适度的无参考立体视频稳像效果评价

立体视频稳像效果评价是评价立体视频稳像算法性能的有效途径.针对当前缺乏立体视频稳像效果客观评价方法的问题,提出一种结合视觉舒适度的无参考立体视频稳像效果评价方法.将立体视频稳像前后的运动平滑度和视觉舒适度变化作为视频稳像前后的变化特征,结合主观评价训练得到立体视频稳像效果评价的支持向量回归模型;回归模型通过学习立体视频稳像前后的变化特征与主观评价结果之间的关系,最终获得直接评价任意立体视频稳像效果的能力.使用收集的55条仿真视频训练模型,并在10条真实视频上进行实验的结果表明,所提方法的稳定性较好,在视频量达到180条时,模型的评价结果趋于稳定,且模型评价结果与主观评价结果相关性达到93%,可用于立体视频稳像效果的客观评价.

基于双目立体视觉的实验室波浪场实时重建

准确测量波浪场演化对于海洋结构物的水动力研究十分重要。本文基于双目立体视觉建立了一套用于测量室内波浪的图像识别方法,以轻质泡沫作为示踪粒子标记波面以获得具有丰富纹理的波面图像,根据极线约束矫正图像,使用阈值分割避免光照不均和水底反射的干扰,使用GPU加速的立体视觉匹配算法,实现波浪图像的实时立体匹配,重建出波面的三维点云与网格模型。通过对图像序列的重建,提取出的波浪时历与浪高仪的测量结果基本一致,波高以及周期值的吻合性良好。结果表明,该方法可以准确测量实验室内的三维波浪场,捕捉瞬时波浪演化,并可提供实时的监控。

融合注意力机制和多层动态形变卷积的多视图立体视觉重建方法

针对现有多视图立体视觉(Multi-View Stereo,MVS)技术提取弱纹理区域和非郎伯体曲面特征信息不充分及重建效果不理想问题,提出一种融合注意力机制和多层动态形变卷积的AMDC-PatchmatchNet方法。构建一种融合坐标注意力的特征提取网络,能更准确地捕捉重建对象的边缘形状和纹理特征,同时融合一种基于动态形变卷积的自适应感受野模块,根据不同尺度的特征自适应调整感受野的大小和形状,获得兼具全局和细节的特征表示。在DTU数据集上的测试结果表明,所提方法相较于主流MVS方法,点云重建整体性指标提高2.8%,并且在航空影像数据集上验证了模型的泛化能力。

基于双目立体视觉的双臂协作机器人动态标定方法研究

基于双目立体视觉的双臂协作机器人在解决立体仓库散落零件识别抓取任务过程中的遮挡问题时,会因相机位姿变化而需要重新采集图像信息进行标定,其结果会受到外部环境因素的影响,使得标定精度降低,而架构无需重新标定的动态双目立体视觉系统可以有效解决该问题,故本文提出一种无需重新标定的动态双目立体视觉标定方法,通过在双臂机器人的两个协作机械臂上分别安装深度视觉模块,架构两个相机互为冗余的动态双目立体视觉系统,结合现有双目立体视觉标定方法和坐标系转换关系,仅在初始位姿标定一次即可推导出动态物像转换模型,得到动态基线与三维信息的函数关系,从而实现目标定位。实验结果表明,该方法能够有效降低动态环境下外部环境因素对双臂协作机器人标定结果的干扰程度,获得准确性较高的目标位置信息。

分层特征编解码驱动的视觉引导立体声生成方法

视觉引导的立体声生成是多模态学习中具有广泛应用价值的重要任务之一,其目标是在给定视觉模态信息及单声道音频模态信息的情况下,生成符合视听一致性的立体声音频.针对现有视觉引导的立体声生成方法因编码阶段视听信息利用率不足、解码阶段忽视浅层特征导致的立体声生成效果不理想的问题,提出一种基于分层特征编解码的视觉引导的立体声生成方法,有效提升立体声生成的质量.其中,为了有效地缩小阻碍视听觉模态数据间关联融合的异构鸿沟,提出一种视听觉特征分层编码融合的编码器结构,提高视听模态数据在编码阶段的综合利用效率;为了实现解码过程中浅层结构特征信息的有效利用,构建一种由深到浅不同深度特征层间跳跃连接的解码器结构,实现了对视听觉模态信息的浅层细节特征与深度特征的充分利用.得益于对视听觉信息的高效利用以及对深层浅层结构特征的分层结合,所提方法可有效处理复杂视觉场景中的立体声合成,相较于现有方法,所提方法生成效果在真实感等方面性能提升超过6%.

基于Realsense传感器的机器人视觉里程计研究

基于RGB-D传感器能直接获取空间环境的深度信息和图像信息的能力,采用最新的RGB-D传感器(Realsense),实现了室内移动机器人的视觉里程计。首先利用张正友相机标定法对Realsense传感器的彩色摄像头进行标定;接着采用ORB算法实现图像特征点的匹配,并用PROSAC算法进行外点剔除;最后采用PnP算法实现相机姿态的估计,利用g2o库对相机的姿态进行光束法平差优化,并绘出相机的运动轨迹,实现了基于RGB-D传感器的机器人视觉里程计。实验结果显示该方法能快速、准确地估计视觉传感器的位姿信息,实现移动机器人的精准定位和导航。