基于视觉图像与激光点云融合的交通标志快速识别方法

交通标志对车辆交通起到重要作用和意义,而智能交通中交通标志识别由于标志特征提取效果差,导致识别率低、识别时间长,因此,提出一种新的基于视觉图像与激光点云融合的交通标志快速识别方法。采用双边滤波方法预处理原始激光点云数据;通过归一化处理得到视觉图像激光点云融合的目标空间激光点云位置测距数值;通过测距值获取目标图像位置,归一化处理交通标志视觉图像,引入k均值聚类算法二聚类处理图像,采用制作的切割模板切割图像感兴趣区域,提取交通标志图像的深度特征,结合卷积神经网络二次过滤特征,重新标定二次过滤后的特征,最终利用卷积神经网络模型实现交通标志快速识别;经实验对比证明,采用所提方法提取各个类型交通标志特征的提取效果较好,并且识别率达到89.74%,识别时间仅为13.1 s,干扰下识别时间最高仅为15.1 s,验证了该方法可以快速且准确识别各个类型的交通标志。

基于多点结构光扫描的工件定位方法

在自动化生产线工业机器人抓取工件作业中,工件定位方法直接影响作业质量、效率及系统成本。传统基于线结构光的工件定位方式通常存在专用性强、成本高等特点,难以在劳动密集型产业中推广应用。针对这一问题,利用KD-tree ICP算法,提出一种基于多点结构光扫描的工业机器人抓取工件定位方法。首先,利用模型点云和多点结构光原始点云进行粗配准;其次,提取待定位工件点云特征点,并拟合出工件边界;最后,利用模型边界点云和拟合出工件边界点云进行精配准。试验结果表明,该方法具有较高的定位精度及识别效率,满足工件抓取要求。

基于多视角三维点云融合的采棉机器人视觉感知方法

针对传统采棉机器人因单一视角和二维图像信息带来的视觉感知局限问题,本文提出了一种多视角三维点云配准方法,以增强采棉机器人实时三维视觉感知能力。采用4台固定位姿的Realsense D435型深度相机,从不同视角获取棉花点云数据。通过AprilTags算法标定出深度相机RGB成像模块与Tag标签的相对位姿,并基于深度相机中RGB成像模块与立体成像模块坐标系间的转换关系,解算出各个相机间点云坐标的对应变换,进而实现点云间的融合配准。结果表明,本文配准方法的全局配准平均距离误差为0.93 cm,平均配准时间为0.025 s,表现出较高的配准精度和效率。同时,为满足采棉机器人感知的实时性要求,本文对算法中点云获取、背景滤波和融合配准等步骤进行了效率分析及优化,最终整体算法运行速度达到29.85 f/s,满足采棉机器人感知系统实时性需求。

基于结构光的铆钉凹凸量双目视觉检测方法

为了弥补飞机铆钉凹凸量的传统检测方式在精度、效率及稳定性方面的不足,提出了一种基于结构光的铆钉凹凸量双目视觉检测方法。首先通过工业投影仪将结构光投射到铆接表面,由双目相机采集投影图像。然后根据铆钉边缘特征提取出铆接区域,并采用改进的格雷码解相位方法计算铆接区域表面的相位信息。根据相位信息匹配特征点,利用视差原理计算出点云。最后通过点云数据处理,计算出铆钉的凹凸量。制作标准件并完成了凹凸量测量试验,测量误差在±20μm以内,重复测量标准差小于3μm,单个铆钉测量用时约2.2 s,能够满足现场测量精度和效率要求。

基于深度学习的移动机器人语义SLAM方法研究

为了给移动机器人提供细节丰富的三维语义地图,支撑机器人的精准定位,本文提出一种结合RGB-D信息与深度学习结果的机器人语义同步定位与建图方法。改进了ORB-SLAM2算法的框架,提出一种可以构建稠密点云地图的视觉同步定位与建图系统;将深度学习的目标检测算法YOLO v5与视觉同步定位与建图系统融合,反映射为三维点云语义标签,结合点云分割完成数据关联和物体模型更新,并用八叉树的地图形式存储地图信息;基于移动机器人平台,在实验室环境下开展移动机器人三维语义同步定位与建图实验,实验结果验证了本文语义同步定位与建图算法的语义信息映射、点云分割与语义信息匹配以及三维语义地图构建的有效性。

煤矿井下巷道点云变形检测及可视化研究

为解决煤矿井下巷道变形传统检测的非连续、效率低、智能化程度低的问题,提出一种深度相机与激光雷达点云融合三维空间重构后进行变形分析的新方法。设计了点云切片及提取骨骼线算法,建立了巷道变形检测模型。三维点云处理复杂,算法集成难度大,基于Qt开发了可视化变形监控软件,通过信号槽机制完成人机交互设计。测试表明,系统可对巷道全域进行自动连续检测,变形检测精度高,软件具有良好的人机交互性。

基于三维点云的磁极焊缝识别及机器人轨迹生成技术

针对大型水电站发电机磁极变长度、变间隙的复杂焊缝存在的示教编程效率低、精度差的问题,开发了一种基于光栅视觉传感的焊缝识别及机器人轨迹免示教生成技术.采用安装于机器人末端的光栅传感器获取不同部位的磁极焊缝点云,提出了一种结合机器人工具位姿变换矩阵和迭代最近点算法(ICP)的点云配准算法,得到大尺寸磁极焊缝完整点云数据.基于随机采样一致性(RANSAC)开发了焊缝识别算法,实现了机器人焊接轨迹的自动生成.结果表明,该算法可识别出多种复杂工况的磁极焊缝,识别率高,抗干扰能力强,平均识别误差在±0.4 mm范围内,满足焊接要求.

基于稠密点云的神经辐射场NeRF在视觉SLAM建图任务中的应用研究

基于点云等显式场景表达的传统SLAM技术在精度和鲁棒性上已经较为成熟,但在地图纹理和语义信息还原方面存在不足。为了提高SLAM技术在纹理和语义信息获取方面的性能,本文将具有可微渲染能力的神经辐射场(NeRF)引入到传统视觉SLAM系统中,提出了一种新型视觉SLAM方法DRM-SLAM。该方法使用ORB-SLAM3进行相机位姿估计,并结合关键帧的RGB信息和深度信息生成稠密点云,在动态体素网格的基础上,根据点云数据提供的三维几何信息在体素网格中进行采样减少NeRF调用多层感知机的频率。同时,该方法结合利用了多分辨率哈希编码和CUDA框架的NeRF实现,显著提升了NeRF的训练速度。在TUM、WHU-RSVI、Replica和STAR数据集上对本文提出的方法进行建图精度、完整度以及实时性测试的结果表明:DRM-SLAM利用稠密点云和NeRF体渲染技术填补了点云中的空洞,保留了传统的SLAM方法在位姿估计精度上的优势,提升了地图的纹理和材质的连续性。DRM-SLAM算法在Replica数据集上的帧率为22.3,该值远大于NICE-SLAM、iMap和Co-SLAM算法,证明了所提算法具有较高的实时性。在相同的场景下进行消融实验,基于稠密点云进行NeRF渲染比传统的NeRF的方法帧率提升了3倍,进一步证明了稠密点云可以加速NeRF收敛,充分展示了DRM-SLAM在地图重建方面的性能。

基于语义点云的大场景实景三维展示系统研究

在当前自然资源管理部门大力推进三维系统信息化建设的背景下,基于“三维浙江”建设需求,提出了一套基于着色点云的多源空间数据可视化的应用解决方案。基于点云数据串联其他三维数据,实现多源三维数据大场景集成展示的技术路线,设计研发了具有自主知识产权的系统,相关经验对国内类似项目的开展具有重要参考意义。

“S”形检测试件测量结果可视化研究及其软件开发

“S”形检测试件已成为国内航空主机厂商检验五轴联动数控机床加工性能的一项必要环节,为方便机床调试人员分析数控机床误差,提高调试效率,对S形试件测量结果可视化进行研究。分析了S形试件的几何特性及现有测量方法,通过获取S形试件的点云数据,对点云数据进行预处理,为S形试件测量结果的可视化奠定了基础。利用克里金插值法将试件测量点的点位误差映射到整个形面的点云上,得到了密化的形面误差数据,利用色谱图和分层显示的方式实现了S形试件测量结果的可视化显示,并对可视化结果进行了实验验证。基于上述处理流程及相关算法,基于Python语言,开发了S形试件测量结果可视化软件。此种方法开发的可视化软件小巧、轻量化且可移植性强,适合工程应用。

从视点到空间:基于点云的景观空间视觉特征量化分析方法

【目的】景观空间视觉特征是衡量景观空间品质的重要标准之一。过往基于三维模型、二维照片的分析方法难以兼顾对视觉界面平面维度与纵深维度空间信息的量化分析,对于较大尺度的城市公园空间视觉特征研究与设计实践的适用度较低。对景观空间视觉特征进行量化分析有助于设计师认知场地空间形态的关键特征。【方法】提出一种将点云可视化技术与ArcGIS空间分析相结合的方法,包括点云模型数据获取与处理、空间单元划分与视点生成、人群视觉模拟与特征指标计算、空间单元视觉特征可视化与分析4个步骤。借助该方法,以南京市情侣园为例,选择延伸度、开敞度、复杂度、绿视率和天空率5个视觉特征指标进行量化分析。【结果】空间单元内部不同位置的视觉特征指标数值差异可能与单元内要素的空间分布特征存在联系。空间单元中心视点的视觉指标计算结果在反映单元整体的视觉特征上存在一定局限。【结论】相较于过往的分析方法,该方法能够更加全面和直观地展现多种视觉特征指标在空间中的数值分布及连续变化情况,且具有综合分析多个指标的潜力。该方法在探究景观空间的视觉特征与人群行为偏好间的关联机制、预测人群行为活动等领域具有一定应用前景。

GeoSLAM激光点云的三维可视化数字影像融合目标细部重建

三维激光扫描技术应用范围逐渐扩大,但激光点云缺乏真实的纹理信息,致使目标细部重建与实际目标存在偏差,而三维可视化数字影像技术可以有效地弥补三维激光扫描技术的不足,如何对其进行有效融合应用成为重点研究方向,故提出GeoSLAM激光点云的三维可视化数字影像融合目标细部重建方法研究。利用点云滤波算法去除GeoSLAM激光点云中的噪声信息,校正处理三维可视化数字影像的畸变现象,以此为基础,利用Moravec算子提取融合目标细部特征点,配准激光点云与数字影像中的特征点,制定融合目标细部重建程序,从而实现激光点云与数字影像的有效融合,即目标细部的精准重建。实验结果显示:本方法能够更加精准地完成细部重建,相比对比方法而言,具备均值为0.9295的相关系数,和更低的融合目标细部特征点提取错误率,且对建筑类别的数字影像的细部重建效果更好,细部特征点提取错误率仅为1%,充分证实了提出方法应用性能更佳。

基于视觉理论的动态点云剔除算法

针对动态场景下构建的点云地图中包含大量动态目标的错误点云问题,提出一种基于视觉理论将三维点云转换视觉图像的动态点云剔除算法。通过对当前帧和包含动态点云的噪声地图做点云的地面分割和高度分割,将点云的深度信息转换成视觉可用的图像信息,利用视觉理论中的背景差分法对当前帧和噪声地图进行深度图像对比,筛选出初始动态点云并计算动态分数;根据动态分数对初始动态点云进行自适应最近邻搜索以剔除动态目标。实验结果表明,所提算法的动态点云剔除率可达94%以上,整体得分为96.34,能有效剔除场景中的动态目标。

基于倾斜摄影和点云数据的区域地震反应可视化研究

高效、真实的区域地震响应可视化对应急响应具有重要意义,为此,提出一种高效的区域建筑物地震响应可视化框架。采用无人机(UAV)进行倾斜摄影,预处理采用最小二乘法进行建筑物坐标提取和采用聚类算法进行点云数据分割,建立了用于建筑结构时程位移分析的简化多自由度MDOF模型,然后利用MDOF模型匹配建筑物点云模型进行可视化,并以山西省某地区为例进行案例研究,验证了所开发框架的可行性。

视觉图像与三维点云融合的障碍物主动识别与距离感知研究

针对无人机配电线自动巡检及绝缘层涂覆维护过程中障碍物主动识别和距离感知的问题,提出视觉图像与三维点云相结合的障碍物识别方法。对图像进行增广预处理来丰富数据集,引入基于特征提取的深度学习进行模型训练,获取障碍物目标的类别和方位,结合三维点云信息得到目标的距离信息。实验结果表明:三维点云与视觉图像融合的障碍物主动识别与距离感知算法可以兼顾实时与精准测距的需求,提高了系统预警的精确度,最大识别误差为2.356%,有助于提高无人机及线缆涂覆机器人的障碍感知能力,保障作业安全。

无接触式猪体体尺测量技术研究进展

随着视觉传感器和计算机视觉等领域的科技进步,无接触式猪体体尺检测相关的硬件设备和技术方法都发生了巨大的变化。视觉感知升级为三维立体视角,相应的设备也从黑白相机更新为深度设备。设备类型通常决定了基本的实施方案和技术方法,然而目前该领域的研究大多聚焦具体的算法细节,难以满足实际的工程需求。本文以视觉传感器类型为核心,概述了无接触式猪体体尺测量方面不同的工程部署方法,总结了设备使用方法、采集数据的环境条件和方式等,同时对猪体体尺测量的5个三维点云技术任务进行分析,并归纳了目前研究的优缺点、提升空间以及与实际工程应用相结合的方案,最后展望了深度学习与三维点云技术相结合的研究难点。通过对比发现,深度设备和三维点云技术是未来工程应用的方向,基于深度学习的点云分割、点云补全、关键点检测等技术具有良好的应用前景,为无接触式猪体体尺测量技术的后续研究提供了参考。

基于视觉传达技术的激光雷达遥感图像缺陷分割模型

随着遥感技术的发展,激光雷达遥感图像在各个领域的应用越来越广泛。然而,这些图像中常常存在各种缺陷,如噪声、失真、遮挡等,这些缺陷的存在会对图像的分析和应用造成不良影响。因此,对激光雷达遥感图像实施缺陷分割是必要的。本研究旨在开发基于视觉传达技术的激光雷达遥感图像缺陷分割模型,以提高遥感图像处理的准确性和可靠性。应用双边滤波函数实施激光雷达遥感图像的离散点云去噪,在去噪的同时很好地保留点云的曲面几何特征。基于视觉传达技术中的图像增强技术实施激光雷达遥感图像增强处理,以提高遥感图像中视觉信息的理解性与可读性,选用的图像增强技术为局部对比度增强变分模型。设计融合注意力机制的语义分割网络作为遥感图像缺陷分割模型,实现激光雷达遥感图像缺陷分割。实验测试结果表明,设计模型的mPA较高,整体高于95%,随着测试数据量的增长,设计模型的mPA没有出现显著下降。设计模型对于不同地形场景的MIoU均较高,对于复杂的地形场景也能保持较高的MIoU,鲁棒性较强。

基于LiDAR点云的中国传统园林视觉空间定量分析方法——以寄畅园为例

【目的】中国传统园林空间复杂多变,传统的分析方法难以深入探索传统园林复杂的三维视觉空间特征。三维激光雷达(light detection and ranging,LiDAR)点云技术在传统园林空间研究方面具有精度高、信息全等优势,借助LiDAR点云技术深入探索中国传统园林视觉空间特征,可为现代人居环境空间营造提供借鉴与参考。【方法】基于LiDAR点云技术提出一套适用于中国传统园林视觉空间分析的方法,并以三维可视性、视野舒展度及景物视野占比3项指标量化描述视觉空间。【结果】以寄畅园为例,构建了寄畅园LiDAR点云体素模型,利用提出的方法对锦汇漪西侧滨水步道11个视点的视觉空间进行了量化分析,解析了寄畅园的视觉空间特征,并探究了该步道的空间感知序列。【结论】证实了利用LiDAR点云技术展开传统园林视觉空间研究的可行性与准确性,提出的方法可应用于其他传统园林视觉空间的分析研究中。

基于伪文本查询生成及位置感知的弱监督3D视觉定位方法

3D点云视觉定位在自动驾驶、VR/AR等应用中发挥着重要作用。现有大部分点云视觉定位方法依赖对每个目标定位物体的精细人工描述,耗时耗力。为克服视觉语言任务对文本标注的依赖性,现有研究已提出伪文本生成和特征替换方法,在2D领域实现无需文本标注的视觉定位、图像编辑等。在对2D方法研究的基础上,提出了一种自动生成伪文本并实现位置感知的弱监督3D视觉定位方法。在公开数据集ScanRefer、Nr3D/Sr3D上的实验证明了所提方法的有效性和优越性能。

基于深度学习的输电线路巡检无人机图像分类方法

由于点云数据的不规则性,对点云数据特征值的分类精度很难达到输电线路巡检要求。为此,提出基于图信号处理的激光雷达点云分类方法。该方法在处理不规则的输电线路图像信号时,可直接从原始点数据中生成特征值,从而提高分类精度。为了验证所提出方法的有效性,采取实物仿真的方式对算法进行验证,结果表明图像中的分类精度可达到90%。