基于场景理解的施工临边坠落险兆智能识别方法

为更及时、更有效地预防施工临边坠落事故的发生,并弥补现有智能预警方法在场景理解方面的不足,融合深度学习与语义推理,提出1种险兆识别方法。该方法通过neo4j构建险兆知识图谱,将引入轻量级视觉Transformer的YOLOx模型识别工人的险兆行为,设计描述空间关系的IoU计算方法并使用Cypher推理语言进行险兆推理。研究结果表明:施工临边坠落各要素识别的平均精度达91%以上,且IoU计算与险兆推理准确率均为100%,模型识别效果与险兆推理效果较好,该方法总体满足精度和速度的识别要求。研究结果可为实现施工临边坠落险兆行为的精准识别和预警提供参考。

基于场景理解的彩色融合图像质量主观评价

基于场景理解的彩色融合图像质量用于衡量观察者通过融合图像准确理解场景内容的难易程度,通常采用主观评价的方式获得。为了提升主观评价的稳定性,以村庄场景为例,将基于场景理解的彩色融合图像质量这一较抽象的概念具体化为区域分割和景物辨别两项性能指标,组织15名观察者主观评价了42幅不含热目标的彩色融合图像的质量。使用结构方程模型对主观评分值进行分析,建立了基于场景理解的彩色融合图像质量的预测模型,并验证了预测模型的正确性。结果表明,在村庄场景下,基于场景理解的彩色融合图像质量可由颜色协调性和颜色自然感2个因素预测,并更多地表现为景物辨别性能。

基于深度学习目标识别的航天员训练场景理解技术

增强现实(AR)是航天员训练的有效途径,其关键技术是场景重建与空间定位。针对当前AR设备只能进行场景空间静态识别,无法感知目标动态变化的问题,提出了深度学习与AR技术相结合的目标识别与位姿估计方法。采用YOLO v5神经网络实现了小训练样本量的操作目标识别,结合深度信息实现了目标点云分割,与目标CAD模型点云进行ICP匹配后估计出目标的三维空间位姿,从而在AR显示空间中实现目标的动态定位与虚实融合。结果表明:YOLO v5的识别平均精度可以达到0.995,虚实结构可以准确叠加。该方法可有效提高AR设备的场景理解能力,扩展航天员AR训练手段。

融合场景理解与机器视觉的矿山巡检机器人导航避障研究

近年来,随着机器人技术和人工智能技术的迅猛发展,越来越多的矿山企业开始采用机器人进行巡检和监测,以提高生产效率和降低人工巡检成本。然而,由于矿山环境复杂多变,存在大量的障碍物和危险因素,传统的巡检机器人往往不能满足实际需求,需要引入一些先进的场景理解和机器视觉技术,以提高机器人的导航和避障能力。提出了一种基于融合场景理解与机器视觉的矿山巡检机器人导航避障方法。首先,通过机器视觉技术对矿山环境进行识别和定位,获取当前机器人所处的位置和周围场景信息。然后,利用场景理解技术对矿山场景进行分析,包括识别各种矿石、设备和人员,并对矿山环境中的障碍物进行检测和分类。最后,将融合后的场景理解和机器视觉信息应用于机器人的导航和避障控制。试验结果表明:所提方法能够有效提高机器人在复杂矿山环境下的导航和避障能力,对于推动智能矿山建设、提高矿山生产效率、降低巡检成本具有一定的意义。

计算机视觉中场景理解的专利技术分析

计算机视觉是人工智能的一项核心技术,目前正处于全球研发热潮期。计算机视觉是一种利用计算机从图像或视频中获取信息的技术,即试图理解或者仿真人类视觉系统达到完成特定任务的目的,可以分解为增强现实、生物识别、场景理解、字符识别、目标跟踪、视频图像识别等多个技术分支。场景理解作为计算机视觉领域的一个重要分支,其目标在于将采集到的视觉数据转换为语义信息,使计算机能够获得概括与描述视觉场景的能力,在人机交互、机器人模式识别、自动驾驶、增强现实等领域具有广泛的应用。

移动机器人基于视觉室外自然场景理解的研究与进展

对于工作在典型非结构化场景中的移动机器人系统,具有良好的室外自然场景感知与理解能力是其能够自主运行的前提条件.移动机器人使用视觉传感器来进行室外自然场景的理解一直是该领域的研究热点.本文首先介绍了基于视觉的移动机器人自然场景理解的研究现状,对其相关子领域的研究思路与前沿技术进行了着重论述与分析,并从实时性和环境自适应性等方面对相关技术的实用性问题加以讨论.最后对该领域的研究重点和技术发展趋势进行了探讨.

高阶马尔科夫随机场及其在场景理解中的应用

与传统的一阶马尔科夫随机场(Markov random field,MRF)相比,高阶马尔科夫随机场能够表达更加复杂的定性和统计性先验信息,在模型的表达能力上具有更大的优势.但高阶马尔科夫随机场对应的能量函数优化问题更为复杂.同时其模型参数数目的爆炸式增长使得选择合适的模型参数也成为了一个非常困难的问题.近年来,学术界在高阶马尔科夫随机场的能量模型的建模、优化和参数学习三个方面进行了深入的探索,取得了很多有意义的成果.本文首先从这三个方面总结和介绍了目前在高阶马尔科夫随机场研究上取得的主要成果,然后介绍了高阶马尔科夫随机场在图像理解和三维场景理解中的应用现状.

移动机器人基于多传感器信息融合的室外场景理解

本文研究了移动机器人多传感器信息融合技术,提出一种融合激光测距与视觉信息的实时室外场景理解方法.基于三维激光测距数据构建了高程图描述场景地形特征,同时利用条件随机场模型从视觉信息中获取地貌特征,并以高程图中的栅格作为载体,应用投影变换和信息统计方法将激光信息与视觉信息进行有效融合.在此基础上,对融合后的环境模型分别在地形和地貌两个层面进行可通过性评估,从而实现自主移动机器人实时室外场景理解.实验结果和数据分析验证了所提方法的有效性和实用性.

基于概率图模型的图像整体场景理解特征工程综述

图像特征工程是图像场景理解中的一项重要基础性工作,基于概率图模型的图像整体场景理解特征工程作为其延伸,其复杂性和综合性远高于基本图像理解特征工程。针对这一特点,对图像理解特征工程中的特征提取、表示、学习和变换,基于概率图模型的图像整体场景理解特征工程研究价值和意义、典型特征工程等多方面进行了归纳与分析,重点介绍了四种代表性的基于概率图模型的图像整体场景理解特征工程,并作了详细比较,提出了基于概率图模型的图像整体场景理解特征工程基本框架。最后对未来发展方向进行了展望,为该领域的进一步研究提供参考。

基于不确定性知识的实时道路场景理解

由于室外机器人的工作环境非常复杂 ,因此机器人的视觉导航必须具有足够的智能和鲁棒性 .为此 ,提出了一种基于不确定性知识的实时道路理解算法 ,该算法通过不确定性知识推理来融合多种信息和知识 ,以满足在复杂道路环境下的鲁棒性要求 ,它即使在有强烈阴影、水迹等干扰下也能给出比较好的结果 ;通过图象边缘信息的提取可以得到精确的道路边界 ,以满足视觉导航的精确性要求 ;同时在算法设计时 ,兼顾了实时性要求 ,使得算法得以实时实现 ,该算法已在实际的机器人上进行了测试 。

基于概率图模型的图像整体场景理解综述

近年来,计算机图像理解技术在智能交通、卫星遥感、机器视觉、医疗图像分析、网络图像搜索等多个领域得到广泛应用。图像整体场景理解作为其延伸,其复杂性和综合性远高于基本图像理解任务。针对这一特点,从图像理解基本框架、图像整体场景理解研究价值和意义、典型模型等多方面进行了归纳与分析,重点介绍了四种代表性的整体场景理解模型,并详细比较了模型架构。最后指出了目前图像整体场景理解研究不足以及未来发展方向,为该领域的进一步研究提供参考。

一种基于图像区域系综分类的室外场景理解方法

多层感知机分类器是一种有效的数据分类方法 ,但其分类性能受训练样本空间的限制。通过多层感知机分类器系综提高室外场景理解中图像区域的分类性能 ,提出了一种自动识别室外场景图像中多种景物所属概念类别的方法。该方法首先提取图像分割区域的低层视觉特征 ,然后基于系综分类方法建立区域视觉特征和语义类别的对应关系 ,通过合并相同标注区域 ,确定图像中景物的高层语义。对包含 5种景物的 1 5 0幅图像进行测试 ,识别率达到了 87%。与基于多层感知机方法的实验结果相比 ,本文提出的方法取得了更好的性能 ,这表明该方法适合于图像区域分类。此外 。

基于多重语义交互的递归式场景理解框架

传统基于前馈设计的视觉系统已经非常普遍,但其存在的一大缺陷是某个环节出现的错误无法被及时修正,从而影响系统的最终性能。为此,提出了一种简易的交互式框架,其特点在于场景语义的不确定性能够通过不同的视觉分析过程协同工作实现求解和优化。在该框架中,分别使用了3个经典的场景理解算法作为视觉分析模块,不同模块之间利用彼此输出的表面布局、边界、深度、视点和物体类等上下文语义之间的交互以实现各自性能的渐进式提升。提出的方法不需要人为设置约束条件,可根据需求插入新的模块而无须对原有框架和算法进行大的修改,具有良好的可扩展性。基于Geometric Context数据集的实验结果表明,这种基于本征信息交互的反馈式设计通过多次递归后能够有效弥补前馈式系统存在的不足,其中表面布局、边界和视点估计的平均精度提升了5%以上,而物体类的平均检测精度也提升了6%以上,其可成为未来改进视觉系统性能的途径之一。

基于深度感知特征提取的室内场景理解

从深度图RGB-D域中联合学习RGB图像特征与3D几何信息有利于室内场景语义分割,然而传统分割方法通常需要精确的深度图作为输入,严重限制了其应用范围。提出一种新的室内场景理解网络框架,建立基于语义特征与深度特征提取网络的联合学习网络模型提取深度感知特征,通过几何信息指导的深度特征传输模块与金字塔特征融合模块将学习到的深度特征、多尺度空间信息与语义特征相结合,生成具有更强表达能力的特征表示,实现更准确的室内场景语义分割。实验结果表明,联合学习网络模型在NYU-Dv2与SUN RGBD数据集上分别取得了69.5%与68.4%的平均分割准确度,相比传统分割方法具有更好的室内场景语义分割性能及更强的适用性。

无人车的场景理解与自主运动

无人车无疑将深刻改变我们未来的交通出行和运输方式,正日益受到学术界、产业界和政府部门越来越多的关注。无人驾驶的感知-运动环路中存在两个紧密耦合的核心问题,即场景理解与自主运动。场景理解通过融合处理车载多传感器的感知数据,给出车辆运动决策的几何、物理层面的约束。而自主运动在场景理解给出的约束条件下实现安全、平稳的运动。主要综述无人车场景理解与自主运动的研究进展,并结合团队十余年来在无人驾驶领域的探索与实践,探讨复杂动态交通环境的无人车前沿技术。

面向航天员训练的混合现实场景理解方法研究

针对航天员混合现实系统在人机交互过程中尚未实现自主智能诱导的局限性,结合航天器舱内环境的特殊性,构建了一种航天员混合现实空间场景理解原型系统架构,提出了基于深度学习的空间场景自主理解方法,采用合成样本的方法建立了舱内设备数据库,实现了基于深度学习算法的自主舱内设备识别。实验结果表明,对舱内设备识别的mAP值达到79.8%,混合现实空间场景理解原型架构和场景理解方法可以有效解决航天员舱内训练设备操作状态变化的自然识别需求,并实现混合现实虚拟流程的自主引导。

基于深度卷积神经网络的道路场景理解

在无人驾驶技术中,道路场景的理解是一个非常重要的环境感知任务,也是一个很具有挑战性的课题。提出了一个深层的道路场景分割网络(Road Scene Segmentation Network,RSSNet),该网络为32层的全卷积神经网络,由卷积编码网络和反卷积解码网络组成。网络中采用批正则化层防止了深度网络在训练中容易出现的"梯度消失"问题;在激活层中采用了Maxout激活函数,进一步缓解了梯度消失,避免网络陷入饱和模式以及出现神经元死亡现象;同时在网络中适当使用Dropout操作,防止了模型出现过拟合现象;编码网络存储了特征图的最大池化索引并在解码网络中使用它们,保留了重要的边缘信息。实验证明,该网络能够大大提高训练效率和分割精度,有效识别道路场景图像中各像素的类别并对目标进行平滑分割,为无人驾驶汽车提供有价值的道路环境信息。

基于深度残差学习的自动驾驶道路场景理解

随着道路场景理解技术的快速发展,自主驾驶领域取得了长足的进步。在相关任务中,包括道路分割、分类和车辆检测的实时性和准确性是安全性的一个关键问题。为此,提出了一个具有编/解码器网络结构的基于深度残差学习的方法。一方面,编码器网络结构使用不同层次的残差网络来提取高维中的抽象特征,这些特征在接下来的三个任务中共享使用;另一方面,解码器网络结构采用一种子任务的并行计算机制,即道路分割、车辆检测和道路分类任务同时执行。此外,全卷积神经网络用于对提取的图像特征进行上采样以解决道路分割问题。最终,实验结果表明在保证高精度的前提下处理帧率可达到15 fps以上。

融合场景理解与A^(*)算法的巡检机器人避障设计

针对现有巡检机器人导航避障存在的不足,将深度学习技术与路径规划相结合,提出了一种融合场景理解与A^(*)寻路算法的巡检机器人避障方法。该方法采用基于编码-解码结构的深层卷积神经网络构建高精度场景理解网络,获取巡检机器人道路场景信息。利用中值滤波、最大连通域和C空间变换等操作,提取出场景信息中机器人可行道路区域,并转化为二维栅格地图。通过基于栅格地图的A^(*)路径规划算法搜索出最优避障路径,指导机器人完成避障动作。同时,考虑到实际道路场景的高重复性,引入特征差分结构来降低冗余计算,保障巡检机器人导航避障效率。实验结果表明,所提方法在场景理解以及避障路径规划的精度和计算效率方面都得到了有效的平衡,并能适应不同场景,鲁棒性较高。同时,在真实变电站道路环境中,该方法也能高效获取场景信息,并准确指导巡检机器人实现实时导航避障。

基于多视角RGB-D图像帧数据融合的室内场景理解

对于智能机器人来说,正确地理解环境是一项非常重要且充满挑战性的能力,从而成为机器人学领域一个关键问题.随着服务机器人进入家庭成为趋势,让机器人能够依靠自身搭载的传感器和场景理解算法,以自主、可靠的方式感知并理解其所处的环境,识别环境中的各类物体及其相互关系,并建立环境模型,成为自主完成任务和实现人机器人智能交互的前提.在规模较大的室内空间中,由于机器人常用的RGB-D(RGB depth)视觉传感器(同时获取彩色图像和深度信息)视野有限,使之难以直接获取包含整个区域的单帧图像,但机器人能够运动到不同位置,采集多种视角的图像数据,这些数据总体上能够覆盖整个场景.在此背景下,提出了基于多视角RGB-D图像帧信息融合的室内场景理解算法,在单帧RGB-D图像上进行物体检测和物体关系提取,在多帧RGB-D图像上进行物体实例检测,同时构建对应整个场景的物体关系拓扑图模型.通过对RGB-D图像帧进行划分,提取图像单元的颜色直方图特征,并提出基于最长公共子序列的跨帧物体实例检测方法,确定多帧图像之间的物体对应关联,解决了RGB-D摄像机视角变化影响图像帧融合的问题.最后,在NYUv2(NYU depth dataset v2)数据集上验证了本文算法的有效性.