真实场景中的物体识别与环境理解:开放世界的视觉问题

机器视觉研究的主要目的是提出能够在真实场景中开展有效工作的物体识别与环境理解方法与系统.近年来,随着深度学习与大模型技术的广泛使用,机器视觉已经在结构化静态物体与环境的识别等领域取得了巨大的进步,为信息技术产业的发展提供了坚实的技术基础.

基于Hough变换的动态目标物体识别算法研究

与静态物体不同,动态物体具有实时变化的特点,加大了目标识别难度,为了精准识别动态目标物体,提出一种单目AR环境下动态目标物体识别算法。通过摄像机采集单目AR环境下的动态目标图像序列,采用MMTD和软阈值滤波方法对目标物体图像滤波处理。引入Hough变换方法获取动态目标物体的直线信息,并通过模式识别获取动态目标物体的位置和朝向信息,结合获取的信息实现动态目标物体识别。实验结果表明,采用所提算法方法可以在较短的时间内准确识别动态目标物体,且目标识别误差较低,对动态图像识别研究具有一定的参考价值。

开放世界物体识别与检测系统:现状、挑战与展望

探究了从封闭环境到开放世界环境的转变及其对视觉感知(集中于物体识别和检测)与深度学习领域的影响.在开放世界环境中,系统软件需适应不断变化的环境和需求,这为深度学习方法带来新挑战.特别是,开放世界视觉感知要求系统理解和处理训练阶段未见的环境和物体,这超出了传统封闭系统的能力.首先讨论了技术进步带来的动态、自适应系统需求,突出了开放系统相较封闭系统的优势.接着,深入探讨了开放世界的定义和现有工作,涵盖开集学习、零样本学习、小样本学习、长尾学习、增量学习等5个开放维度.在开放世界物体识别方面,分析了每个维度的核心挑战,并为每个任务数据集提供了量化的评价指标.对于开放世界物体检测,讨论了检测相比识别的新增挑战,如遮挡、尺度、姿态、共生关系、背景干扰等,并强调了仿真环境在构建开放世界物体检测数据集中的重要性.最后,强调开放世界概念为深度学习带来的新视角和机遇,是推动技术进步和深入理解世界的机会,为未来研究提供参考.

基于OpenMV图像识别的自主迷宫寻宝小车

基于机器视觉模块OpenMV和TC264单片机,设计基于图像识别的自主迷宫寻宝小车。通过识图装置OpenMV识别藏宝图,定位宝藏坐标、识别迷宫矩阵,并通过串口发送给单片机,利用多目标A算法进行路径规划,利用陀螺仪与编码器进行实时定位,根据小车当前的坐标与宝藏坐标对比来进行小车的控制,同时使用超声波避障模块及按键等实现迷宫寻宝的任务。通过实验证明,小车系统运行流畅,各个模块之间协调配合,定位精度可达0.2 mm,判别真伪宝藏并将信息发送给单片机的时间在1~2 s,在科学性、准确性、可行性、创新性和完整性方面均有较好的表现。

一种基于OpenMV的智能停车场车牌识别系统

基于OpenMV模块,设计了一种车牌识别系统。该系统以STM32H7系列单片机为主控芯片,利用OV5640摄像头模组采集原始车牌图像,通过Micro Python语言算法对图像进行预处理、定位车牌、分割字符和模板匹配识别,最终通过QVGA屏幕和串口通信实输出车牌信息。本系统识别效果较好且所需芯片算力资源较少,适用于低成本、高效率的嵌入式平台。

双目视觉物体测距和识别的管理系统设计与实现

采用PyQt5、Qt Designer相关技术设计一个双目立体视觉交互式管理系统,包括登录和主界面的设计,PyCharm IDE与Python编程语言一起使用,以实现用于对象检测和测距的GUI可视化界面。该界面包含五个主要功能:图像捕获、相机校准、视差图显示、深度图、3D点云、物体检测和测距。系统测试的总体目标是验证IMS的功能和性能,确保其在图像采集、相机校准、深度估计、3D重建以及目标检测和测距方面的可靠性和有效性。

基于OpenMV视觉技术对物体识别与跟踪的实验研究

以OpenMV作为图像处理模块,搭配两个云台舵机设计了一个物体识别与跟踪实验系统。介绍了实验所采用的装置和具体实现过程,对舵机采用了增量式PID算法进行控制。该实验系统实现了对物体的识别与跟踪功能。

基于OpenMV图像识别的舰载全自动挂弹车设计与实现

论文设计了一种基于OpenMV图像识别的舰载全自动挂弹车,以OpenMV图像识别平台作为舰载挂弹车的机器视觉平台,提取关键特征点从而精准识别挂弹点位置,以Arduino mega 2560为主控芯片,接收来自OpenMV发送的控制指令,控制舰载挂弹车车行走模块、升降模块、位姿调整模块、托弹架模块,以实现挂弹平台平移、升降、旋转、俯仰四个自由度的姿态调整,能够准确地将导弹挂载至飞机机翼下方挂弹架上,实现全自动挂弹功能。该装置在大型舰船舰载机作战保障场景中有较大的应用价值。

基于通道权重分配的铁路物资仓储库区物体分类识别方法

铁路物资仓库中货物种类广、数量多,人工搬运困难,急需建设无人仓库以提升物资管理水平。但是,铁路物资仓库常有紧急抢修任务,货物动态性高,人机混合,工人与货物、车体之间相互遮挡,对物体识别造成较大影响。因此,如何准确识别仓库中常见物体并及时做出任务调整,成为了铁路仓库智能化运行中亟待改善的问题。在YOLOv8模型的基础上,在主干网络部分加入SE(Squeeze-and-Excitation)注意力模块,对损失函数进行优化,提出了YOLOv8-S铁路检修仓储库区物体识别模型。通过引入SE模块,YOLOv8网络可以通过在不同通道间分配权重达到主次优先的目的,提高模型对特征的关注力,进一步提高模型分类的能力,优化后的损失函数通过最小化预测边界框和真值边界框之间的点距离来计算IoU,简化了计算过程。采集铁路检修仓库中出现频率较高的叉车、货物、工作人员与货架4类物体图像作为数据集,为保证数据集质量,采用MSE均方误差去除冗余图像,共得到1000幅图像。对4类物体进行标注并送入训练模型。测试结果表明,模型召回率为83.7%,平均均值精度达到87.6%,与原始YOLOv8相比,YOLOv8-S的召回率提高了3.8%,平均均值精度提高了4.3%。结果表明,YOLOv8-S网络可以准确地实现铁路检修仓库中常见物体的识别。

自动化生产线上基于视觉识别的物体抓取与操纵技术研究

本文旨在深入探讨自动化生产线中基于视觉识别的物体抓取与操纵技术。文章首先系统介绍了自动化生产线的基本组成及其功能,包括传送带、机械臂、传感器以及控制系统等关键组件,并阐述了这些组件如何协同工作以提高生产效率和精度。接着,本文详细讨论了视觉识别系统的设计与实施,解释了如何通过高精度摄像头和图像处理软件来识别不同的物体和其精确位置。此外,文章还详细分析了抓取与操纵技术的关键方面,包括机械手臂的精确控制、抓取策略的优化以及对抓取过程中可能出现的问题如滑动或误差的处理方法。通过实验和模拟,本研究验证了视觉识别技术在提高抓取效率和减少错误率方面的有效性,为自动化生产线上的应用提供了有力的理论支持和实践指导。

基于点云中心约束的点对特征三维物体识别算法

目标姿态识别系统中能够快速、准确在复杂场景里识别目标物体是实现机器人在线抓取的关键,针对传统点对特征(PPF)算法相邻物体点云干扰的问题,提出了一种基于点云中心约束点对特征的三维物体识别算法。首先通过法向量相交约束为条件提取物体中心,然后根据模型的大小筛选出相关的点对特征,最后利用共面点对和物体中心特征,实现计算三维物体的姿态,以此来提高识别速度。实验结果表明,该算法显著减少特征描述符数量,提高了三维物体在复杂场景中的识别速度。与原始的点对特征算法相比,该方法对三维目标识别具有较好的性能与速度。

基于OpenMV的无人机目标跟踪系统

无人机在众多领域展现出巨大的应用潜力,其中作为关键技术之一,目标跟踪对于提升无人机自主作业能力至关重要。文章介绍一种无人机目标识别与跟踪系统。该系统基于OpenMV平台,利用阈值分割的图像处理算法,确保目标识别的高精度与鲁棒性。通过分析图像中特定色块的位置,计算相对于图像中心的偏移量,进而确定目标运动轨迹。所获取的偏移信息被实时传输至无人机控制系统,无人机通过PID控制器调节,自动调整飞行路径,对目标实施紧密跟踪。在实现过程中,通过优化算法参数和进行大量实验测试,确保系统的稳定、可靠运行。实验结果表明,该系统能准确识别目标色块,并实现对目标的稳定伴飞,为无人机在目标跟踪、智能监控等领域的应用提供有力支持。

基于OpenMV的自助采摘园果篮目标识别系统研究

果篮目标检测是温室自助采摘旅游产业的关键技术之一。针对自助采摘园果篮目标检测技术,采用OpenMV图像处理器进行了果篮目标检测系统设计。首先,对摄像头进行初始化配置,设置合适的图像分辨率和采集帧率,进行图像预处理以提高信噪比;其次,采用颜色目标追踪函数实现色块目标的检测,并利用目标特征分析算法实现非果篮目标的过滤;最后,根据检测结果完成IO口信号的控制。通过试验证明,所采用的方法能有效实现温室自助采摘中的果篮目标检测。

基于OpenMV的智能送药小车的设计

为提高现代智慧药房的智能化服务水平,设计了一款以STM32F103处理器为核心的智能送药小车。该系统利用OpenMV图像识别技术来确认配送目标、循迹前进、路口转向、择位而停,完成送药任务。利用神经网络TensorFlow lite训练模式对图像中的数字和线路信息进行深度学习,得到准确率达到92.4%的模型,识别时间低于0.5 s,近端药房送药任务平均时长14.48 s,双车远端病房协作送药完成时间48.35 s。相对于传统自动化送药系统,该系统智能化程度较高。

基于HALCON的轻量级物体识别方法

实时的运动检测和跟踪技术是一项融入图像处理、计算机视觉、网络传输等多学科的技术,在生物医学、工业自动化生产、智能机器人等多个领域都有着非常广泛的应用。所谓实时的运动检测与跟踪技术就是将实时采集的图像信息进行检测,提取有用信息,识别目标参数特征,过滤噪声并锁定目标[1],而实现运动物体的检测和跟踪依赖于对物体的识别,所以利用机器视觉技术对目标进行快速自动地识别别成为了关键。但现在大多数运动检测系统基于PC机等大型且计算能力较强的设备,基于卷积神经网络(CNN)的机器学习算法已经在很多领域中进行了探索和应用[2]。

基于YOLOv7算法与物体识别技术的空闲座位资源整合方法

传统空闲座位资源整合方法存在信息不准确、预约困难等问题。为此,提出基于YOLOv7算法与物体识别技术的空闲座位资源整合方法。利用摄像头监控采集图像,整合座位状态信息,将经过抽帧处理的图像数据存储于腾讯云服务器中;利用YOLOv7算法判断图书馆座位的空闲状态,以方便校内师生预约使用。该方法可以提高图书馆座位的利用效率,为用户提供便利和实时的座位预约服务。

基于视觉识别的传染病场所秩序维护机器人

为解决传染病检测现场人员密集、传染风险大的问题,设计一款检测现场秩序维护机器人,可以在队伍拥挤时提醒检测人员进行调整,同时附加有口罩识别、自动避障、远程遥控等功能。以STM32F103为主控芯片,通过PID算法控制机器人精确移动,使用六轴陀螺仪实现姿态的获取和调整;搭配OpenMV4视觉识别模块,实现人员位置信息采集,进而达到提醒人员保持合理距离的目的;配合K210开发板利用卷积神经网络模型运行YOLO(You Only Look Once)目标检测算法实现口罩识别,实时提醒人员佩戴口罩;设置扫码模块,可以对检测人员出示的身份码进行扫描记录。经测试,机器人能够稳定运行,能够通过蓝牙APP有效控制,实用性强。

基于OpenMV的运动目标控制与自动追踪系统

本系统以OpenMV为控制核心,由云台、单片机最小核心板、电池、稳压电源、按键等模块构成。通过OpenMV的图像识别与处理,可对屏幕中的黑色矩形边框、红色激光笔光斑进行识别,并通过控制舵机云台使激光笔打在屏幕中的指定位置,从而实现运动目标控制与自动追踪,满足了要求的各项指标,且实现了误差均小于0.5cm。系统功能由按键控制,人机交互功能友好,此外还具有手动校准功能。

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。

基于注意力机制的毫米波图像隐匿目标自主识别方法

在人体安检中,毫米波成像是一种对人体安全的检测方法。目前,使用平面毫米波扫描人体图像中存在被检测物体较小、边缘模糊等问题,导致传统的目标检测方法实现高准确率的检测变得困难。本文提出应用注意力机制及图像增强方法,提高目标检测方法对人体毫米波图像隐匿物体检测的精确度和召回率。研究结果表明,注意力机制与图像增强方法可提高毫米波图像目标检测的准确率和召回率。