基于OpenMv视觉识别的自主投篮机器人实现

文章研究类人机器人,设计一款基于OpenMv的自主投篮机器人,能够自主完成对篮球的识别、抓取以及投篮等任务,通过引入OpenMv完成自主识别目标,实现动作的精准化。此项目成功应用到华北五省机器人比赛中,获得天津赛二等奖和北京赛三等奖。

基于视觉识别的传染病场所秩序维护机器人

为解决传染病检测现场人员密集、传染风险大的问题,设计一款检测现场秩序维护机器人,可以在队伍拥挤时提醒检测人员进行调整,同时附加有口罩识别、自动避障、远程遥控等功能。以STM32F103为主控芯片,通过PID算法控制机器人精确移动,使用六轴陀螺仪实现姿态的获取和调整;搭配OpenMV4视觉识别模块,实现人员位置信息采集,进而达到提醒人员保持合理距离的目的;配合K210开发板利用卷积神经网络模型运行YOLO(You Only Look Once)目标检测算法实现口罩识别,实时提醒人员佩戴口罩;设置扫码模块,可以对检测人员出示的身份码进行扫描记录。经测试,机器人能够稳定运行,能够通过蓝牙APP有效控制,实用性强。

无人机立体视觉识别船舶航行风险仿真

由于船舶交通受碰撞、搁浅、走锚等随机干扰因素的影响,导致对船舶航行目标的跟踪与风险预警具有较大难度。为增强海上航行的安全性,提出一种基于无人机立体视觉的船舶航行风险识别方法。引入双目视觉立体技术,获得目标船舶在航行过程中的图像数据。利用卡尔曼预测器优化连续性自适应均值漂移算法,跟踪目标船舶,通过高斯混合模型识别船舶航行风险。实验结果表明,研究方法对不同海域的船舶跟踪曲线与船舶实际航行曲线具有较高拟合度,且上述方法的船舶航行风险识别正确率高于90%,且误报率低于0.2%,说明提出方法的应用可靠性较高。

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

真实场景中的物体识别与环境理解:开放世界的视觉问题

机器视觉研究的主要目的是提出能够在真实场景中开展有效工作的物体识别与环境理解方法与系统.近年来,随着深度学习与大模型技术的广泛使用,机器视觉已经在结构化静态物体与环境的识别等领域取得了巨大的进步,为信息技术产业的发展提供了坚实的技术基础.

基于机器视觉的谷物品种识别研究进展

品种纯度是谷物种子重要的质量指标,种子质量安全直接关乎国家粮食安全。国标规定的品种纯度鉴定采用形态鉴定法和苯酚染色法,鉴定结果受制于检验人员的经验且耗时较长。近年来,机器视觉技术和机器学习、深度学习算法发展迅速,在谷物品种识别和纯度、净度检测中取得了较大进展。主要从图像采集、图像预处理以及机器学习、深度学习技术在谷物品种识别领域的应用等方面进行归纳,分析了目前取得的研究成果以及存在的问题,对该领域未来研究重点进行了展望。

视觉识别下分拣机器人目标稳准抓取系统设计

目标的不同规格在一定程度上影响了抓取效果,为此,设计视觉识别下的分拣机器人目标稳准抓取系统。构建以STM32F429单片为主机芯片的系统总体框架,优化采集影像、机械手臂、智能避障等模块。主机模块将采集影像模块摄像头采集的目标影像数据传送到机械手臂模块后,采用视觉识别方法定位目标,并计算质心和旋转角度获取抓取目标中心距。通过智能避障模块规划抓取路径,实现分拣机器人目标稳准抓取。实验结果表明,在不同距离、不同目标形状以及质量条件下,该方法可以在智能躲避障碍物的同时,稳准抓取目标。

基于多维投影时空事件帧的动态视觉传感手势识别

基于视觉的手势识别是虚拟现实、游戏仿真等领域常用的人机交互手段。在实际应用中,手势动作快速变化将导致传统RGB相机或深度相机成像模糊,给手势识别带来巨大挑战。针对上述问题,利用动态视觉传感器捕捉高速手势运动信息,提出一种基于多维投影时空事件帧(spatiotemporal event frame,STEF)的动态视觉数据手势识别方法。将时空信息嵌入到数据投影面融合形成多维投影时空事件帧,克服现有动态视觉信息事件帧表达方法时域信息丢失的局限性,提升动态视觉传感数据的特征表达能力。在此基础上,采用先进的脉冲神经网络对时空事件帧进行分类实现手势识别。在公开数据集上的识别精度达到96.67%,性能优于同类方法,表明该方法可显著提升动态视觉传感数据手势识别准确率。

基于视觉识别的智能绿篱修剪机的设计与仿真分析

针对现有绿篱修剪机立体造型时,修剪一致性差,自动化程度不高问题,设计了一款基于视觉识别的智能绿篱修剪机。根据使用功能对整机进行结构设计,并通过Ansys-Workbench对关键结构进行有限元分析和自由模态下的振动分析,得到位移和应力云图,以及各阶模态下的频率,验证了设计的合理性;对上部传动机构电机轴进行疲劳分析,保证其使用寿命和安全性;最后,通过HSV模型和PnP测距算法,完成对视觉识别模块的设计,进而完成整体方案。

以改进机器视觉算法构建纸张图像识别模型

为保障纸张生产加工质量,精准获取与识别纸张缺陷,以改进机器视觉算法构建了纸张图像识别模型。首先以由线阵CCD相机与双光源等构成的图像采集装备采集纸张缺陷图像,其次以改进机器视觉方法对纸张缺陷图像进行预处理分析,然后将预处理后图案以可变形卷积神经网络输入进行训练,以此检测识别纸张所存在的缺陷类型。实验测试结果表明,基于改进机器视觉算法的纸张图像识别模型可高效且精准识别缺陷,准确率高达98.4%,拥有较高识别度,可广泛推广以投入实际运用。

基于视觉识别的动态环境下机器人全覆盖路径规划

在动态环境下,机器人全覆盖路径规划对于实现高效和自动化的空间覆盖至关重要。传统的路径规划技术往往依赖于预设的环境模型,难以适应环境的即时变化。文中提出了一种基于视觉识别的机器人全覆盖路径规划方法,旨在通过目标识别与跟踪动态调整路径,有效规划机器人在复杂动态环境中的全覆盖路径。该方法能显著提高在动态环境中的路径规划效率和覆盖率,不仅为机器人在复杂动态环境中的应用提供了新的解决方案,也为未来的智能机器人开发奠定了基础。

基于计算机视觉技术的手势识别人机交互方法

常规的手势识别人机交互方法主要使用FocalLoss损失函数生成交互识别锚框,易受识别目标尺度变化影响,导致交互指令执行异常,因此,需要基于计算机视觉技术,设计一种全新的手势识别人机交互方法。即利用计算机视觉技术采集手势识别人机交互图像,进行人机交互手势识别分割,提取手势识别人机交互特征,从而实现合理交互。实验结果表明,设计的基于计算机视觉的手势识别人机交互方法的交互效果较好,各个交互指令均能有效执行,有一定的应用价值。

基于视觉图像与激光点云融合的交通标志快速识别方法

交通标志对车辆交通起到重要作用和意义,而智能交通中交通标志识别由于标志特征提取效果差,导致识别率低、识别时间长,因此,提出一种新的基于视觉图像与激光点云融合的交通标志快速识别方法。采用双边滤波方法预处理原始激光点云数据;通过归一化处理得到视觉图像激光点云融合的目标空间激光点云位置测距数值;通过测距值获取目标图像位置,归一化处理交通标志视觉图像,引入k均值聚类算法二聚类处理图像,采用制作的切割模板切割图像感兴趣区域,提取交通标志图像的深度特征,结合卷积神经网络二次过滤特征,重新标定二次过滤后的特征,最终利用卷积神经网络模型实现交通标志快速识别;经实验对比证明,采用所提方法提取各个类型交通标志特征的提取效果较好,并且识别率达到89.74%,识别时间仅为13.1 s,干扰下识别时间最高仅为15.1 s,验证了该方法可以快速且准确识别各个类型的交通标志。

基于计算机视觉的管道机器人导航与目标识别

随着社会的不断发展,计算机、人工智能等先进技术愈加成熟。在人工智能技术的支撑下,管道机器人的性能不断完善,其中基于计算机视觉的管道机器人不仅能够根据运行需求对运动路线进行导航,还能够对目标信息进行有效识别。管道机器人企业只有不断加强对计算机视觉、导航及目标识别等技术的研发,才能使管道机器人在各行各业中发挥重要的作用。文章将围绕机器人视觉概述、基于计算机视觉的管道机器人导航与目标识别等方面进行具体的研究及分析。

基于视觉识别的自动收获分拣机器人设计与实验

设计了一种自动化球型模拟果蔬收获机器人,该机器人主要由轮式可移动底盘、STM32主控系统、超声波避障系统、陀螺仪姿态调整系统、视觉识别系统和收获分拣机构等组成。采用C语言编写自动控制模块,Python结合OpenMV编写视觉识别控制模块。样机测试结果显示:该机能完成指定路线运动,规避果园垄等障碍,正确识别应收果实,按分拣条件进行正确分拣,可自主完成果实采摘和收集功能。混合光照条件下果实收获成功率为85.4%,果实分拣成功率为88%,收获总时间为1′30″,通过5条垄,收获并分拣果实18个,验证了本系统的实用性和可靠性。

基于仿斑马鱼和仿鹰眼视觉的复杂背景下目标识别

针对反制无人机识别系统在公共场所内部复杂背景下的无人机识别问题,该文研究了一种基于仿斑马鱼模板匹配视觉识别和仿鹰眼视觉注意的目标识别方法,通过建立不同姿态的无人机模板数据库,采用仿鹰眼视觉搜索机制,结合尺度不变特征变换,将姿态模板图像与目标进行匹配,获得粗略的目标区域。然后计算模板姿态与目标姿态的Hausdorff距离,比较目标姿态相似性,获得最相似姿态。采用仿鹰眼视觉注意机制对遮挡图像进行处理,提高目标识别的显著性。实验结果表明,该方法能够在不同复杂背景下实现无人机的准确识别,与光谱残差的显著性目标识别方法相比,平均运行时间提高23.5%,与差异哈希算法相比,具有更高的结构相似性指数。

基于单目视觉的散堆铆钉识别与定位技术

针对自动送钉过程中散堆铆钉识别与定位困难的问题,提出一种基于单目视觉的识别与定位方法。通过研究铆钉的反射光强获得钉杆的灰度分布规律,以参数化的方式构造了铆钉模板,并提出基于灰度匹配的铆钉识别算法。将单目视觉与激光位移传感器结合获取铆钉的空间位置,同时为解决单目视觉在测量不同深度下的铆钉位置存在原理性误差的问题,研究了一种重复定位拍照的测量方法,使真空吸嘴与钉杆中心的最大位置偏差由7.86 mm降低到0.87 mm。实验表明,灰度匹配算法的铆钉识别准确率在85%以上,并能适应30%~70%的照明亮度变化。使用该方法的机器人抓钉节拍最长为3.32 s,可留有充足的时间将铆钉输送至自动钻铆设备,满足自动钻铆设备的需求。

基于机器视觉的筒子纱线头识别方法

为了在纺织织造的整经工序中高效吸取筒子纱线头,克服人工和机器寻线工作效率低、装置复杂等问题,提出了一种基于机器视觉的筒子纱线头识别方法。首先,对采集的筒子纱图像进行畸变校正,根据透视投影和局部透视变换建立筒子纱校正模型,得到理想的筒子纱侧面展开图像;其次,采用4邻域连通规则对校正后的图像进行连通域标记,得到含曲线部分最多的连通域;最后,计算该连通域的曲折度,达到阈值的即为所需识别的线头。对含线头图像和不含线头图像进行识别,结果表明:局部透视变换的校正方法比重映射速度提升近30%,表现出较高的校正精度;曲折度阈值判别方法能有效滤除非线头图像,提高了线头图像的识别精度。使用机器视觉进行筒子纱线头识别能有效检测出每个筒子纱中的线头部分,减少生产线上的人工干预,为构建高效节能的智能化生产模式提供参考。

基于改进双流视觉Transformer的行为识别模型

针对现有行为识别方法中抗背景干扰能力差和准确率低等问题,提出了一种改进的双流视觉Transformer行为识别模型。该模型采用分段采样的方法来增加模型对长时序列数据的处理能力;在网络头部嵌入无参数的注意力模块,在降低动作背景干扰的同时,增强了模型的特征表示能力;在网络尾部嵌入时间注意力模块,通过融合时域高语义信息来充分提取时序特征。文中提出了一种新的联合损失函数,旨在增大类间差异并减少类内差异;采用决策融合层以充分利用光流与RGB流特征。针对上述改进模型,在基准数据集UCF101和HMDB51上进行消融及对比实验,消融实验结果验证了所提方法的有效性,对比实验结果表明,所提方法相比时间分段网络在两个数据集上的准确率分别提高了3.48%和7.76%,优于目前的主流算法,具有较好的识别效果。

基于计算机视觉的混凝土表观裂缝识别和宽度测量

对钢筋混凝土(reinforcement concrete, RC)结构表观裂缝的高效识别可以为结构震损快速评估提供佐证。无论在地震现场还是实验室环境,此类工作均表现出量大、重复的特征,适合利用计算机视觉技术完成,以弥补人工方式低效、不确定性强的劣势。以消费级相机输出图像作为数据源,融合U-Net和VGG-16构造适用于混凝土表观裂缝识别的卷积神经网络(convolutional neuralnetwork, CNN)模型,依托多类型RC构件裂缝图像数据库完成模型训练和测试。利用形态学运算、Otsu阈值分割等技术进一步优化裂缝识别结果作为宽度测量的输入数据。为降低相机光轴与裂缝平面不垂直带来的裂缝宽度测量误差,通过特定靶标对原始图像进行透视误差校正,经检验,透视误差校正后的裂缝宽度测量的平均偏差最大可降低约25%。