基于嵌入式视觉的无人机目标定位系统

基于传统算法的无人机目标定位系统精确度较低且容易受到光照条件干扰,针对该问题提出了一种基于嵌入式视觉的无人机目标定位系统。使用深度可分离卷积替换YOLOv2原始模型中的Darknet-19骨干网络,大幅减小模型体积;引入RepVGG模块提取复杂特征,以提升检测精度。将模型部署到嵌入式端并进行了性能测试,结果表明改进YOLOv2算法的网络模型检测精度达到了96.7%,检测速度达到25 fps,解决了传统算法难以处理光照变化的问题并且有明显的性能提升。设计完成了上机试验,试验结果验证了无人机目标定位系统的有效性和可靠性。

莱迪思推出集成USB的小型嵌入式视觉FPGA

低功耗可编程器件的领先供应商莱迪思半导体公司推出莱迪思CrossLinkU NX FPGA产品系列,这是业界首款同级产品中集成USB器件功能的FPGA。CrossLinkU NX FPGA通过硬核USB控制器和物理层(PHY)、独特的低功耗待机模式和一整套参考设计,加速设计配备了USB的系统并简化散热管理。CrossLinkU NX FPGA拓展了莱迪思在嵌入式视觉传感器与USB主机接口领域的领先地位,旨在满足不断增长的客户需求,简化计算、工业、汽车和消费电子市场应用中基于USB的设计。

基于嵌入式视觉的移动式自重构微小型机器人

为了提高微小型移动机器人作业能力,提出了一种新型移动式自重构机器人。机器人包含若干可独立执行任务的移动子机器人,单元子机器人由若干模块化组件(中央处理模块、通信模块、驱动模块、弯举模块、超声模块、视觉模块等)构成,并可通过展开结构进行简单变形以增强自身机动性能与越障能力。多个子机器人可以在微型CMOS相机及其它传感器协作下自主对接为整体机器人,并可自重构为蛇形、环形等构形完成越障。在任务完成后,各子机器人可以彼此脱离,形成分布式机器人系统。为实现机器人微小型化,在模块化设计过程中大量采用了紧凑机械结构,设计了基于微型CMOS数字相机的嵌入式图像处理模块用于视觉自重构,以及基于ARM、FPGA的嵌入式中央控制器进行低能耗高效率的全局控制。单元机器人通过了完整的功能测试,在两个单元机器人中心线夹角为30°的情况下,完成对接耗时为15s,满足机器人自重构要求。

具有单目嵌入式视觉的仿人机器人分层控制系统设计

针对仿人机器人的特点,设计了一个具有单目视觉的仿人机器人分层控制系统.通过研究机器人跑步运动的基本原理,在机器人跑步运动中引入手臂摆动姿态,通过最优化跑步过程的总体能效进行步态规划.最后根据FIRA比赛规则,决策系统通过视觉反馈和姿态反馈信息,调用底层动作库,进行短跑运动规划.实验结果表明,该仿人机器人的控制方式效果良好,适合参加竞技类比赛.

香烟小包装嵌入式视觉在线检测系统

针对烟草企业对小包烟包装质量精密检测的需要,提出基于嵌入式视觉在线检测的关键技术。本系统以TI公司的数字多媒体处理器TMS320DM642为核心,设计实现小包烟包装质量精密在线检测的软、硬件平台。通过DM642对视频图像进行采集并结合相应的智能图像处理与模式识别算法,使系统不仅适应在线快速包装质量检测,而且能准确的判断缺陷类型。实验证明,嵌入式视觉系统的扩展和适用性强,应用前景广泛。

自主移动焊接机器人嵌入式视觉跟踪控制系统

为解决大型工件现场焊接空间受限和焊缝跟踪精度受干扰的问题,提出并设计了一种自主移动焊接机器人嵌入式视觉跟踪控制系统。系统紧凑、体积小,适应现场焊接作业。提出基于核相关滤波的焊缝跟踪算法,以解决焊接时的弧光干扰问题,实现实时、精确、可靠的焊缝跟踪。该算法通过生成大量的正负样本进行分类器训练,并映射到高斯核函数空间进行计算,来提高跟踪精度和可靠性;通过构建样本的循环矩阵和傅里叶变换来减少计算量,提高跟踪实时性。在ARM嵌入式系统中实施该自动跟踪算法,完成了对移动机器人的爬行和横摆控制,并实现了焊接过程的实时纠偏。通过对大型管道V型焊缝进行焊接实验表明,帧率达到10 fps,焊缝轨迹跟踪准确,焊接表面平顺。

基于嵌入式视觉的零件状态检测系统开发

针对车床自动化上料零件的正反检测,提出一种基于多级模板匹配的零件检测方法,提取并生成一系列旋转模板图像库,利用图像增强算法提高边缘灰度的对比度,使用归一化互相关算法去除不均匀光照的影响,采用多级模板匹配方法提高计算速率和检测准确率。设计并实现了基于嵌入式视觉的零件状态检测系统,方便快速生成零件模板,完成视觉系统与控制设备的通信。测试结果表明,系统能进行多种零件的状态判别,具有低成本、模块化、高准确度等优点,适合工业现场使用。

基于嵌入式视觉的自动化扫描系统设计

由于传统设计系统自动化识别程序不完善,导致自动化扫描存在漏检情况,基于此,设计基于嵌入式视觉的自动化扫描系统。在硬件上,基于嵌入式视觉,选择VLP-16-HI-RES三维激光雷达,K3D155三维激光扫描传感器,设计传感器芯片电路。在软件上,选择单独描述符,设计自动化扫描识别程序,通过图像切割函数,建立图像传输指标,根据扫描指令集,设置自动化扫描功能。实验结果表明:在强光照和弱光照两种条件下,与传统系统对比自动化扫描车辆的漏检率,两种条件下此次设计的系统漏检率均为0,传统设计下的系统车辆漏检率在强光照下最高为10.37%,弱光照下最高为15.94%。由此可见,基于嵌入式视觉的自动化扫描系统更为优秀。

基于嵌入式视觉的摔倒警报系统设计与研究

年老体弱者如果在日常生活中摔倒,会受到如骨折等严重伤害,同时也可能是因为如中风等严重疾病发作引起。而此时他们可能已经失去自救能力,如果护理人不能够及时发现并救助,摔倒者病情会迅速恶化甚至危及生命。为此,设计了一种基于嵌入式视觉的摔倒报警系统。首先介绍了该系统的总体设计方案,重点描述了基于Zynq-7000的集图像采集、处理、传输于一体的智能相机的设计。提出了采用最小外接矩形长宽比和人体质心垂直速率变化相结合的算法对摔倒姿态进行识别,仿真证明该算法是可行的。该系统对及时发现年老体弱者跌倒并给予及时救助,提高他们的日常生活安全性具有重要的意义。

高性能DSP的嵌入式视觉应用:借机器一双慧眼

嵌入式视觉被评为十大改变2012年消费电子市场的技术之一,根据IMS Research预计,到2015年,将有35亿电子系统有视觉能力。本文分析了用ADI的DSP实现嵌入式视觉的部分应用案例。

莱迪思将低功耗CrossLink-NX系列FPGA拓展至智能和嵌入式视觉系统

莱迪思半导体公司宣布,CrossLink-NX-17 FPGA现已上市。CrossLink-NX FPGA具有低功耗、小尺寸、可靠、高性能的特征,可助力计算、工业、汽车和消费电子领域的开发人员构建创新嵌入式视觉和AI解决方案。拥有17K逻辑单元的CrossLink-NX-17是CrossLink-NX系列的第二款器件。拥有39K逻辑单元的CrossLink-NX-40自2019年起就已实现量产。

基于FPGA嵌入式视觉的导盲算法实现

项目在FPGA平台上实现了一系列的图像处理算法。通过HSV色彩空间上的阈值判断、形态学滤波等方法识别出了一张图像中的盲道成分,加以一系列的分析判断,得出盲道的详细情况,并充分发挥了FPGA的高速并行特点,实现了每秒千帧的超高速处理。结果表明,系统具有很高的识别准确度与很强的环境适应性。

嵌入式视觉系统的以太网通信拥塞控制改进

针对嵌入式机器视觉系统局域以太网中,在大量图像数据传输过程中出现拥塞时,存在发送效率低和RTO滞后RTT导致伪重传问题,为此提出一种基于改进型LwIP的嵌入式视觉系统以太网防拥塞方法。Cortex-A8、μC/OS-III和LwIP嵌入式机器视觉系统以太网通信平台,确保网络任务的实时响应;引入New Reno算法改进LwIP中TCP数据包的拥塞控制机制,克服了一个发送窗口多个数据包丢失引起多次快速恢复或慢启动对发送效率的影响;引入归一化最小均方误差算法改善在RTT变化较大时RTO估值不精确的情况,减少TCP数据传输中的伪重传。实验结果表明,该方法能够更加有效地处理数据包丢失问题,有效减少了数据伪重传,并且数据吞入量提高了约12.3%。

新思科技全新嵌入式视觉处理器IP核为人工智能芯片提供业界领先的35 TOPS性能

-配备深度神经网络加速器的Design Ware ARC EV7x视觉处理器为人工智能密集型边缘应用带来超过4倍的性能提升Design Ware EV7x视觉处理器的异构多核架构集成了矢量DSP、矢量FPU和神经网络加速器,为众多当前和新兴的人工智能应用提供可扩展的解决方案深度神经网络加速器包括多达14080个MAC,以满足智能汽车和消费者应用的高性能需求.

基于可编程处理器上的嵌入式视觉软件技术优化

以高端DSP处理器为核心的可编程架构在过去多年已经逐渐成为大批量嵌入式视觉应用的首选平台。它们的可编程性从根本上解决了视觉算法种类繁多所带来的问题。本文概述了在可编程体系结构上实现的嵌入式视觉应用的高影响力软件技术,例如使用定点算法,减少数据传输和缓存友好的编程,根据经验,这些技术都是实时嵌入式视觉系统的关键推动力。

图像传感器推动嵌入式视觉技术发展

新的成像应用正在蓬勃发展,嵌入式视觉比以往任何时候都更普及,作为一种“轻量”视觉技术,可以用于包括OEM、系统集成商和标准相机厂商等不同类型企业,其市场推动力来自尺寸、重量、功耗和成本。论述了这些因素对嵌入式视觉系统的影响,并提出解决方案,简要介绍了来自Teledyne e2v的一些重要产品,为嵌入式视觉系统的设计提供参考。

融合嵌入式视觉与激光测距的机器人自主避障方法

多数智能服务机器人处于敞开式环境中,在复杂部署工作环境中障碍物的位置及形状均具有较强的随机性,导致机器人为完成避障出现路径重复、收敛速度偏慢的问题。为此,提出融合嵌入式视觉与激光测距的机器人自主避障方法。构建激光测距和嵌入式视觉传感器模型,利用尺度不变特征变换算法,提取并融合数据特征;当机器人感知到前方有障碍物时,首先考虑左侧通行,若机器人位置靠右,则根据最优路径选择右侧通行;基于通行规则设定合适的转向角度,保证机器人成功躲避障碍物。实验测试结果证明,所提方法可精准感知机器人周围环境中的障碍物,且避障路径合理,收敛速度更快。

一种基于小波稀疏确定性简单二值观测矩阵的嵌入式视觉压缩传感实现方法

由于传统的高斯矩阵、伯努利矩阵等观测矩阵在硬件上实现比较困难,观测矩阵的构建一直是压缩传感硬件实现的关键问题之一,因此,选择构建合适的观测矩阵,对于嵌入式视觉压缩传感的实现具有重要的意义。针对嵌入式视觉压缩传感实现的可行性与实时性,通过稀疏变换矢量化和伪随机序列观测矩阵构建相关研究,结合小波稀疏起主要作用系数数据位于矢量矩阵前侧,提出了一种基于小波稀疏的确定性简单二值观测矩阵的压缩传感实现方法。对于N×N图像,在观测值M下,观测矩阵由M个不相同的N维基向量组成,每个向量只有一个元素1,其余元素为0,结构简单,在实际观测测量中省去了积分电路,提高了效率,而且每个基向量可以根据元素1的位置,按照1-M确定性排列,构成确定性观测矩阵,便于观测矩阵存储和压缩传感恢复重构。

基于嵌入式Linux的视觉伺服系统设计

文中通过分析目前视觉伺服系统的实现方式,建立了一个基于嵌入式Linux的视觉伺服系统,用于室内相对简单背景下的运动目标识别与跟踪。文中首先完成了开源视觉库OpenCV到嵌入式Linux的移植,搭建了硬件平台、软件平台及交叉编译环境。基于OpenCV完成图像处理,采用图像的区域特征-不变矩作为特征信息,实现运动目标的形状识别。通过判断目标轮廓在图像中的像素偏移量,计算出机械臂末端的空间坐标值,调节机械臂各关节角度,通过不断逼近的方式,实现对运动目标的跟踪。实验证明,文中设计的视觉伺服系统能够实现设定的目标。

基于嵌入式机器视觉的水稻秧盘育秧图像无线传输系统

杂交稻机械化秧盘精密播种育秧过程中需要人工实时监测,以保证秧盘播种性能,为解决传统人工长时间户外、低效的监测方式,设计了基于嵌入式机器视觉的水稻秧盘育秧图像无线传输系统。系统由嵌入式开发平台、无线Wi Fi网关、高清网络摄像头、红外传感模块、远程服务器等组成。嵌入式开发平台采用Tiny4412开发板,并在其上移植Linux系统、摄像头驱动、GPIO口驱动;采用Qt开发工具,完成图像采集、实时显示,并设计出友好的人机交互界面;利用Jpeglib静态库对图像进行数据压缩;利用无线Wi Fi局域网、嵌入式系统和远程服务器按照规定的协议通过Socket通信进行数据传输。远程服务器基于Netty框架对采集到的图像数据进行校验、实时显示和保存。试验结果表明,不同分辨率图像的无线传输速率均满足育秧流水线实时作业要求,JPEG格式的图像经过数据压缩,其传输速率大大提高;嵌入式采集终端能够稳定采集播种秧盘图像,并成功地上传到服务器,网络平均丢包率为0.23%,误码率为0.23%。