基于嵌入式Jetson TX2的高原鼠兔目标检测

高原鼠兔目标检测是对其进行种群数量统计及种群动态变化研究的基础,但传统的高原鼠兔智能监测系统的目标检测硬件设备大,在抽样采集数据时移动性较弱。针对此问题,提出一种可部署到便携式设备Jetson TX2上的基于改进YOLOv3模型的目标检测方法。该方法将YOLOv3的主干网络DarkNet53替换成MobileNet,并利用剪枝、微调等方法构建轻量级高原鼠兔目标检测模型,再将轻量化模型部署到Jetson TX2上。自然场景下高原鼠兔目标检测实验的结果表明:所提方法的检测平均精度(AP)、每秒检测帧数(FPS)和模型大小分别为97.36%、36和14.88 MB,优于主干网络替换后未裁剪的YOLOv3模型及原始YOLOv3模型,相较于原YOLOv3模型,AP在仅下降1.05个百分点的情况下,FPS提升了620%,模型大小压缩了93.67%,能够部署在便携设备上进行实时且准确的高原鼠兔目标检测。

基于YOLO v5-Jetson TX2的秸秆覆盖农田杂草检测方法

玉米苗期杂草的实时检测和精准识别是实现精准除草和智能农业的基础和前提。针对保护性耕作模式地表环境复杂、杂草易受地表秸秆残茬覆盖影响、现有算法检测速度不理想等问题,提出一种适用于Jetson TX2移动端部署的秸秆覆盖农田杂草检测方法。运用深度学习技术对玉米苗期杂草图像的高层语义信息进行提取与分析,构建玉米苗期杂草检测模型。在YOLO v5s模型的基础上,缩小网络模型宽度对其进行轻量化改进。为平衡模型检测速度和检测精度,采用TensorRT推理加速框架解析网络模型,融合推理网络中的维度张量,实现网络结构的重构与优化,减少模型运行时的算力需求。将模型迁移部署至Jetson TX2移动端平台,并对各模型进行训练测试。检测结果表明,轻量化改进YOLO v5ss、YOLO v5sm、YOLO v5sl模型的精确率分别为85.7%、94%、95.3%,检测速度分别为80、79.36、81.97 f/s,YOLO v5sl模型综合表现最佳。在Jetson TX2嵌入式端推理加速后,YOLO v5sl模型的检测精确率为93.6%,检测速度为28.33 f/s,比模型加速前提速77.8%,能够在保证检测精度的同时实现玉米苗期杂草目标的实时检测,为硬件资源有限的田间精准除草作业提供技术支撑。

基于Jetson TX2的路面病害检测应用

针对目前路面病害检测方法存在落地应用难与成本高的问题,基于低功耗嵌入式平台Jetson TX2对深度学习路面病害检测模型进行落地应用。首先采用YOLOv5目标检测网络训练路面病害目标检测模型;进一步使用TensorRT方法进行模型优化与引擎模型转换;最后将路面病害检测模型部署到嵌入式平台Jetson TX2。在实际路面环境中进行实验,结果表明:在Jetson TX2嵌入式平台,对比选择兼顾准确率与检测速度的YOLOv5s作为路面病害目标检测模型,引擎模型推断精度达到了90.5%,且推理速度较原模型提高了35.1%,检测速度达到了30.7 ms,漏检率仅为0.13%。基于Jetson TX2的路面病害检测达到了准确且实时的检测效果,并有效地降低路面病害检测成本,实现了深度学习模型的落地应用,提高了路面病害检测的效率与自动化程度。

基于Jetson TX2的SAR船只目标检测实现

深度学习技术在SAR(Synthetic Aperture Radar)船只目标检测领域应用越来越广泛。然而,移动平台(机载/星载)有限的资源限制了基于深度学习的SAR船只目标检测技术应用。为了促进深度学习技术在移动平台的应用,本文开展了基于改进YOLOv2的SAR目标检测算法Jetson TX2嵌入式平台实现研究。设计了基于两个Jetson TX2嵌入式平台的实时SAR船只目标检测系统,通过两个Jetson TX2嵌入式平台协同工作有效提高了系统的处理能力,同时采用了以太网数据传输方式,保证了主机与Jetson TX2嵌入式平台的高速数据交互。

基于Jetson TX2的老人跌倒监护设计

为减少“空巢老人”因发生跌倒而遭受的后继伤害,助力人工智能在居家环境中的应用落地,文中提出一种基于通用边缘智能平台的老人跌倒监护设计。该设计以边缘智能平台为核心,实时采集高清摄像头的视频数据,并对视频帧进行运动目标提取和人体跌倒姿态识别,在跌倒发生时能实时给监护人发送告警信息,以便获得及时救助。同时,在Jetson TX2平台上构建机器视觉开发环境,利用Darknet深度学习框架和预训练权重模型实现人体识别和跌倒监测,基于OpenCV和腾讯云短信技术分别实现本地端图形方式和远程端短信方式的报警功能。测试结果表明,文中的设计方案能够实时、精确地监测跌倒异常,无需佩戴,适合老人的使用习惯,且具有实现简单、易于部署的优点,可为跌倒监护提供一种低成本的方案。

基于NVIDIA Jetson TX2的实时交通信号灯检测算法

提出了一种基于NVIDIA Jetson TX2的实时交通信号灯检测算法,首先,利用车道线检测来去除原始图像中的部分背景,并在此基础上使用自适应Canny边缘检测方法提取出交通信号灯的RoI(感兴趣区域)。为解决大多数深度学习网络对小目标检测效果较差的问题,设计了一种小型但高效卷积神经网络TlNet来对交通信号灯进行分类。实验结果表明,该算法可以在NVIDIA Jetson TX2嵌入式平台上对各种路况下的交通信号灯均取得较好的处理效果,实时性达到34 fps。

基于NVIDIA Jetson TX2的道路场景分割

图像语义分割是计算机视觉领域重要研究方向之一,其中基于深度学习的语义分割相较于传统分割算法更为高效可靠,可应用于交通监控、自动驾驶等领域的场景理解阶段.但复杂的分割网络在嵌入式平台上的推理速度较低,难以进行实际应用.因此针对交通监控、无人驾驶等应用背景,在嵌入式平台NVIDIA Jetson TX2上,采用基于深度卷积编解码器结构的图像分割网络,对道路场景进行语义分割,并基于NVIDIA的推理加速器TensorRT2,完成网络模型简化、网络自定义层添加与CUDA并行优化,实现了对网络推理阶段的加速.实验结果表明,加速引擎在TX2上的推理速度约为原模型的10倍,为复杂分割网络在嵌入式平台上的应用提供了支持.

Jetson TX2平台的最小应用系统硬件设计

介绍了基于JetsonTX2模块的最小应用系统的整体设计过程,针对硬件电路设计提出了可行性方案,概述了电路设计中关键器件选型与设计注意事项,为后续应用开发提供了一个良好的平台。

基于Jetson TX2的路面裂缝检测系统设计

针对目前采用深度学习框架的路面裂缝检测方法存在落地应用难、成本高与效率低等问题,设计了基于Jetson TX2的路面裂缝检测系统。通过YOLOv5网络识别路面裂缝,使用U-Net网络对裂缝目标进行分割,并根据分割结果进行路面健康评价;其次,利用TensorRT方法优化深度学习模型,提高推理速度;最后,结合DeepStream框架设计路面视频流分析系统并部署到Jetson TX2嵌入式平台。实验结果表明:路面裂缝目标检测模型对横向、纵向和网状裂缝3种路面常见路面裂缝的检测精度均达到了90%以上,且模型优化后的推理速度为30.7ms/帧,速率提升35.1%;最后经过验证,Jetson TX2嵌入式平台的裂缝漏检率较低且满足路面裂缝检测的实时性,能够降低路面裂缝检测的成本,给出相应的维修建议,提高路面裂缝检测效率与自动化程度。

基于JetsonTX2处理器的星载操作系统设计与验证

面向高可靠、高性能、生态优良、自主可控的星载操作系统需求,文章基于英伟达人工智能升级版(Jetson TX2)处理器对Linux操作系统进行了空间环境下可靠启动、高速数据传输、智能应用框架的改进设计。在可靠启动方面,设计了Linux内核和文件系统4份冗余结构,实现了操作系统的可靠启动和数据自主恢复策略。在高速数据传输方面,开展了高速串行传输接口(PCIE)数据传输的双缓冲区设计,改进了高速接口数据的传输性能。在好用易用方面,设计了智能应用管理框架,实现了App上注及App全生命周期管理模式。经过在Jetson TX2硬件平台测试验证,结果表明:改进后的星载操作系统支持内核、文件系统故障情况的可靠启动及主动恢复,PCIE高速数据传输速率大幅提升,智能应用管理支持128种不同功能App上注及加载运行,可为天基高速计算系统应用设计提供参考。

基于Jetson-TX2的输电线路设备实时巡检系统

针对输电线路及设备巡检效率低的问题,设计了一种基于Jetson-TX2的输电线路设备实时巡检系统。该系统包括基于YOLO v3算法的Jetson-TX2主控模块和云台相机控制模块。Jetson-TX2主控模块通过TensorRT加速库,对YOLO v3算法模型进行优化加速,完成视频流目标实时识别与定位;采用PID算法控制云台(PTZ)相机,实现设备的高清图像采集。该系统对输电线路设备整体识别准确率达95%,可实现对视频流的实时检测,有效提高输电线路巡检效率。

基于机器视觉和TX2的牛生长参数测量系统设计

针对人工牛生长参数测量工作强度大的问题,提出一种基于嵌入式AI的牛体尺体重自动测量系统。首先,摄像头获取牛只图像,利用YOLOv5检测牛体特征部位,边缘检测算法获取牛体轮廓,三点圆弧曲率法提取体尺测点,代入公式计算体尺。其次,采用STM32体重秤和RFID耳标读卡器获取体重和身份数据并通过RS-485传输。最后,搭建应用系统并连接MySQL提供信息管理综合服务。系统利用TensorRT部署至TX2,可实现体尺测量帧率23帧。经验证,体重平均相对误差1.01%,体长、体高、体斜长平均相对误差1.34%、1.60%、2.29%,满足牧场实际测量的准确性和实用性需求。

基于TX2的改进的YOLOv5口罩佩戴检测算法

佩戴口罩是公共场所防疫的重要措施,如何高效、智能地检测口罩的佩戴具有重要的意义。本文采用了一种基于YOLOv5改进的轻量级网络YOLOv5_SN,将其部署在嵌入式平台TX2上,实现了佩戴口罩的实时检测。该模型使用ShuffleNetV2网络代替YOLOv5的特征提取网络,通过深度卷积操作和通道随机混合策略,减少模型参数和计算的数量,最后缩减特征融合层的卷积核数量,进一步压缩模型。实验结果表明,改进后的网络参数量相比YOLOv5降低了93.7%,模型大小减少了91.2%,而mAP@0.5只降低了3.6%,因此,该算法可方便地部署在嵌入式平台上。

基于嵌入式平台的车前红外行人检测方法研究

针对当前目标检测方法普遍需要高功耗GPU计算平台、易受光照条件影响的问题,提出2种基于嵌入式平台的车前红外行人检测方法:将训练好的YOLOv4-tiny模型使用英伟达开源推理加速库TensorRT进行优化,部署于嵌入式平台;以YOLOv4-tiny模型作为算法的基本架构,结合视觉注意力机制和空间金字塔池化思想,同时增加1个YOLO层,提出YOLOv4-tiny+3L+SPP+CBAM网络模型。将2种方法在FLIR数据集上进行训练与测试,并在Jetson TX2嵌入式平台上进行试验,试验结果表明:相较于原始网络YOLOv4-tiny,所提出的第1种方法平均准确率降低0.54%,推理速度提升86.43%(帧速率达26.1帧/s);提出的第2种方法平均准确率提升16.21%,推理速度降低22.86%(帧速率达10.8帧/s)。2种方法均可兼顾准确率和实时性,能够满足车前红外行人检测的需要。

基于城市作战的隐匿小目标识别技术

随着人工智能技术的飞速发展,能够自动识别、锁定和打击目标的智能化武器系统逐渐出现,代替人类执行简单的决策命令,高精度目标识别算法是智能化武器精确打击的前提。目前城市作战越来越受到世界各军事强国的高度重视。城市战场态势瞬息万变,复杂的伪装技术、目标遮挡和恶劣环境条件,给智能目标识别带来严峻的挑战。以当前先进的目标识别模型YOLOv5为基础模型,提出了一种可以多尺度学习空间和通道信息的卷积注意力模块MS-CBAM,允许每个神经元根据输入信息自适应地调整其感受野大小。实验结果表明,在国际公开COCO数据集和自建数据集Long-distance PC Dataset上mAP分别提升了0.5%和2%。训练好的轻量级模型经过TensorRT加速部署在NVIDIA JETSON TX2,实时检测帧为20 ms,满足实时检测要求。该系统也可以作为智能武器系统的一个模块,对自主型武器和无人作战系统具有一定的借鉴意义。

基于迁移学习的永磁除铁器输送带断裂检测

为解决现有的永磁自卸除铁器输送带断裂检测方法不精确、检测装置易损坏、安装复杂的问题,提出一种基于迁移学习的视频检测方法。首先采用模板匹配技术选取弃铁输送带的特征图像,得到源图像中的ROI区域;然后通过对图片进行随机旋转、裁剪、亮度变换扩充数据量,并自制了数据集;随后基于Fine Tuning迁移学习方法,使用Pytorch架构,利用Python语言对ResNet18网络模型进行训练,解决了因样本数量不足、学习效果差的问题。实验结果表明:弃铁输送带断裂检测的准确率可达93.74%,图像处理速度为17帧/s;将训练好的ResNet18网络模型布署到Jetson TX2嵌入式开发平台,当检测到故障时可现场实时报警;通过TCP/IP协议与监控终端系统进行数据通信,进行数据与输送带图像的实时显示,最终构建弃铁输送带断裂检测系统。

基于轻量化网络与嵌入式系统的喷码检测

针对食品饮料等复杂包装上喷码质量检测的准确率不高与速度慢等问题,提出了一种基于Ghost-YOLO轻量化网络与嵌入式平台的喷码质量检测方法。网络以YOLOv5为基础,采用了幻影模块(GM)对卷积层进行降维,模型参数减少25%。多分类目标检测任务的后处理采用位置重复抑制(PDS)方法,通过对所有类别同时采用非极大值抑制(NMS),进一步提高检测精度。最后,利用所提出的改进自训练方法对模型进行训练,并将所提检测方法部署于嵌入式设备中,实现了对喷码质量的实时检测。实验结果表明,所提检测方法在满足实时性的要求下,对喷码字符检测的精确度和召回率分别达到了100%和99.99%。

改进YOLOv5的船舶检测算法及嵌入式实现

针对嵌入式平台资源受限条件下的高准确率、轻量化实时船舶目标检测需求,提出基于改进YOLOv5的船舶目标检测方法。采用GhostNet网络结构,对YOLOv5的backbone主干网络层整体架构进行压缩,减少网络的复杂度和计算量,实现算法的轻量化设计;在C3模块中引入了注意力机制(Squeeze-and-Excitation,SENet),加强对船舶目标的特征感知;使用更加平滑的Mish函数改进YOLOv5的Swish激活函数,使得特征信息可以在更深的网络层流动。实验结论表明,提出的方法将YOLOv5模型参数量压缩27%,部署到嵌入式AI推理平台NVIDIA Jetson TX2可以实现高速检测,检测帧率为22帧/秒,平均检测精度mAP@0.5∶0.95高达97.2%,相比YOLOv5提高了3.5%,表明该算法效果显著,满足实时高精度检测。

一种基于深度可分离卷积的实时多人姿态估计

人体姿态估计是计算机视觉领域中的一个重要研究方向,用来实现从图像或视频中检测人体若干关键点位置。Open Pose模型是一种基于卷积神经网络的多人姿态估计方法,其主要缺点是所需运算量较大且无法在嵌入式设备上实时实现。为了使Open Pose模型能够在嵌入式终端Jetson TX2上快速运行,实现实时多人姿态估计,针对传统Open Pose模型进行改进,一是优化减少了Open Pose模型重复的阶段数,二是把其中的一些标准卷积层替换为深度可分离卷积层。分析和仿真结果表明,使用深度可分离卷积改进的Open Pose模型可以在保留较高精度的同时显著减少计算量。改进的Open Pose模型平均精度AP值下降了5.3%,但运行速度提升了130%,从而使改进Open Pose模型在计算资源相对较少的嵌入式AI计算设备上能够实现实时多人姿态估计。

基于嵌入式GPU的汗孔识别算法并行设计

基于NVIDIA Jetson Tx2平台,结合Open CV计算机视觉库与计算统一设备架构(CUDA)程序设计,对汗孔特征提取与匹配算法实现了并行设计。实验结果表明:并行设计算法能够实现最多180倍的加速,推动指纹匹配算法在嵌入式系统领域的应用。