基于嵌入式Jetson TX2的高原鼠兔目标检测

高原鼠兔目标检测是对其进行种群数量统计及种群动态变化研究的基础,但传统的高原鼠兔智能监测系统的目标检测硬件设备大,在抽样采集数据时移动性较弱。针对此问题,提出一种可部署到便携式设备Jetson TX2上的基于改进YOLOv3模型的目标检测方法。该方法将YOLOv3的主干网络DarkNet53替换成MobileNet,并利用剪枝、微调等方法构建轻量级高原鼠兔目标检测模型,再将轻量化模型部署到Jetson TX2上。自然场景下高原鼠兔目标检测实验的结果表明:所提方法的检测平均精度(AP)、每秒检测帧数(FPS)和模型大小分别为97.36%、36和14.88 MB,优于主干网络替换后未裁剪的YOLOv3模型及原始YOLOv3模型,相较于原YOLOv3模型,AP在仅下降1.05个百分点的情况下,FPS提升了620%,模型大小压缩了93.67%,能够部署在便携设备上进行实时且准确的高原鼠兔目标检测。

基于YOLO v5-Jetson TX2的秸秆覆盖农田杂草检测方法

玉米苗期杂草的实时检测和精准识别是实现精准除草和智能农业的基础和前提。针对保护性耕作模式地表环境复杂、杂草易受地表秸秆残茬覆盖影响、现有算法检测速度不理想等问题,提出一种适用于Jetson TX2移动端部署的秸秆覆盖农田杂草检测方法。运用深度学习技术对玉米苗期杂草图像的高层语义信息进行提取与分析,构建玉米苗期杂草检测模型。在YOLO v5s模型的基础上,缩小网络模型宽度对其进行轻量化改进。为平衡模型检测速度和检测精度,采用TensorRT推理加速框架解析网络模型,融合推理网络中的维度张量,实现网络结构的重构与优化,减少模型运行时的算力需求。将模型迁移部署至Jetson TX2移动端平台,并对各模型进行训练测试。检测结果表明,轻量化改进YOLO v5ss、YOLO v5sm、YOLO v5sl模型的精确率分别为85.7%、94%、95.3%,检测速度分别为80、79.36、81.97 f/s,YOLO v5sl模型综合表现最佳。在Jetson TX2嵌入式端推理加速后,YOLO v5sl模型的检测精确率为93.6%,检测速度为28.33 f/s,比模型加速前提速77.8%,能够在保证检测精度的同时实现玉米苗期杂草目标的实时检测,为硬件资源有限的田间精准除草作业提供技术支撑。

基于机器视觉和TX2的牛生长参数测量系统设计

针对人工牛生长参数测量工作强度大的问题,提出一种基于嵌入式AI的牛体尺体重自动测量系统。首先,摄像头获取牛只图像,利用YOLOv5检测牛体特征部位,边缘检测算法获取牛体轮廓,三点圆弧曲率法提取体尺测点,代入公式计算体尺。其次,采用STM32体重秤和RFID耳标读卡器获取体重和身份数据并通过RS-485传输。最后,搭建应用系统并连接MySQL提供信息管理综合服务。系统利用TensorRT部署至TX2,可实现体尺测量帧率23帧。经验证,体重平均相对误差1.01%,体长、体高、体斜长平均相对误差1.34%、1.60%、2.29%,满足牧场实际测量的准确性和实用性需求。

基于NVIDIA TX2的隔离患者在线表情监测系统

针对新冠疫情及人口老龄化导致我国医疗资源紧缺的问题,基于NVIDIA TX2智能开发套件设计出一套针对隔离患者的在线表情监测系统,主要包含了画面采集模块、基于人脸关键点的表情识别功能、音频及LED报警装置、UI界面效果展示以及Web端视频共享等功能。该系统可以代替医护人员对隔离患者进行看护,既节省了医疗资源,又能帮助医生及时准确地察觉病人病情变化,具有使用与推广价值。

基于Jetson TX2的路面病害检测应用

针对目前路面病害检测方法存在落地应用难与成本高的问题,基于低功耗嵌入式平台Jetson TX2对深度学习路面病害检测模型进行落地应用。首先采用YOLOv5目标检测网络训练路面病害目标检测模型;进一步使用TensorRT方法进行模型优化与引擎模型转换;最后将路面病害检测模型部署到嵌入式平台Jetson TX2。在实际路面环境中进行实验,结果表明:在Jetson TX2嵌入式平台,对比选择兼顾准确率与检测速度的YOLOv5s作为路面病害目标检测模型,引擎模型推断精度达到了90.5%,且推理速度较原模型提高了35.1%,检测速度达到了30.7 ms,漏检率仅为0.13%。基于Jetson TX2的路面病害检测达到了准确且实时的检测效果,并有效地降低路面病害检测成本,实现了深度学习模型的落地应用,提高了路面病害检测的效率与自动化程度。

基于TX2的改进的YOLOv5口罩佩戴检测算法

佩戴口罩是公共场所防疫的重要措施,如何高效、智能地检测口罩的佩戴具有重要的意义。本文采用了一种基于YOLOv5改进的轻量级网络YOLOv5_SN,将其部署在嵌入式平台TX2上,实现了佩戴口罩的实时检测。该模型使用ShuffleNetV2网络代替YOLOv5的特征提取网络,通过深度卷积操作和通道随机混合策略,减少模型参数和计算的数量,最后缩减特征融合层的卷积核数量,进一步压缩模型。实验结果表明,改进后的网络参数量相比YOLOv5降低了93.7%,模型大小减少了91.2%,而mAP@0.5只降低了3.6%,因此,该算法可方便地部署在嵌入式平台上。

基于Jetson-TX2的输电线路设备实时巡检系统

针对输电线路及设备巡检效率低的问题,设计了一种基于Jetson-TX2的输电线路设备实时巡检系统。该系统包括基于YOLO v3算法的Jetson-TX2主控模块和云台相机控制模块。Jetson-TX2主控模块通过TensorRT加速库,对YOLO v3算法模型进行优化加速,完成视频流目标实时识别与定位;采用PID算法控制云台(PTZ)相机,实现设备的高清图像采集。该系统对输电线路设备整体识别准确率达95%,可实现对视频流的实时检测,有效提高输电线路巡检效率。

TX2型超高速X射线胶片的特性

中物院流体物理研究所与中科院理化技术研究所联合研制出了TX2型超高速X射线胶片。介绍了其特点以及感光性能测试结果。测试表明,TX2胶片的感光度大于ISO1600,分辨力大于80 Lp/mm,性能、质量稳定,是一种有较好应用前景的特种X射线胶片。

基于NVIDIA Jetson TX2的道路场景分割

图像语义分割是计算机视觉领域重要研究方向之一,其中基于深度学习的语义分割相较于传统分割算法更为高效可靠,可应用于交通监控、自动驾驶等领域的场景理解阶段.但复杂的分割网络在嵌入式平台上的推理速度较低,难以进行实际应用.因此针对交通监控、无人驾驶等应用背景,在嵌入式平台NVIDIA Jetson TX2上,采用基于深度卷积编解码器结构的图像分割网络,对道路场景进行语义分割,并基于NVIDIA的推理加速器TensorRT2,完成网络模型简化、网络自定义层添加与CUDA并行优化,实现了对网络推理阶段的加速.实验结果表明,加速引擎在TX2上的推理速度约为原模型的10倍,为复杂分割网络在嵌入式平台上的应用提供了支持.

基于Jetson TX2的SAR船只目标检测实现

深度学习技术在SAR(Synthetic Aperture Radar)船只目标检测领域应用越来越广泛。然而,移动平台(机载/星载)有限的资源限制了基于深度学习的SAR船只目标检测技术应用。为了促进深度学习技术在移动平台的应用,本文开展了基于改进YOLOv2的SAR目标检测算法Jetson TX2嵌入式平台实现研究。设计了基于两个Jetson TX2嵌入式平台的实时SAR船只目标检测系统,通过两个Jetson TX2嵌入式平台协同工作有效提高了系统的处理能力,同时采用了以太网数据传输方式,保证了主机与Jetson TX2嵌入式平台的高速数据交互。

基于NVIDIA TX2模块的双目视觉信号采集系统设计

针对汽车零配件胶体三维信息检测面临的缺失高帧率、采集实时性的问题,设计了一套基于嵌入式模块的双目视觉信号采集系统。该系统以NVIDIA TX2为核心,在Linux系统下控制4路板级相机采集图像,达到实时控制其中2路相机进行采集、处理、发送的效果。测试表明,该系统体积小,方便移动,处理、传输2路相机中心线速度最高可达140 fps,为PC机后续实时处理提供了保障,具有较好的实用价值。

基于JetsonTX2处理器的星载操作系统设计与验证

面向高可靠、高性能、生态优良、自主可控的星载操作系统需求,文章基于英伟达人工智能升级版(Jetson TX2)处理器对Linux操作系统进行了空间环境下可靠启动、高速数据传输、智能应用框架的改进设计。在可靠启动方面,设计了Linux内核和文件系统4份冗余结构,实现了操作系统的可靠启动和数据自主恢复策略。在高速数据传输方面,开展了高速串行传输接口(PCIE)数据传输的双缓冲区设计,改进了高速接口数据的传输性能。在好用易用方面,设计了智能应用管理框架,实现了App上注及App全生命周期管理模式。经过在Jetson TX2硬件平台测试验证,结果表明:改进后的星载操作系统支持内核、文件系统故障情况的可靠启动及主动恢复,PCIE高速数据传输速率大幅提升,智能应用管理支持128种不同功能App上注及加载运行,可为天基高速计算系统应用设计提供参考。

基于Jetson TX2的老人跌倒监护设计

为减少“空巢老人”因发生跌倒而遭受的后继伤害,助力人工智能在居家环境中的应用落地,文中提出一种基于通用边缘智能平台的老人跌倒监护设计。该设计以边缘智能平台为核心,实时采集高清摄像头的视频数据,并对视频帧进行运动目标提取和人体跌倒姿态识别,在跌倒发生时能实时给监护人发送告警信息,以便获得及时救助。同时,在Jetson TX2平台上构建机器视觉开发环境,利用Darknet深度学习框架和预训练权重模型实现人体识别和跌倒监测,基于OpenCV和腾讯云短信技术分别实现本地端图形方式和远程端短信方式的报警功能。测试结果表明,文中的设计方案能够实时、精确地监测跌倒异常,无需佩戴,适合老人的使用习惯,且具有实现简单、易于部署的优点,可为跌倒监护提供一种低成本的方案。

一种基于TX2平台的改进YOLOv3红绿灯检测算法

针对采用嵌入式平台TX2检测红绿灯时存在存储容量小、算力有限的问题,提出一种改进YOLOv3红绿灯检测算法。从获取最优锚框尺度、裁减网络大尺度检测分支、模型剪枝压缩3个方面对YOLOv3算法进行改进,在自制数据集下进行模型训练,在离线数据测试中,模型的平均精度提高了34%,参数量压缩至11.9%,帧速率可达18帧/s,在实际环境测试中,对不规则摆放的园区红绿灯以及10 km实际路段下红绿灯的正确识别率分别为94.75%、92.7%。

基于Nvidia TX2的车载智能预警系统

随着科学技术的不断发展,人们的生活中已经充满了智能设备,这些设备为我们带来便利的同时,也为我们的安全带来了更多的保障。利用Nvidia TX2开发板和传感器完成了一类车载智能预警系统,可以从根源上杜绝酒后驾驶和疲劳驾驶的发生。系统的结构设计包含了画面采集模块、酒精检测传感器模块、基于Dlib的人脸检测模块和LED及报警模块等,在行驶前对驾驶员身份和呼出气体酒精浓度进行检测,在行驶过程中持续检测驾驶员疲劳度。该系统成本较低,体积较小,易于安装和使用且识别精度较高,具有较高的使用和推广价值。

基于TX2的嵌入式无人智能监测系统设计与实现

为解决诸如"空巢老人"远程监测的难题,改善现有监测系统存在的时效性及智能性等方面欠缺,提出一款基于TX2的嵌入式无人智能监测系统。该系统以图像微型处理器为控制核心,实时处理CMOS图像传感器采集的图像数据,对图像中被监测人的体态及面部表情进行识别,对跌倒、面部表情痛苦等危险异常情况进行报警。在嵌入式平台上采用Tornado+WSGI+Apache技术搭建Web服务器,通过4G技术Android终端可以远程连接嵌入式平台实时获取报警信息及监控视频数据,并根据需要远程调节监测终端运动及摄像头角度,以达到360°无盲区监测。经测试,该系统工作稳定,具有操作简单、稳定可靠、智能监测等特点。

Jetson TX2平台的最小应用系统硬件设计

介绍了基于JetsonTX2模块的最小应用系统的整体设计过程,针对硬件电路设计提出了可行性方案,概述了电路设计中关键器件选型与设计注意事项,为后续应用开发提供了一个良好的平台。

基于NVIDIA Jetson TX2的实时交通信号灯检测算法

提出了一种基于NVIDIA Jetson TX2的实时交通信号灯检测算法,首先,利用车道线检测来去除原始图像中的部分背景,并在此基础上使用自适应Canny边缘检测方法提取出交通信号灯的RoI(感兴趣区域)。为解决大多数深度学习网络对小目标检测效果较差的问题,设计了一种小型但高效卷积神经网络TlNet来对交通信号灯进行分类。实验结果表明,该算法可以在NVIDIA Jetson TX2嵌入式平台上对各种路况下的交通信号灯均取得较好的处理效果,实时性达到34 fps。

由专用集成电路TX2/RX2组成的遥控系统

本文介绍的遥控器具有5个通道,能多路同时工作,适合于车、船模型的遥控。遥控器的核心是两块大规模CMOS专用编、译码集成电路。该集成电路的工作电压低(2.5～5V),外围元件少,制作容易,调试简单,很适合业余爱好者制作。下面以车模为例,介绍其电路原理。 发射机 图1是发射机电路图,其中TX2及其周围电路组成编码器。TX2的引脚排列及内部框图如图2所示。K1、K2为两组接地的双刀多掷指令开关。R1、D1、C1、C2组成稳压电路,输出3V电压供IC1使用。R7为IC1的外接振荡电阻,配合内部电路产生时钟脉冲。K1、K2的不同接通方式,使TX2的⑧脚串行输出不同的编码脉冲。这些表征不同遥控指令的编码脉冲作为调制信号。

基于Jetson TX2的路面裂缝检测系统设计

针对目前采用深度学习框架的路面裂缝检测方法存在落地应用难、成本高与效率低等问题,设计了基于Jetson TX2的路面裂缝检测系统。通过YOLOv5网络识别路面裂缝,使用U-Net网络对裂缝目标进行分割,并根据分割结果进行路面健康评价;其次,利用TensorRT方法优化深度学习模型,提高推理速度;最后,结合DeepStream框架设计路面视频流分析系统并部署到Jetson TX2嵌入式平台。实验结果表明:路面裂缝目标检测模型对横向、纵向和网状裂缝3种路面常见路面裂缝的检测精度均达到了90%以上,且模型优化后的推理速度为30.7ms/帧,速率提升35.1%;最后经过验证,Jetson TX2嵌入式平台的裂缝漏检率较低且满足路面裂缝检测的实时性,能够降低路面裂缝检测的成本,给出相应的维修建议,提高路面裂缝检测效率与自动化程度。