基于Jetson Xavier Nx的智能驾驶员行为检测系统设计

据资料统计,有近90%的交通事故源于驾驶员的危险驾驶行为。人们对于驾驶员在行驶过程中低头、看手机、双手离开方向盘、视线未朝向前方、闭眼等危险驾驶行为的关注度仍未提高。文章采用Jetson Xavier NX、YOLOv5算法、百度AI平台实现对驾驶员行车过程中玩手机、抽烟、未系安全带、双手离开方向盘、视线未朝向前方、闭眼、打哈欠、低头等8种危险驾驶行为进行检测,并结合当下疫情加入口罩检测功能。利用语音技术合成危险行为提醒语音,实时播报。通过实验验证了该检测系统的可行性与实用性。

基于Jetson的视力保护系统

本设计以Jetson Xavier NX为主控模块,与测距模块、环境检测模块等结合实现了人眼与摄像头之间距离测量、人体与桌子边沿之间的距离测量、环境因素的检测等功能,从而全方位地保护使用者的视力。经过测试,该系统能够对使用者进行全方位的视力检测和提醒,有效保护人们的视力。

基于嵌入式AI设备的光伏电池片缺陷智能检测系统

针对光伏电池片易受材料、生产工艺等因素影响,产生诸多缺陷且检测难度高等问题,设计了一套以嵌入式AI设备Jetson Xavier NX为控制单元的智能检测分拣系统。该系统利用电致发光成像技术采集图像,选用以ResNet50为主干的Faster RCNN网络结构作为目标检测算法,并融入特征金字塔网络(FPN)提高网络对多尺度缺陷的特征表达能力。并采用六轴机械臂将各类残片分拣至指定区域。经实验测试,检测的平均精度为92.4%,能够满足实际生产需求。

基于混合注意力机制和云数据平台的蝗虫识别系统研究

为帮助农林业解决自然条件下蝗虫目标小、识别精度低、虫情数据掌握不及时的问题,减少农林业生产损失,现以深度学习为基础,提出一种改进的YOLOv4-tiny蝗虫目标识别模型。首先针对蝗虫目标小的特点,为提升模型在复杂背景下的细节特征提取能力和小目标识别能力,分别在加强特征提取网络的输入位置和第一次卷积结果输出位置添加混合注意力机制CBAM(convolutional block attention module);然后针对以往虫情识别无实时数据传输的问题,通过对模型的YOLO Head预测模块修改,嵌入云数据平台,实现模型对蝗虫虫情即时云端数据存储与解析功能;最后将改进后的模型移植到Jetson Xavier NX嵌入式设备,使用TensorRT加速神经网络的推理,设计了一套便携式蝗虫识别系统。试验结果表明,在自制数据集下,改进后的模型平均精度达到94.69%,在嵌入式设备上的实时检测速度达到28FPS,模型大小仅为23.6 MB。该系统的研发可为农林业蝗虫虫情识别提供新思路。

基于改进YOLOv4算法的轻量化网络设计与实现

在嵌入式设备上进行目标检测时易受能耗和功耗等限制,使得传统目标检测算法效果不佳。为此,对YOLOv4算法进行优化,设计YOLOv4-Mini网络结构,将其特征提取网络由CSPDarkNet53改为MobileNetv3-large并进行INT8量化处理,其中网络结构利用PW和DW卷积操作代替传统卷积操作以大幅减少计算量。采用SE模块为通道施加注意力机制,激活函数层运用h-swish非线性激活函数,在保证精度的情况下降低网络计算量。同时,通过量化感知训练将权重转为INT8类型,以实现模型轻量化,进一步降低网络参数量和计算量,从而在嵌入式设备上完成无人机数据集的目标检测任务。在NVIDIA Jetson Xavier NX设备上进行测试,结果显示,YOLOv4-MobileNetv3网络的mAP为34.3%,FPS为30,YOLOv4-Mini网络的mAP为32.5%,FPS为73,表明YOLOv4-Mini网络能够在低功耗、低能耗的嵌入式设备上完成目标实时检测任务。

基于英伟达平台的多目标自动识别系统设计

介绍了一种基于英伟达平台的多目标识别装置,可以较好地起到安防的作用。主要介绍了各模块的工作原理,使用的主要技术等。该装置具有结构简单,安装灵活,容易实现,易于扩展的特点。最后经过测试,验证了设计的有效性。

面向嵌入式系统的人体行为识别

为了在嵌入式平台上使人体行为识别网络达到实时效果,提出了一种基于轻量级OpenPose模型的人体行为识别方法。所提方法从人体的18个骨骼关键点角度出发,通过骨骼关键点的空间位置确定行为类型。首先通过轻量级OpenPose模型提取人体的18个骨骼关键点坐标信息,然后利用关键点的编码对人体的行为进行描述,最后利用分类器对获取的关键点坐标进行分类,从而识别出人体的行为状态,并将其移植到Jetson Xavier NX设备上,利用单目相机进行了测试。实验结果表明,所提方法在嵌入式开发板Jetson Xavier NX上能够快速、准确识别出行走、挥手、下蹲等人体的11类行为,平均识别准确率达到96.08%,检测速度达到了11 frame/s以上,相比于原模型,检测速度提升了177%。