基于Jetson Nano的隐式场景表征重建方法

随着计算机视觉和边缘计算技术的不断发展,对于复杂场景的高效重建与表征成为了研究的热点之一。本研究提出了一种基于Jetson Nano的隐式场景表征重建方法,旨在通过深度学习和边缘计算技术的有机结合,实现对复杂场景的高效重建与表征。本研究是基于Jetson Nano边缘计算平台,将RGBD相机与其连接,通过网络传输将采集的数据存储于云端。本研究采用了一种创新性的隐式表示模型,通过函数对场景信息进行紧凑而高效的表征。该方法在Jetson Nano边缘计算平台上通过统一计算设备架构(Compute Unified Device Architecture,CUDA)和深度学习推理引擎(Turing Tensor R-Engine,TensorRT)优化,进一步提升了计算效率。结合隐式神经网络和同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)技术,成功实现了三维场景的精准重建,相机追踪中绝对轨迹误差的均方根误差平均值达到了1.87,在各个场景的表现均具有鲁棒性。

一种基于Jetson Nano的智能辅助导盲装置设计

为解决中国视障人群出行困难的问题,设计了一种基于Jetson Nano的智能辅助导盲装置,使视障人群能够安全出行。采用摄像头帮助视障人群探测周围环境,将Jetson Nano作为主控板,通过视觉算法将摄像头捕捉的画面信息提取后,结合TFmini Plus激光测距雷达对视障人群前方物体进行测距,视觉算法采用基于CNN卷积神经网络的YOLOv4目标检测算法,语音转化模块采用科大讯飞出品的六麦克风阵列模块。当物体靠近视障人群前方一定距离时,智能辅助导盲装置会将摄像头识别到的物体名称通过语音形式反馈给视障人群。设计的智能辅助导盲装置可以实现对周围环境的实时检测和识别,对常见的物体如车辆等都能够准确识别,提醒视障人士及时避让,有效提高他们的出行安全。该装置还有很大的发展空间和应用前景,可以进一步完善其功能,为更多视障人士服务。

基于Jetson Nano的智能双足人形机器人

针对人型机器人多样的使用需求及复杂的使用环境,本文设计出一款以高性能NVIDIA Jetson Nano为主控板,采用舵机驱动、搭载多个感知模块的智能双足人型机器人,通过ROS系统进行步态控制,依靠摄像头、多种传感器及配套算法实现姿态识别和空间位置计算,完成机器人整体的行动。

基于Jetson Nano和YOLOv5的火灾自动报警系统分析与实现

本文针对传统的YOLOv5模型提出有效的结构优化,减小了设备体积,增加了预测速度,适用于算力低、内存少的嵌入式平台,并在边缘计算设备Jetson Nano上成功部署,提升了检测速度。基于Jetson Nano和YOLOv5算法,本文提出了一种新型的火灾自动报警系统。该系统能够通过视频监控实时感知火灾现场,对火源进行有效识别,及时发出报警信号,有效减少火灾事故的发生。实验结果表明,该系统具有高效、准确的火灾检测和识别能力,能够满足实际应用需求。此外,本文所提方案不仅可以对YOLOv5模型进行高效的压缩与加速,其他卷积神经网络模型都可参照本文方案进行操作模块的替换,为其他深度学习算法部署在资源有限的嵌入式平台上提供借鉴。

基于Jetson Nano的饮料瓶盖分类检测设计

文章采用YOLOv5目标检测模型实现了一种基于Jetson Nano的饮料瓶盖分类检测系统。传统瓶盖分类方法通常需要耗费大量的人力和时间资源,存在准确性和效率低的问题。为提高瓶盖分类的准确性和效率,文章利用计算能力强和功耗低的Jetson Nano搭建了YOLOv5模型,并对饮料瓶进行了精确的分类检测。其中,首先介绍了YOLOv5模型的原理和特点,其次详细描述了基于Jetson Nano的饮料瓶盖分类检测系统的设计和实现过程。该系统在饮料瓶盖分类检测方面的准确性和效率较高,具有很高的应用价值。

基于Jetson Nano的人脸口罩识别系统设计

人脸和口罩识别在许多现代应用中有广泛需求,包括安全检查、身份认证以及工业安全等方面。探讨了基于Jetson Nano的人脸口罩识别系统,旨在实现对个体是否佩戴口罩的准确判断。该系统使用先进的人脸识别算法来定位图像中的人脸区域,然后应用深度学习模型对人脸区域进行口罩检测。所有的数据处理和模型推理均在Jetson Nano上实现,从而使系统具有较高的运行效率和可移植性。在多个不同环境和视角下进行测试,结果显示该系统在各种复杂条件下都展示出较高的识别准确率,并能处理高达30帧/s的实时图像。不仅证明了Jetson Nano在图像识别和实时数据处理方面的高性能,还为开发多种人脸识别应用提供了有力的技术支持。

一种基于Jetson Nano深度学习的生活垃圾智能分类桶

长期以来,垃圾处理往往伴随着巨大的资源浪费和环境污染,尽管我国已经出台相关垃圾分类政策,但由于人工分类成本高、分类效率低下等一系列问题,该类政策难以大规模推行。据此,提出了一种以单片机(single chiped microcomputer,SCM)为基础,围绕Jetson Nano为核心设计的生活垃圾智能分类桶。其图像识别基于深度学习设计,通过上位机和摄像头判断投入垃圾桶的垃圾类型,将分析得到的数据传递给下位机;下位机通过控制二维云台进行垃圾分类投放;采用红外测距模块进行满载检测,并在APP界面内进行满溢警报,从而完成了类型识别、分类投放、满溢检测、满载报警的完整过程,实现了生活垃圾自动分类。该装置经实测工作稳定,并有内置的学习函数保障其续航能力,具有很强的实用性。

Jetson Nano神经网络物理电磁泄漏安全研究

如果采用旁路攻击方法对神经网络结构、框架进行攻击,恢复出结构、权重等信息,会产生敏感信息的泄漏,因此,需要警惕神经网络计算设备在旁路攻击领域产生敏感信息泄露的潜在风险。本文基于Jetson Nano平台,针对神经网络及神经网络框架推理时产生的旁路电磁泄漏信号进行采集,设计了基于深度学习方法的旁路攻击算法,对旁路进行分析研究,并对两个维度的安全进行评估。研究表明,良好的网络转换策略能够提升网络分类识别准确率5%~12%。两种评估任务中,针对同一框架下不同结构的典型神经网络推理时,电磁泄漏的分类准确率达到97.21%;针对不同神经网络框架下同一种网络推理时,电磁泄漏的分类准确率达到100%。说明旁路电磁攻击方法对此类嵌入式图像处理器(GPU)计算平台中的深度学习算法隐私产生了威胁。

基于Jetson Nano的智能分类垃圾桶设计

随着经济的发展,人民对社会可持续发展及资源再利用的关注度日益增加,垃圾分类理念也被大众广泛认可。智能分类垃圾桶的设计可以准确且有效地进行垃圾分类,无需人工分拣垃圾,继而实现后续垃圾回收资源化及再利用。设计主要以Jetson Nano的YOLOv4图像识别技术为主,通过摄像采集垃圾图像,根据图像的特征信息进行垃圾类别识别,并利用自动控制完成垃圾分类。

基于改进SSD和Jetson Nano的口罩佩戴检测门禁系统

为了减少疫情期间人们未佩戴口罩造成的交叉感染概率,设计一款基于改进的SSD和Jetson Nano的口罩佩戴检测门禁系统,以快速检测进出口行人是否佩戴口罩,控制闸机的开合。首先,从MAFA和WIDER FACE这2个数据集中抽取适合用于该系统的训练图片,其中6000张作为训练集,2000张作为测试集;其次,利用随机色相、饱和度等像素级变换和随机扩展、随机裁剪等几何级变换,对数据集中的小目标进行数据增强,使数据集更加多样,增强该检测网络的泛化能力;再次,将原始SSD的VGG特征提取网络替换为MobileNet-V3,利用其深度可分离卷积的速度优势,以及计算量较小的H-Swish激活函数、轻量化的注意力机制等优化策略,加速检测、提高精度;最后,将该检测网络移植到计算能力有限的人工智能边缘计算设备Jetson Nano上,加装高清显示器,并设计可折叠的平行四边形挡板,选择合适的外围设备,构成了一个具有防疫价值的快速检测公共场所进出口行人是否佩戴口罩的多功能门禁系统。在该嵌入式设备上的测试结果表明:以MobilNet-V3为特征提取网络的目标检测算法SSD,取得了78%的MAP,FPS为12,与以VGG为特征提取网络的原始SSD算法(FPS为2)相比,检测速度是原始SSD算法的6倍。该系统在保证实时性的同时也兼顾了检测精度,达到了精度和速度的平衡。

基于Jetson Nano处理器的大蒜鳞芽朝向调整装置设计与试验

为满足大蒜定向播种的农艺要求,针对现有大蒜鳞芽调整方法对杂交蒜适应性差的问题,该研究设计了一种基于Jetson Nano处理器的大蒜鳞芽朝向自动调整装置。采用双卷积神经网络模型结构,其中一个神经网络模型对大蒜是否被喂入进行实时监测,检测到大蒜喂入调整装置后,一个ResNet-18网络模型对蒜种鳞芽朝向进行判断,当鳞芽朝上时大蒜鳞芽调整机构打开Y型料斗使大蒜以鳞芽朝上的姿态直接落下,当鳞芽朝下时大蒜鳞芽调整机构翻转180°带动大蒜一起翻转后以鳞芽朝上的姿态落下,实现大蒜鳞芽朝向实时调整。神经网络模型推理及舵机控制采用英伟达边缘计算处理器Jetson Nano进行处理。利用离散元分析软件EDEM结合正交试验方法对调整装置的关键结构参数进行优化,并以杂交大蒜为试验对象进行台架试验,试验结果表明:大蒜鳞芽调整成功率为96.25%,模型推理时间0.045 s,平均每粒大蒜调整时间为0.785 s,满足大蒜播种机播种要求。该文研究结果可为解决杂交大蒜直立播种问题及边缘计算在精密播种设备中的应用提供有益参考。

基于Jetson Nano+YOLO v5的哺乳期仔猪目标检测

针对仔猪个体小、易被遮挡且仔猪目标检测方法不易在嵌入式端部署等问题,提出一种适用于Jetson Nano端部署的哺乳期仔猪目标检测方法,在准确检测哺乳期仔猪目标的同时,使模型实地部署更加灵活。使用哺乳期仔猪图像建立数据集,数据量为14000幅,按8∶1∶1划分训练集、测试集和验证集。利用深度学习网络提取哺乳期仔猪特征,构建仔猪目标检测模型。融合推理网络中的Conv、BN、Activate Function层,合并相同维度张量,删除Concat层,实现网络结构量化,减少模型运行时的算力需求。将优化后模型迁移至Jetson Nano,在嵌入式平台进行测试。实验结果表明,在嵌入式端,量化后YOLO v5中4种模型的单帧图像平均运行时间分别为65、170、315、560 ms,检测准确率分别为96.8%、97.0%、97.0%和96.6%,能够在Jetson Nano设备上对哺乳期仔猪目标实现精准检测,为仔猪目标检测的边缘计算模式奠定基础。

基于Jetson nano的改进MobileNet人脸识别系统

现有的大多数人脸识别算法均采用深度学习中各种改进的卷积神经网络算法。但算法存在参数多,训练时间长等问题。因此,为了减少训练过程所消耗的时间和分类过程中的计算量,设计运用了改进的MobileNet算法来实现人脸识别,并将其移植到Jetson nano设备上构成完整的室外安防系统。将MobileNet模型中原本的Soft Max分类器进行了改进,通过对比实验,发现使用A-SoftMax分类器的效果要好于Soft Max。实验结果表明:本文提出的模型在LFW人脸数据库上达到97.4%的准确率,计算时间减少为传统卷积神经网络的1/9,计算参数减少为传统卷积神经网络的1/7。

基于Jetson Nano的无接触测温与口罩佩戴识别防疫系统设计

新冠肺炎疫情防控期间,对进入火车站、医院、学校等公共场所的人员进行体温测量及口罩佩戴检查成为阻断疫情的重要手段。开发了一套检测防疫系统。该系统以Jetson Nano处理器为核心,采用Face_recognition项目对人脸进行识别,识别正确率达到96%;采用Opencv3级联分类器训练口罩佩戴识别模型,口罩佩戴识别正确率达到95.6%;运用MLX90614测温模块实现无接触测温,测温绝对误差为±0.2℃,温度超过设定值发出报警;人脸识别、口罩佩戴情况及体温测量等信息通过图形用户界面显示,后台数据库对检测信息进行统计与管理。该系统将无接触测温、超温报警、人脸识别、口罩检测和数据管理功能结合,大大提高了检测效率,对防疫工作具有重要意义。

Jetson Nano机器人目标跟踪的VR三维建模

如今,VR(虚拟显示技术)、动作电影特效制作、高科技教育、医疗行业等领域广泛应用了三维建模这一技术。大型立体成像扫描仪器通过建模可以构筑出高精度的人体模型,但是该设备成本高,耗费大量人力和时间。文中提出基于Jetson Nano机器人在室内场景进行人体跟踪、人体姿态估计和三维模型重建。测试结果表明,本文搭建的建模机器人可满足自主人体建模的要求。

基于Jetson Nano视觉应用平台设计

Jetson Nano为硬件基础核心,设计并实现了目标信息检测系统。整个系统由摄像头、Jetson Nano、外围电路设备三大部分构成。通过高性能深度学习推理优化器—TensorRT技术的应用加速了神经网络的推理,实现了既能快速识别照片,又能通过摄像头实时检测目标的效果。通过实际环境的测试表明:该系统能实时完成检测视频画面的目标信息。此外,该系统具有核心处理单元体积小,能快速在多个无人系统场景部署应用的优势,且性能满足各项技术指标要求。

Jetson Nano平台下的AI送餐系统设计

为提升餐厅送餐系统的智能化程度,依托NVIDIA Jetson Nano b01的ROS移动机器人平台,设计用于室内餐厅的AI送餐软件系统。该系统基于轻量级深度学习框架Darknet,采用C++和Python进行系统编程,包含控制器、语音、运动控制和AI视觉处理4个模块。通过语音启动送餐机器人,在识别顾客订餐信息二维码后,自主导航至目标餐桌进行送餐。同时,基于YOLOv3-tiny深度学习对送餐沿途上的人物进行视觉识别,当识别到顾客时语音播报欢迎词。实验结果表明,该系统能有效完成送餐任务,二维码识别时间约0.003s,人物识别准确率高达99%以上。系统能够自动进行语音启动和播报,设计方案合理有效,可为AI送餐领域提供参考与借鉴。

基于Jetson Nano的智能门禁系统

针对在新冠肺炎疫情时期实验室、办公室等小型半封闭场所出入人员的管理问题,基于Jetson Nano硬件平台利用人脸识别和目标检测等算法对门禁系统进行设计与实现。该门禁系统实现了智能身份识别与口罩佩戴检测以及网页端的远程控制功能。测试表明,该门禁系统的识别正确率和识别速率可用于疫情时期出入人员的管理,具有实用性高、成本低、性能良好的特点。

基于Jetson Nano的智能快递柜设计与实现

为提高快递站内快递柜的建设效率和互换性,设计了一款易于替换的智能快递柜。箱体采用可拼接的机械设计;Jetson Nano为主要控制单元,Ubuntu为控制系统,搭配摄像头实时记录快递的存取并匹配用户信息;使用STM32F1作为辅助芯片。该系统能适应不同数量和大小快递的应用场景;对于取件者,能快速指示快递所在位置,提高便捷度;对于投放快递的工作人员,可按需要存放的快递数量来拼接快递柜,减少占用空间,同时可以提高寄存效率。该系统的设计及实现对快递站点的建设与物流行业的发展有一定的推动作用。

基于Jetson Nano深度学习的新型农业系统

课题组调查分析了现有的温室大棚系统,在查阅大量温室大棚系统相关文献和资料的基础上,研究了基于Jetson Nano深度学习的新型农业系统。结果表明:它能通过实时分析和监测农业数据获取和实时监控各种作物的自然生长地域特征和环境条件,可以实现高质量、高产量和高效率的作物种植,实现智能控制。