基于特征图的AI模型压缩方法研究及在广电行业嵌入式设备中的应用

以深度学习为代表的AI模型在近十年中充分赋能广电行业的发展,大幅提升了内容制播、媒资管理、监测监管以及运行维护等工作的效率。本文提出一种基于特征图信息的AI模型简易压缩系统,旨在降低模型计算成本和提升模型部署效率,从而在广电行业的嵌入式设备上实现降本增效。该系统通过利用特征图信息,实现了卷积核计算成本的降低,同时保持了模型的原有性能。实验结果表明,该系统能够在基本保持原有模型能力的情况下大幅降低模型计算成本,缓解了模型部署和实时运行的压力。

基于嵌入式机器视觉识别的电力设备监测系统设计

为了提高对电力设备运行过程的监控能力,设计了嵌入式的机器视觉系统,该系统包括图形采集模块、图像处理模块、图形显示模块、结果输出模块等。通过嵌入式技术设计,实现了电力设备图像信息的采集、处理、显示和输出;通过OV7670图像传感器提高了图像采集能力。在进行故障信息诊断时,采用基于多主成分分析模型及支持向量机-DS融合决策的方法,实现正常数据信息与故障数据信息的分离。实验表明,该系统故障诊断正确率高达95%,大大提高了对电力设备监控能力和故障处理效率。

面向嵌入式设备部署的轻量化织物瑕疵检测算法

针对现有织物瑕疵检测算法参数量大、计算复杂度高,难以部署在计算资源有限的嵌入式设备上的问题,提出一种基于YOLOv5s改进的轻量化织物瑕疵检测算法SSPY(ShuffleNetv2-S,SimAM-S,Pruning-P,YOLOv5s-Y)。首先,主干特征提取网络采用ShuffleNetv2网络,实现模型的轻量化。在主干网络和小目标检测层引入SimAM无参注意力机制,在不增加额外参数量的情况下增强算法的特征提取能力。通过结合稀疏训练评价特征提取层中卷积核的重要性进行剪枝的方法,进一步实现模型压缩。最后,将SSPY算法部署到瑞芯微RK3568平台上,完成织物瑕疵实时检测算法在嵌入式设备上的部署。在织物瑕疵数据集上进行多组对比实验。实验结果表明,SSPY与YOLOv5s相比,平均精度均值mAP值提升了0.8%,参数量下降了80.3%。将SSPY部署在RK3568上,检测速度可达49 FPS,满足了织物瑕疵检测算法在工业应用中实时性、嵌入式设备部署等需求。

关键字敏感的嵌入式设备固件模糊测试方法

大部分嵌入式设备的固件提供Web接口,方便用户对设备进行配置和管理。然而,这些Web接口常常存在安全问题,给嵌入式设备的安全带来挑战。针对嵌入式设备固件中Web接口的漏洞检测方法误报率较高的问题,提出一种关键字敏感的嵌入式设备固件模糊测试方法KS-Fuzz(Keyword Sensitive Fuzzing),高效地对嵌入式设备固件中Web接口的处理逻辑进行模糊测试。该方法通过前后端文件的关联分析,生成高质量的测试用例,在模糊测试过程中记录目标设备后端文件对前端文件关键字的引用,引导测试用例的变异,扩大模糊测试的覆盖范围。文中使用KS-Fuzz对多款主流品牌的嵌入式设备进行测试,以评估KS-Fuzz的漏洞挖掘能力,并与SaTC,IOTScope,FirmFuzz等现有漏洞挖掘方法进行比较。结果表明,相比现有漏洞挖掘方法,KS-Fuzz通过对前后端文件关联性的分析,可以快速遍历目标设备的功能接口,在模糊测试过程中发现更多的安全问题。

一种面向嵌入式设备的动态插桩方法

现有动态插桩方法大多基于x86/x64指令集,对嵌入式设备常用的RISC兼容性较差,且在应用嵌入式设备时存在插桩效率低、资源消耗大等问题。文中提出了一种面向嵌入式设备的动态插桩方法DIEB(Dynamic Instrumentation Method for Embedded Physical Devices)。DIEB在嵌入式设备中使用以控制转移指令为探针的探测模式对目标进程进行动态二进制插桩。DIEB提出了一种轻量化的解释执行指令方法,根据指令的运行环境设置指令解释执行区域,并在解释执行区域中解释执行指令获取执行结果。在目标进程动态运行过程中,DIEB通过解释执行用作探针的控制转移指令,获取控制转移指令的目的地址,从而跟踪目标进程的执行流,在软硬件资源紧张的嵌入式设备上高效地进行动态插桩。ARM指令集是一种典型的RISC指令集,测试实验以ARM指令集为验证对象,在NetGear R7000等设备上进行。实验结果表明,经过DIEB插桩的进程可以正常运行,插桩导致的时延远小于基于ptrace的插桩方式,解决了PIN,Dynamorio等现有动态插桩框架难以在嵌入式设备上运行的问题。此外,DIEB具有在多线程环境下稳定运行的能力,可以准确记录并发线程的执行流轨迹。

适用于嵌入式设备的轻量级深度学习网络RepYOLO

提出了一种轻量级深度学习网络模型RepYOLO算法,并将其移植到嵌入式设备MCU/MPU中。该网络模型RepYOLO以YOLOv4为基础网络模型,通过改进YOLOv4的主干网络CSPDarkNet为RepBlock结构、在Neck层中引入CBAM注意力机制以及在Head层替换anchor-based检测头为anchor-free检测头并加入ATSS算法减小计算量、提高推理速度和检测精度。结果表明,与原YOLOv4模型相比,网络模型RepYOLO在小麦穗检测上表现出更显著的优势,其精度率、召回率、F1值和平均精度均值分别提高了4.7、3.6、1.5、1.7个百分点;此外,RepYOLO在嵌入式设备MCU/MPU上的推理时间分别降低了37.03%和41.44%。

PC机与LwIP嵌入式设备的UDP通讯研究

随着LwIP嵌入式设备和Python在工业领域的应用日益增加,加之Python开发工具Pycharm支持第三方库PySide6图形化用户界面,因而Python、PySide6与LwIP嵌入式数采设备的结合可以建立上位PC机与工业现场的远程通讯网络,即上位PC机利用Python和PySide6实现对LwIP嵌入式设备传输数据的接收和曲线显示。本文深入研究了LwIP嵌入式设备与上位PC机的UDP通讯原理及方法,并对影响UDP通讯的难点进行了分析,提高UDP通讯的稳定性。利用Python和PySide6的图形化交互设计,依据UDP协议获取LwIP嵌入式设备的数据,实现记录、曲线显示和Excel数据导出。经测试,UDP通讯稳定可靠,显示电压值与信号发生器设定电压值一致。

一种适用于小RAM和ROM嵌入式设备的动态组字系统

针对嵌入式设备的存储空间方面的困难,本文提出了一种利用笔画拼接和IDS序列的动态组字系统。本系统将利用汉字结构数据库和笔画生成算法实现对数据的精简及运算量的减小,适用于小存储空间的嵌入式设备,为该类型设备显示汉字提供了一种解决方案。

一种基于Socket通信的嵌入式设备测试方案

嵌入式设备的一个主要特征就是其对高实时性的要求。这样嵌入式测试程序就无法在传统的非实时操作系统上运行,而是需要运行在一款实时操作系统上,因此,在嵌入式测试人机交互界面上易用性方面就会受限。目前主流的方案是测试程序采用上位机加下位机分离的体系结构来解决操作和可视问题。研究了一种基于Socket通信的嵌入式设备自动化测试方案,解决了上位机加下位机测试结构上的通信难题。

嵌入式设备下的老年人健康智能监测方法设计

老年人的身体特征和生理参数变化较大,传统的健康监测方法无法适应这种复杂性和个体差异性,导致对老年人健康监测时,对心率、血氧等健康参数监测误差大,无法为老年人健康管控提供保障条件。为此,结合嵌入式微控制器STM32,开展对老年人健康智能监测方法的研究。采集并处理老年人生理健康参数,利用皮尔逊相关系数获取健康参数信号之间的相关性,建立心率与血氧模型,通过将STM32芯片与存储芯片连接,实现对老年人健康的智能监测。通过对比实验证明:这种监测方法可以有效减小监测误差,促进监测精度提高,具有极高的应用价值。

基于隐式证书的嵌入式设备证书压缩方法

嵌入式设备之间的身份认证是建立安全通信链接的基础,也将直接影响嵌入式设备及网络的攻击面暴露风险与攻击方式数量。传统的公钥基础设施(PKI)显式证书方法虽然可以解决身份认证问题,但高度依赖于设备的网络计算资源且效率较低。针对上述问题,提出了一种基于隐式证书的嵌入式设备证书压缩方法。首先采用标准MES(minimal ASN.1 encoding scheme)方案生成DER编码的隐式证书作为嵌入式设备身份认证基础,并引入CBOR(concise binary object representation)编码对MES隐式证书进行压缩与优化,同时由于CoAP(constrained application protocol)协议支持CBOR编码证书的自动解析,二者配合可以有效提升嵌入式设备之间的身份认证效率。实验结果表明,相较于传统显式证书、DER编码隐式证书和PEM编码隐式证书,基于CBOR编码压缩的隐式证书大小分别减少了75.3%、20.6%与40.6%,解决了设备身份认证过程中计算资源耗费过多的问题,为资源受限的嵌入式设备网络的安全通信提供了有效保证。

MCU的嵌入式设备通用软件平台研究

基于MCU实现的嵌入式设备存在软件复用度及开发调试效率较低的问题,通过分析MCU嵌入式设备的应用需求,提出嵌入式设备通用软件平台的分层架构,详细描述了硬件系统及软件平台的设计思路,并针对任务调度、配置管理、数据交互、调试监视等核心系统功能提供可行的解决方案。该软件平台基于STM32硬件系统实际部署并应用于多种电力系统嵌入式设备,能有效提升设备研发及维护效率,具有较高的工程应用价值。

一种SpringBoot基于嵌入式设备的辅助医疗App的设计与实现

农村医疗资源不足,医院空间分布不够合理,医疗系统人工智能化程度较低。因此本系统开发一种基于嵌入式医疗设备配合医疗App,为用户搭建一个良好的医疗平台。基于Vue进行Web移动端搭建与利用Keil编程软件进行Stm32嵌入式开发的医疗系统。在医疗系统App端的设计与实现中,运用VsCode工具调用Vue3.0+Vant组件库进行前端界面的搭建+Axios进行后端数据的请求,后端运用Idea调用SpringBoot+Spring Data JPA+Redis+JWT框架进行后端的搭建,运用Postman进行后端接口的测试,利用Tomcat网络信息服务以及MySQL数据库服务,实现对硬件测试的数据进行保存,以推送一些医疗科普知识供人们观看等。在医疗系统硬件端的设计与实现中,使用Stm32以及相应测量模块构成硬件测量模块。此硬件通过蓝牙模块与App进行通信,实现测血压、血氧、心率、体温以及对阈值的蜂鸣器报警的功能。

一种应用于嵌入式设备的指印活性检测方法

现有的指印活性检测方法因存在模型复杂、训练参数量大等问题,在嵌入式设备这种运算能力受限的场景中应用较为困难。为解决这一问题,提出一种应用于嵌入式设备的指印活性检测方法。该方法构建了一个轻量级的神经网络模型,在传统卷积神经网络模型的基础上,取消了全连接层,采用分通道的残差模块替代原有的卷积层,精简了网络结构,大幅度降低了模型参数量,缩短了模型运行时间。建立指印数据集,并用其进行实验分析,实验结果表明:笔者构建的轻量级神经网络模型在测试集上准确率为96.22%,相较于传统神经网络模型在指印活性检测方面准确率更高,参数量更少,对设备运算性能要求更低。

基于嵌入式和YOLOv8存储柜控制系统实验设计

为实现存储柜高效和安全的管理,提出基于人脸检测的存储柜控制系统,系统包括终端、后端和前端。终端采用先训练后移植的方式将YOLOv8人脸检测算法部署在嵌入式Android设备,将人脸图片转化为人脸特征文本数据,Retrofit携带人脸特征和存储柜相关数据向后端发送网络请求。后端采用若依框架、Jwt认证权限、Spring Security管理动态权限菜单和Spring Boot实现API接口,MyBatis管理MySQL数据库和Redis缓存数据。前端也采用若依框架,采用Vue2和Element UI通过Axios访问后端获取数据进行可视化。测试结果表明,系统识别效果好,执行器工作正常,数据可视化展示准确,系统运行稳定。

一种基于无害处理识别的嵌入式设备漏洞检测方法

嵌入式设备的安全问题日益突出,其根源在于设备厂商对安全性的忽视.为有效地发现嵌入式设备中存在的漏洞,污点分析是一种常用且有效的技术手段.无害处理操作(sanitizers)是污点分析中消除污点数据安全风险的关键环节,其识别精度直接决定了漏洞检测效果.针对检测嵌入式设备漏洞时现有方法基于简单模式匹配导致对无害处理操作识别存在的漏报问题,提出了一种基于无害处理识别的嵌入式设备漏洞检测方法(简称ASI),在保证轻量级的基础上提升无害处理操作识别的精度,降低漏洞检测结果的误报率.该方法通过建立变量之间的“内容-长度”关联关系,找到潜在的代表内容长度的变量,从而识别出基于污点长度变量进行路径条件约束的无害处理操作;同时基于启发式方法识别出进行特殊字符过滤的无害处理函数.对5个厂商的10款设备固件的实验结果显示,相较于已有ITS技术,ASI的漏洞检测误报率降低了9.58%,而检测时间开销仅增加了7.43%.

嵌入式设备固件仿真器综述

随着物联网(IoT)技术的发展,嵌入式设备面临更加严峻的安全威胁,特别是嵌入式设备漏洞严重影响物联网产业的安全发展.但受限于嵌入式设备自身硬件资源的限制,通用计算机系统常用的动态漏洞检测技术,例如模糊测试难以直接应用到嵌入式设备上.因此,近年来嵌入式设备固件仿真技术成为学术界的研究热点,通过对嵌入式设备硬件依赖的仿真或替换,可以将模糊测试、符号执行等通用高效漏洞检测技术应用于嵌入式设备.围绕最新嵌入式设备仿真技术,搜集整理近年来国际顶级学术论文,对相关研究成果进行归纳、总结.基于采用的仿真技术和衍生关系进行分类介绍,然后对这些固件仿真器进行评估和细化比较,为使用者选择固件仿真器提供技术参考.最后,根据当前嵌入式设备固件仿真器的现状,提出固件仿真器的挑战和机遇,对固件仿真器的研究进行了展望.

DID-YOLO:一种适用于嵌入式设备的移动机器人目标检测算法

近些年来,目标检测算法在移动机器人环境感知领域表现出了突出的性能。但是目标检测算法存在模型庞大和计算复杂的问题,制约了目标检测算法在移动嵌入式设备上的部署和发展。YOLO是一种单阶段的目标检测算法,具有较高的准确度和较快的运行速度。该文提出了一种基于YOLOv5s改进后适用于嵌入式设备的移动机器人目标检测算法DID-YOLO。首先,使用深度可分离卷积和倒置残差模块对YOLOv5s的backbone网络进行重构,降低模型复杂度和计算量,达到轻量化的目的;其次,利用特征层和输出层结合的知识蒸馏训练提高重构后目标检测网络的精度。在目标检测通用数据集PASCAL VOC上实验表明:DID-YOLO模型尺寸为3.63 MB,相较原网络模型尺寸减小了48.65%;经过特征层和输出层蒸馏后,DID-YOLO的mAP@0.5提升至73.83%;DID-YOLO在Jetson AGX Xavier上实现了每秒31.2帧的实时图像处理速度。提出的DID-YOLO性能显著,满足了移动机器人嵌入式平台的实时高精度检测需求。

小内存嵌入式设备软件的差分升级设计

提出一种改进HDiffPatch算法并在复旦微单片机上实现小内存差分升级的方案,即使用单片机内的Flash空间替代算法占用的RAM空间,从而减少算法对单片机RAM空间的需求,以满足小内存微处理器的差分升级,同时对算法内存分配释放函数进行优化,以最大限度地利用RAM空间。实验结果表明,改进后的HDiffPatch算法可以实现在小内存嵌入式设备上的差分升级。

针对可穿戴设备的稀疏化卷积心律失常分类加速器设计

近年来,卷积神经网络(convolutional neural networks,CNN)因其优异的检测与识别能力,在心电图(electrocardiogram,ECG)信号的诊断研究中备受瞩目。然而,CNN模型因参数规模和算力需求较大,难以用于资源受限的可穿戴嵌入式设备。虽然使用剪枝技术可压缩网络规模,但稀疏化剪枝后权重的不规则分布使修剪后的网络模型依然存在无法高效处理非零数据的问题。为此,设计了一种高效的稀疏化卷积心律失常分类加速器。首先,采用多批次划分的稀疏压缩数据流方法提高计算效率;其次,设计了稀疏感知的计算阵列(processing element,PE)完成卷积运算,解决剪枝带来的负载不平衡问题。在现场可编程门阵列(field programmable gate array,FPGA)平台上的仿真结果显示,所设计的稀疏化卷积加速器在200 MHz时钟频率下的吞吐率为53.84GOP·s^(-1)、平均功耗为0.263 W、能效比为204.72 GOP·W^(-1)、五分类准确率达98%,相较于以往的稀疏化加速器,最高可以实现2.0~2.4倍的加速、4.5~6.1倍的能效比提升,适用于可穿戴的ECG分类设备。