基于特征图的AI模型压缩方法研究及在广电行业嵌入式设备中的应用

以深度学习为代表的AI模型在近十年中充分赋能广电行业的发展,大幅提升了内容制播、媒资管理、监测监管以及运行维护等工作的效率。本文提出一种基于特征图信息的AI模型简易压缩系统,旨在降低模型计算成本和提升模型部署效率,从而在广电行业的嵌入式设备上实现降本增效。该系统通过利用特征图信息,实现了卷积核计算成本的降低,同时保持了模型的原有性能。实验结果表明,该系统能够在基本保持原有模型能力的情况下大幅降低模型计算成本,缓解了模型部署和实时运行的压力。

关键字敏感的嵌入式设备固件模糊测试方法

大部分嵌入式设备的固件提供Web接口,方便用户对设备进行配置和管理。然而,这些Web接口常常存在安全问题,给嵌入式设备的安全带来挑战。针对嵌入式设备固件中Web接口的漏洞检测方法误报率较高的问题,提出一种关键字敏感的嵌入式设备固件模糊测试方法KS-Fuzz(Keyword Sensitive Fuzzing),高效地对嵌入式设备固件中Web接口的处理逻辑进行模糊测试。该方法通过前后端文件的关联分析,生成高质量的测试用例,在模糊测试过程中记录目标设备后端文件对前端文件关键字的引用,引导测试用例的变异,扩大模糊测试的覆盖范围。文中使用KS-Fuzz对多款主流品牌的嵌入式设备进行测试,以评估KS-Fuzz的漏洞挖掘能力,并与SaTC,IOTScope,FirmFuzz等现有漏洞挖掘方法进行比较。结果表明,相比现有漏洞挖掘方法,KS-Fuzz通过对前后端文件关联性的分析,可以快速遍历目标设备的功能接口,在模糊测试过程中发现更多的安全问题。

面向嵌入式设备部署的轻量化织物瑕疵检测算法

针对现有织物瑕疵检测算法参数量大、计算复杂度高,难以部署在计算资源有限的嵌入式设备上的问题,提出一种基于YOLOv5s改进的轻量化织物瑕疵检测算法SSPY(ShuffleNetv2-S,SimAM-S,Pruning-P,YOLOv5s-Y)。首先,主干特征提取网络采用ShuffleNetv2网络,实现模型的轻量化。在主干网络和小目标检测层引入SimAM无参注意力机制,在不增加额外参数量的情况下增强算法的特征提取能力。通过结合稀疏训练评价特征提取层中卷积核的重要性进行剪枝的方法,进一步实现模型压缩。最后,将SSPY算法部署到瑞芯微RK3568平台上,完成织物瑕疵实时检测算法在嵌入式设备上的部署。在织物瑕疵数据集上进行多组对比实验。实验结果表明,SSPY与YOLOv5s相比,平均精度均值mAP值提升了0.8%,参数量下降了80.3%。将SSPY部署在RK3568上,检测速度可达49 FPS,满足了织物瑕疵检测算法在工业应用中实时性、嵌入式设备部署等需求。

一种面向嵌入式设备的动态插桩方法

现有动态插桩方法大多基于x86/x64指令集,对嵌入式设备常用的RISC兼容性较差,且在应用嵌入式设备时存在插桩效率低、资源消耗大等问题。文中提出了一种面向嵌入式设备的动态插桩方法DIEB(Dynamic Instrumentation Method for Embedded Physical Devices)。DIEB在嵌入式设备中使用以控制转移指令为探针的探测模式对目标进程进行动态二进制插桩。DIEB提出了一种轻量化的解释执行指令方法,根据指令的运行环境设置指令解释执行区域,并在解释执行区域中解释执行指令获取执行结果。在目标进程动态运行过程中,DIEB通过解释执行用作探针的控制转移指令,获取控制转移指令的目的地址,从而跟踪目标进程的执行流,在软硬件资源紧张的嵌入式设备上高效地进行动态插桩。ARM指令集是一种典型的RISC指令集,测试实验以ARM指令集为验证对象,在NetGear R7000等设备上进行。实验结果表明,经过DIEB插桩的进程可以正常运行,插桩导致的时延远小于基于ptrace的插桩方式,解决了PIN,Dynamorio等现有动态插桩框架难以在嵌入式设备上运行的问题。此外,DIEB具有在多线程环境下稳定运行的能力,可以准确记录并发线程的执行流轨迹。

适用于嵌入式设备的轻量级深度学习网络RepYOLO

提出了一种轻量级深度学习网络模型RepYOLO算法,并将其移植到嵌入式设备MCU/MPU中。该网络模型RepYOLO以YOLOv4为基础网络模型,通过改进YOLOv4的主干网络CSPDarkNet为RepBlock结构、在Neck层中引入CBAM注意力机制以及在Head层替换anchor-based检测头为anchor-free检测头并加入ATSS算法减小计算量、提高推理速度和检测精度。结果表明,与原YOLOv4模型相比,网络模型RepYOLO在小麦穗检测上表现出更显著的优势,其精度率、召回率、F1值和平均精度均值分别提高了4.7、3.6、1.5、1.7个百分点;此外,RepYOLO在嵌入式设备MCU/MPU上的推理时间分别降低了37.03%和41.44%。

PC机与LwIP嵌入式设备的UDP通讯研究

随着LwIP嵌入式设备和Python在工业领域的应用日益增加,加之Python开发工具Pycharm支持第三方库PySide6图形化用户界面,因而Python、PySide6与LwIP嵌入式数采设备的结合可以建立上位PC机与工业现场的远程通讯网络,即上位PC机利用Python和PySide6实现对LwIP嵌入式设备传输数据的接收和曲线显示。本文深入研究了LwIP嵌入式设备与上位PC机的UDP通讯原理及方法,并对影响UDP通讯的难点进行了分析,提高UDP通讯的稳定性。利用Python和PySide6的图形化交互设计,依据UDP协议获取LwIP嵌入式设备的数据,实现记录、曲线显示和Excel数据导出。经测试,UDP通讯稳定可靠,显示电压值与信号发生器设定电压值一致。

一种适用于小RAM和ROM嵌入式设备的动态组字系统

针对嵌入式设备的存储空间方面的困难,本文提出了一种利用笔画拼接和IDS序列的动态组字系统。本系统将利用汉字结构数据库和笔画生成算法实现对数据的精简及运算量的减小,适用于小存储空间的嵌入式设备,为该类型设备显示汉字提供了一种解决方案。

嵌入式设备下的老年人健康智能监测方法设计

老年人的身体特征和生理参数变化较大,传统的健康监测方法无法适应这种复杂性和个体差异性,导致对老年人健康监测时,对心率、血氧等健康参数监测误差大,无法为老年人健康管控提供保障条件。为此,结合嵌入式微控制器STM32,开展对老年人健康智能监测方法的研究。采集并处理老年人生理健康参数,利用皮尔逊相关系数获取健康参数信号之间的相关性,建立心率与血氧模型,通过将STM32芯片与存储芯片连接,实现对老年人健康的智能监测。通过对比实验证明:这种监测方法可以有效减小监测误差,促进监测精度提高,具有极高的应用价值。

一种基于Socket通信的嵌入式设备测试方案

嵌入式设备的一个主要特征就是其对高实时性的要求。这样嵌入式测试程序就无法在传统的非实时操作系统上运行,而是需要运行在一款实时操作系统上,因此,在嵌入式测试人机交互界面上易用性方面就会受限。目前主流的方案是测试程序采用上位机加下位机分离的体系结构来解决操作和可视问题。研究了一种基于Socket通信的嵌入式设备自动化测试方案,解决了上位机加下位机测试结构上的通信难题。

基于隐式证书的嵌入式设备证书压缩方法

嵌入式设备之间的身份认证是建立安全通信链接的基础,也将直接影响嵌入式设备及网络的攻击面暴露风险与攻击方式数量。传统的公钥基础设施(PKI)显式证书方法虽然可以解决身份认证问题,但高度依赖于设备的网络计算资源且效率较低。针对上述问题,提出了一种基于隐式证书的嵌入式设备证书压缩方法。首先采用标准MES(minimal ASN.1 encoding scheme)方案生成DER编码的隐式证书作为嵌入式设备身份认证基础,并引入CBOR(concise binary object representation)编码对MES隐式证书进行压缩与优化,同时由于CoAP(constrained application protocol)协议支持CBOR编码证书的自动解析,二者配合可以有效提升嵌入式设备之间的身份认证效率。实验结果表明,相较于传统显式证书、DER编码隐式证书和PEM编码隐式证书,基于CBOR编码压缩的隐式证书大小分别减少了75.3%、20.6%与40.6%,解决了设备身份认证过程中计算资源耗费过多的问题,为资源受限的嵌入式设备网络的安全通信提供了有效保证。

Wi-Fi与嵌入式设备的融合技术研究

为了使嵌入式设备可以方便地接入Internet,鉴于无线保真(Wi-Fi)技术组网方式简单、无需布线的特点,将该技术用于嵌入式设备之间的通信以及与Internet的互连,提出一种Wi-Fi与嵌入式设备的融合方法及无线Wi-Fi监控系统的组建模式,以实现嵌入式设备的远程数据传输和无线监控。

嵌入式设备远程在线升级技术

为了有效降低嵌入式系统的升级和维护成本,根据嵌入式设备存储结构和更新原理,提出一种通过Web界面实现嵌入式设备软件自动升级的方法,包括在升级更新前将内核映像文件和根文件系统打包的方法、设备收到打包数据文件后分析和写入存储单元的技术以及用户与嵌入式设备进行远程通信的方式。

基于Web的嵌入式设备监控模型的设计与实现

研究并实现了一种基于Web技术的嵌入式设备监控模型,使管理者可以通过Internet利用Web浏览器完成对现场设备的远程访问、监控和维护等操作,实现了异构设备之间的跨平台互访。对TCP/IP协议进行约简,实现了一个thinTCP/IP协议栈,为嵌入式设备提供了网络接口,实现了与Internet的无缝连接。嵌入式设备网关将TCP/IP协议与嵌入式设备监控协议之间的格式进行转换,实现了远程用户对现场设备的透明访问,具有智能化和远程管理的特点。通过对该模型性能的测试,结果表明基于Web的远程监控方式可以满足监控任务的需要,而且能有效降低监控运行维护成本、提高运行维护效率,具有实际应用价值。

面向工业嵌入式设备的漏洞分析方法研究

目前现役和在售的嵌入式电子设备大多处于不设防状态,系统安全面临威胁。针对工业嵌入式设备自身防护能力较弱的特点,以PLC为例说明嵌入式设备存在的漏洞风险。设计了石化液位控制系统,演示了工业病毒利用漏洞进行攻击的方法与途径。设计了漏洞分析系统,包括工业协议状态模型、未知漏洞挖掘、已知漏洞扫描、漏洞识别模型、安全评估分析和监测与控制等六个部分,为工业控制系统漏洞分析系统开发提供了理论方法。

嵌入式设备与网络数据库交互的中间件设计

针对目前无线嵌入式设备与网络数据库之间交互存在速度较慢、实时性不高的问题,提出了一种无线嵌入式设备与数据库交互的中间件系统。在Wi-Fi无线网络下,该系统通过Socket的TCP协议,接受嵌入式设备访问数据库的指令并和数据库进行交互,将数据结果按照指定的格式存入txt文档中,压缩后传输给嵌入式设备,嵌入式设备解压后将数据存入SQLite数据库中;同时监听数据库中的信息更新情况,及时将更新消息发送给嵌入式设备。实验结果表明,该中间件系统解决了无线嵌入式设备与网络数据库通信的速度和实时性问题。

基于同源性分析的嵌入式设备固件漏洞检测

嵌入式设备的制造过程研产分离,导致不同的固件可能包含相同的第三方库,进而相同设备的不同版本甚至是不同设备的固件中都存在大量相同的已公开漏洞。针对该问题,基于第三方库同源性分析提出一种嵌入式设备固件漏洞检测方法,为固件漏洞修复提供参考,减少不必要的重复分析。通过对固件分类,并采用二进制差量分析、字符串常量匹配、模糊哈希3种方法分析第三方库同源性,从而检测同类固件中存在的漏洞。实验结果表明,该方法能够有效检测D-Link系列路由器固件中的缓冲区溢出和越界漏洞,以及Linksys系列路由器固件中的远程命令注入漏洞。

一种基于EI技术的嵌入式设备监控系统的设计与实现

设计并实现了一种基于EI技术的嵌入式设备监控系统,提出了基于B/S模式的系统软件体系结构,并详细讨论了嵌入式Web服务器、嵌入式设备服务器等功能的实现技术,使嵌入式设备具有智能化和远程管理的特点。管理者可以不受时空限制,通过Internet利用Web浏览器对设备进行远程访问、监控和维护等操作,实现了异构设备之间的跨平台互访,能有效降低监控运行维护成本、提高运行维护效率,具有实际应用价值。

基于JTAG的嵌入式设备固件分析技术

传统的设备固件逆向分析方法在分析嵌入式设备固件时存在一定困难,针对该问题,提出基于JATG的嵌入式设备固件动态分析方法。利用嵌入式设备提供的JTAG调试接口,在主机端设计并实现一个低成本的原型系统,能够对设备固件进行动态跟踪记录,分析固件的模块组成、设备启动流程和函数调用流程。通过对一台嵌入式Linux设备进行测试,验证了该系统能够准确地分析设备固件的运行机制,能够有效提升设备固件逆向分析效率。

嵌入式设备的网络化方法研究

网络化的嵌入式设备是构建网络控制系统的基础。通过分析嵌入式设备网络化的需求,提出了一种基于Web的网络化设备模型。结合智能型液体泄漏检测仪和水质环境自动监测仪的研制,详细讨论了设备网络化体系结构和网络化平台,并指出嵌入式设备网络化应注意的一些关键问题。

嵌入式设备的轻量化百香果检测模型

为在有限的嵌入式设备资源下达到实时检测要求,提出一种基于改进YOLO v5的百香果轻量化检测模型(MbECA-v5)。首先,使用MobileNetV3替换主干特征提取网络,利用深度可分离卷积代替传统卷积减少模型的参数量。其次,嵌入有效通道注意力网络(ECANet)关注百香果整体,引入逐点卷积连接特征提取网络和特征融合网络,提高网络对百香果图像的特征提取能力和拟合能力。最后,运用跨域与域内多轮训练相结合的迁移学习策略提高网络检测精度。试验结果表明,改进后模型的精确率和召回率为95.3%和88.1%;平均精度均值为88.3%,较改进前提高0.2个百分点。模型计算量为6.6 GFLOPs,体积仅为6.41 MB,约为改进前模型的1/2,在嵌入式设备实时检测速度为10.92 f/s,约为SSD、Faster RCNN、YOLO v5s模型的14倍、39倍、1.7倍。因此,基于改进YOLO v5的轻量化模型提高了检测精度和大幅降低了计算量和模型体积,在嵌入式设备上能够高效实时地对复杂果园环境中的百香果进行检测。