TFLite micro内存管理与分配策略的优化

TFLite micro(TFLm)是当前在微控制器平台上流行的神经网络推理框架。本文分析了TFLm在推理模型时的内存管理机制与分配策略,以及其在使用内存时的局限性。当前TFLm仅支持使用单块内存(Tensor Arena)来保存模型推理所需的中间结果,本文扩展TFLm的内存管理以支持使用多块不连续且访问性能有巨大差异的内存,还给可以重叠的tensor分配相同的内存。通过这样的改进,既把数据流量更多地引到片上快速内存中,又降低了峰值内存的占用。通过在i.MX RT1170上的实验数据表明,本文策略对于含有快速片上RAM(以DTCM为代表)的微控制器,能大大提高片上快速RAM的利用率,显著缓解存储器带宽带来的瓶颈,使推理时间缩短至一半以上。

微控制器平台低代码神经网络推理技术研究

基于微控制器平台的深度学习技术(TinyML)的兴起,意味着在广大嵌入式平台上部署人工智能的重大革新必将带来AIoT的发展。微控制器种类繁多,不同的芯片,其开发方式和基础API也各不相同,与PC端相比,模型的推理技术开发工作难度不小,需要具备一定的嵌入式开发经验。本文尝试将高级语言Python与微控制器结合,为入门开发者提供一套简单、可靠的开源低代码开发套件(名为“OpenART”),可以大大提高在微控制器上部署深度学习的开发效率、降低学习成本。