基于可重构阵列的CNN数据量化方法

针对卷积神经网络(CNN)模型中大量卷积操作,导致网络规模大幅增加,从而无法部署到嵌入式硬件平台,以及不同粒度数据与底层硬件结构不协调导致计算效率低的问题,基于项目组开发的可重构阵列处理器,面向支持多种位宽的运算单元,通过软硬件协同和可重构计算方法,采用KL(Kullback-Leibler)散度自定义量化阈值和随机取整进行截断处理的方式,寻找参数定长的最佳基点位置,设计支持多种计算粒度并行操作的指令及其卷积映射方案,并以此实现三种不同位宽的动态数据量化。实验结果表明,将权值与特征图分别量化到8 bit可以在准确率损失2%的情况下将模型压缩为原来的50%左右;将测试图像量化到三种位宽下进行硬件测试的加速比分别达到1.012、1.273和1.556,最高可缩短35.7%的执行时间和降低56.2%的访存次数,同时仅带来不足1%的相对误差,说明该方法可以在三种量化位宽下实现高效率的神经网络计算,进而达到硬件加速和模型压缩的目的。

基于动态可重构结构的卷积数据复用优化设计

针对卷积神经网络(CNN)计算效率低、速度慢、硬件资源消耗大等问题,提出了基于动态可重构结构的卷积数据复用优化设计方案。利用可重构阵列邻接互连寄存器实现输入特征图数据和权值数据的复用,提高内存访问效率,采用层间多通道并行计算对神经网络卷积运算进行加速。经在AlexNet上测试,论文提出的数据复用策略使得卷积运算乘累加操作最高可减少44.05%。在Zynq—7000开发板上实现本文提出的优化方案。结果表明:相比于现有的基于现场可编程门阵列(FPGA)实现AlexNet的计算,本实验LUTs资源消耗减少12.86%、FF资源消耗减少约97.5%、DSP资源消耗减少约66.7%。