BP神经网络FPGA实现结构的优化设计

为了实现反向传播(back propagation,BP)神经网络的现场可编程门阵列(field programmable gate array,FPGA)处理速度的提升和资源消耗的降低,提出一种总体设计和关键模块融合优化的BP神经网络的FPGA实现结构。利用定点数据量化和流水线结构,提高系统的处理速度;采用二次方程多段拟合Sigmoid激活函数,降低计算复杂度;通过调整并行转串行模块与激活函数模块的处理顺序,减少了95%的激活函数模块的使用,降低了资源消耗;采用一种网络原始权值读取与更新权值存储交替流水进行的双端口RAM存取方法,以提高数据存取的速度、降低存储资源消耗。经过对硬件优化设计的字符和服装识别实验验证,结果表明,优化后的总逻辑单元使用率为原来的31%。在FPGA中优化结构实现单样本前向传播与反向传播所用时间为24.332μs,为软件MATLAB实现时间的45.63%,提高了BP神经网络的运算速度。

softmax变区段非线性双拟合方法及其FPGA实现

针对采用分段非线性拟合逼近法拟合人工神经网络中的softmax时,会出现一些区间误差较大的问题,本文提出了一种基于初次拟合误差的变区段非线性双拟合方法.该拟合方法的基本步骤是:首先,结合softmax的指数函数特性,通过均匀分段和随机分段的非线性拟合找出误差较大的区间;其次,根据区间误差的大小,选择合适的变区段进行第2次非线性拟合,误差大的区间选择分段小的区间,误差小的区间选择分段大的区间;最后,运用python进行softmax的拟合逼近实验,并在FPGA上实现.实验结果表明,该方法不仅解决了使用分段非线性拟合逼近法拟合softmax时会出现一些区间误差较大的问题,整体上还能保持较高的精度,其绝对误差保持在0.015以下,相对误差保持在1.2%以内;同时,运用FPGA实现了纳秒级别的良好实时性,单次运算平均时间约为3.75 ns.