SWAM:SNN工作负载自动映射器

为了满足大规模脉冲神经网络(SNN)的计算需求,类脑计算系统通常需要采用大规模并行计算平台。因此,如何快速为SNN工作负载确定合理的计算节点数(即如何把工作负载合理映射到计算平台上)以获得最佳的性能、功耗等指标就成为类脑计算系统需解决的关键问题之一。首先分析了SNN工作负载特性并为其建立起计算模型;然后针对NEST类脑仿真器,进一步实例化了SNN的内存、计算和通信负载模型;最终设计并实现了一种基于NEST的SNN工作负载自动映射器(SWAM)。SWAM可以自动计算出映射结果并完成映射,避免了极其耗时的工作负载映射手动试探过程。在ARM+FPGA、纯ARM、PC集群三种不同的计算平台上运行SNN典型应用,并比较SWAM、LM算法拟合和实测的映射结果。实验结果表明:SWAM的平均映射准确率达到98.833%,与LM方法与实测映射相比,SWAM具有绝对的时间代价优势。

基于SNN神经元重分布的NEST仿真器性能优化

为满足大规模脉冲神经网络(SNN)的计算需求,类脑计算系统通常需要采用大规模并行计算平台。然而随着节点数量的增多,通信在仿真中所占比例大幅增加,导致计算效率下降。类脑模拟器开源软件NEST采用缓冲区大小相等的策略,有效缩短了通信时间,但是由于缓冲区互相无交流,使得通信数据量持续增加,因此其在能耗方面表现较差。分析NEST集群的负载特性,针对其中的通信问题进行稀疏性优化,提出基于SNN子图跨节点优化的神经元重分布算法ReLOC。通过优化SNN子图的跨节点分布减少每一轮神经元到进程的数量,从而减少跨节点脉冲,使进程间通信更加稀疏,达到缩减每一轮通信进程的目的。在此基础上,以稀疏交换的思想对NEST本身的通信机制进行改进,使有脉冲交换的进程进行数据交换,从而在连接稀疏的情况下提升通信效率。以包含28个Xilinx PYNQ节点的计算集群作为实验平台,运行皮质微电路SNN模型和平衡随机网络模型,验证ReLOC算法的有效性。实验结果表明,相比循环分布算法,重分布算法能够使通信的平均稀疏性提高20%,同时配合稀疏交换最多可使通信能耗减少98.63%。