-
题名一种矩阵块间提前切换的脉动阵列优化策略
- 1
-
-
作者
鞠鑫
曹亚松
文梅
汪志
冯静
-
机构
国防科技大学计算机学院
-
出处
《计算机工程与科学》
CSCD
北大核心
2023年第1期1-9,共9页
-
基金
国家自然科学基金(62002366)。
-
文摘
AI应用对硬件算力的需求逐年增加,驱使着AI加速器不断向更高的性能演化。研究表明,AI应用的主要运算形式可以转化为矩阵乘运算,脉动阵列因为在矩阵乘运算上的独特优势,使其成为了主流矩阵乘加速技术之一。然而,矩阵在注入和流出脉动阵列时存在一定的流水线启动和排空开销,特别是支持训练的浮点脉动阵列,其MAC延时往往大于1,矩阵块间切换不及时会导致PE利用率急剧下降。针对上述问题,基于典型应用场景进行理论分析,提出了一种矩阵块间提前切换策略,能够精确计算出各种情况下的矩阵块间最优切换时刻。同时,还实现了RTL设计。经过实验对比可知,优化后的脉动阵列增加的硬件开销微乎其微,但在所有场景中均能得到性能提升。
-
关键词
脉动阵列
AI
矩阵乘
加速器
pe利用率
-
Keywords
systolic array
AI
GEMM
acceleration
processing element(pe)utilization
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-