-
题名基于TVM平台的MEC卷积算法优化
- 1
-
-
作者
王朝闻
蒋林
李远成
朱筠
-
机构
西安科技大学计算机科学与技术学院
西安邮电大学电子工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2023年第1期180-186,共7页
-
基金
科技创新2030-“新一代人工智能”重大项目(2020AAA0104603)
国家自然科学基金重点项目(61834005)
+1 种基金
陕西省自然科学基金(2020JM-525)
榆林市科技计划项目(2019-133)。
-
文摘
针对MEC(memory efficient convolution)卷积算法在传统设备下因访问数据地址不连续导致的缓存命中率低、内存访问延时长等问题,提出一种适用于MEC算法访存行为的优化方法。该方法分为中间矩阵转换和矩阵运算两部分。对于中间矩阵转换部分,采用修改数据读取顺序的方式对其进行优化,使读取方式符合算法的访存行为。对于矩阵运算部分,采用更加适合矩阵运算的内存数据布局对卷积核矩阵修改,并利用TVM(tensor virtual machine)平台封装的计算函数,重新设计中间矩阵同卷积核矩阵的计算方式。使用平台自带并行库对运算过程进行加速。实验结果表明,相比传统MEC算法,提出的优化方法可以有效解决缓存命中率低、内存访问延时长等问题,同MEC算法的运算时间对比,在单个卷积层上平均获得了50%的速度提升,在多层神经网络中最低获得了57%以上的速度提升,同空间组合算法的运算时间对比,最高获得了80%的速度提升。
-
关键词
卷积计算
访存行为
缓存技术
mec算法
-
Keywords
convolution calculation
memory access mode
cache technology
memory efficient convolution(mec)algorithm
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-