应用于忆阻器阵列存内计算的低延时低能耗新型感知放大器

存内计算(Computing In Memory,CIM)在人工智能神经网络的卷积运算方面具有巨大的应用潜力。基于忆阻器阵列的多位存内计算由于具备写入速度快、与互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工艺兼容等特点,有望成为解决“内存墙”的有效手段。然而,当前多位存内计算电路架构面临输出延时高和能耗大的问题,主要原因为传统感知放大器的性能制约,为此本文提出了一种低延时低能耗多位电流型感知放大器(Low-delay Low-power Multi-bit Current-mode Sense Amplifier,LLM-CSA),通过减少传统CSA电路工作状态数量、简化工作时序来优化功能;采用新型低位检测模块的电路设计思路,来多层次系统性地降低输出延时并优化能耗。使用中芯国际40 nm低漏电逻辑工艺(SMIC40 nm LL),利用Cadence电路设计平台,仿真验证所提LLM-CSA的功能和延时-能耗性能。通过对比分析发现:LLM-CSA比传统CSA输出延时降低1.42倍,能量消耗降低1.56倍。进一步地,以一种4 bit输入、4 bit权重、11 bit输出的忆阻器阵列多位存内计算架构为应用,对比验证所提LLM-CSA的性能:与基于传统CSA的存内计算系统相比,新架构延时降低1.18倍,能耗降低1.03倍。LLM-CSA的提出对促进感知放大器设计思路和忆阻器阵列存内计算架构的发展,具有一定的理论和现实意义。

约束重编程单元数量的忆阻器阵列闭环重映射算法

忆阻器阵列能够有效地加速神经网络中的矩阵运算,但会受到老化的影响,导致忆阻器阵列计算精度不满足要求.为了继续使用忆阻器阵列,提出一种基于重编程忆阻单元数量约束的闭环重映射算法.首先根据忆阻器阵列的老化分布得出行偏差矩阵;然后以行偏差矩阵中的最小值为起始点开始映射,直至重映射关系形成闭环;通过在映射过程中设置行偏差约束,使得重映射后的行偏差总和尽可能小,达到提高计算精度的目的;通过对重编程单元数量进行约束,尽可能减少需要重新编程的忆阻单元数量,减轻重编程造成的忆阻器阵列老化.在Pytorch上采用MINST数据集进行仿真测试的实验结果表明,所提算法不仅能够有效地提高忆阻器阵列的计算精度,而且与国际上同类方法相比,在达到相同计算精度的前提下,最多可以减少75.43%的重编程单元数.

一种基于权值缩减克服IR-Drop的忆阻器阵列神经网络训练方法

忆阻器阵列(Memristor-Based Crossbar)能够有效地加速神经网络中的矩阵运算。然而,忆阻器阵列会受到IR-Drop的影响,降低到达忆阻器的计算电压,导致计算精度下降。为减轻IR-Drop对忆阻器阵列计算精度的影响,提出了一种基于权值缩减的神经网络训练方法。首先,在网络训练中添加L2正则化,使训练后的神经网络权值尽可能分布在较小值范围,以此提高计算精度对IR-Drop的鲁棒性。然后,利用基于行列约束的映射算法将大权值映射到受IR-Drop影响小的忆阻器上,减小忆阻器阵列精度损失。最后,迭代减小受到IR-Drop影响大的大权值,再通过重训练调整被减小值的附近权值,提升忆阻器阵列的计算精度。实验结果表明,所提方法能够有效地提高忆阻器阵列的计算精度,最多可以将忆阻器阵列计算精度提升至接近理想状态,精度损失小于1%。

基于3D忆阻器阵列的神经网络内存计算架构

现如今,由于人工智能的飞速发展,基于忆阻器的神经网络内存计算(processing in memory,PIM)架构吸引了很多研究者的兴趣,因为其性能远优于传统的冯·诺依曼计算机体系结构的性能.配备了支持功能单元的外围电路,忆阻器阵列可以以高并行度以及相比于CPU和GPU更少的数据移动来处理一个前向传播.然而,基于忆阻器的内存计算硬件存在忆阻器的外围电路面积过大以及不容忽视的功能单元利用率过低的问题.提出了一种基于3D忆阻器阵列的神经网络内存计算架构FMC(function-pool based memristor cube),通过把实现功能单元的外围电路聚集到一起,形成一个功能单元池来供多个堆叠在其上的忆阻器阵列共享.还提出了一种针对基于3D忆阻器阵列的内存计算的数据映射策略,进一步提高功能单元的利用率并减少忆阻器立方体之间的数据传输.这种针对基于3D忆阻器阵列的内存计算的软硬件协同设计不仅充分利用了功能单元,并且缩短了互联电路、提供了高性能且低能耗的数据传输.实验结果表明:在只训练单个神经网络时,提出的FMC能使功能单元的利用率提升43.33倍;在多个神经网络训练任务的情况下,能提升高达58.51倍.同时,和有相同数目的Compute Array及Storage Array的2D-PIM比较,FMC所占空间仅为2D-PIM的42.89%.此外,FMC相比于2D-PIM有平均1.5倍的性能提升,并且有平均1.7倍的能耗节约.

高均一性二维碲化钼忆阻器阵列及其神经形态计算应用

二维过渡金属硫化合物是构建纳米电子器件的理想材料,基于该材料体系开发用于信息存储和神经形态计算的忆阻器,受到了学术界的广泛关注。受制于低成品率和低均一性问题,二维过渡金属硫化合物忆阻器阵列鲜见报道。本研究采用化学气相沉积得到厘米级二维碲化钼薄膜,并通过湿法转移和剥离工艺制备得到碲化钼忆阻器件。该碲化钼器件表现出优异的保持性(保持时间>500 s)、快速的阻变(SET时间~60 ns,RESET时间~280 ns)和较好的循环寿命(阻变2000圈后仍可正常工作)。该器件具有高成品率(96%)、低阻变循环间差异性(SET过程为6.6%,RESET过程为5.2%)和低器件间差异性(SET过程为19.9%,RESET过程为15.6%)。本工作成功制备出基于MoTe_(2)的3×3忆阻器阵列。在此基础上,将研制的MoTe_(2)器件用于手写体识别,实现了91.3%的识别率。最后,通过对MoTe_(2)器件高低阻态的电子输运机制进行拟合分析,揭示了该器件阻变源于类金属导电细丝的通断过程。本项工作表明大尺寸二维过渡金属硫化合物在未来神经形态计算中具有巨大的应用潜力。

基于忆阻器突触的脉冲神经网络综述

忆阻器是一种具有非易失性、类突触可塑性和多值性的新型存储器件,能够模拟生物神经元和突触的功能,实现神经形态计算的存算一体化。脉冲神经网络是一种基于生物神经系统信息处理机制的第三代人工神经网络,具有高效性、并行性、稀疏性和自适应性的特点,能够处理复杂的时空信号。利用忆阻器构建的脉冲神经网络是神经形态计算的一个重要研究方向,已经在图像处理、语音识别、自然语言处理、机器学习等领域实现突破性的进展。本文总结忆阻器脉冲神经网络的基本原理、主要应用和存在的挑战,并对其未来的发展趋势和研究方向进行展望。

基于忆阻器交叉阵列的卷积神经网络电路设计

由于在神经形态计算方面具有优良的性能,忆阻器交叉阵列引起了研究者的广泛关注.利用忆阻器与传统器件提出了1个改进的忆阻器交叉阵列电路,可以准确地存储权重与偏置,结合相应的编码方案后可以运算点积操作,并将其用于卷积神经网络中的卷积核、池化与分类器部分.利用改进的忆阻器交叉阵列和基于卷积神经网络本身拥有的高容错性,还设计了1个忆阻卷积神经网络结构,可以完成1个基本卷积神经网络算法.在卷积操作后直接存储模拟形式的计算结果,使得卷积操作与池化操作之间避免了1次模数-数模转换过程.实验结果表明:设计的面积为0.852 5cm^2芯片上的运算性能是1台计算机速度的1 770倍,在面积基本相当的前提下,性能比前人设计的电路提高了7.7倍.设计存在可以接受的微小识别误差开销,与软件运行结果相比,此电路在每个忆阻器存储6b或8b信息的情况下平均识别误差分别只增加了0.039%与0.012%.

面向电压降的忆阻神经网络精度优化

由于忆阻器交叉阵列自身的模拟特性可高效实现乘累加运算,因此,它被广泛用于构建神经形态计算系统的硬件加速器.然而,纳米线电阻的存在,会引起忆阻器与纳米线构成的电阻网络出现电压降问题,导致忆阻器阵列的输出信号损失而影响神经网络的精度.分析忆阻器电压降与忆阻器状态、位置,输出电流和输出位置的关系,通过稀疏映射优化电压降,并采用输出补偿进一步提高输出精度.仿真实验的结果表明,该方法可以有效地解决电压降引起的问题,忆阻神经网络在手写数字数据集MNIST的识别率达到95.8%,较优化前提升了33.5%.

基于自选尾数压缩的高能效浮点忆阻存内处理系统

矩阵向量乘法(matrix-vector multiplication, MVM)运算是高性能科学线性系统求解的重要计算内核.Feinberg等人最近的工作提出了将高精度浮点数部署在忆阻阵列上的方法,显示出其在加速科学MVM运算方面的巨大潜力.由于科学计算不同类型的应用对于求解精度的要求各不相同,为具体应用提供合适的计算方式是进一步降低系统能耗的有效途径.展示了一种拥有尾数压缩与对齐位优化策略的系统,在实现高精度浮点数忆阻MVM运算这一基本功能的前提下,能够根据具体应用的求解精度要求选择合适的浮点数尾数压缩位数.通过忽略浮点数尾数权重较小的部分低位与冗余的对齐位的阵列激活,减小运算时阵列及外围电路的能耗.评估结果表明:当忆阻器求解相对于软件基线平均分别有0~10;数量级的求解残差时,平均运算阵列能耗与模数转换器能耗相对于已有的优化前的系统分别减少了5%~65%与30%~55%.

基于稀疏化训练和聚类降低IR-Drop影响的方法

忆阻器阵列(Memristor based Crossbar)在加速神经网络计算上有很好的效果。然而,忆阻器阵列会受到IR-Drop的影响,导致忆阻器阵列的计算精度下降。为此,提出一种方案来提高计算精度,该方案是基于对权值矩阵稀疏化以及对权值矩阵的行向量进行聚类实现的。该方案首先通过分析IR-Drop对忆阻器阵列的影响,根据忆阻器阵列和权值矩阵的映射关系,对权值矩阵进行稀疏化训练,将受到较大IR-Drop影响的权值置零。然后对权值矩阵的行向量进行聚类,找到近似全零行向量将其权值置零,在保证零权值不变的前提下重新训练权值矩阵,接着删除全零行向量和全零列向量降低矩阵规模。最后在IR-Drop影响下计算权值矩阵行向量的权值损失,根据损失大小降序排列行向量得到新的权值矩阵,并映射到忆阻器阵列上。实验表明,经过此方案处理后,忆阻器阵列受到的IR-Drop显著降低,有效地提高了计算精度并且降低了硬件规模。

An improved crossbar array of memristor

This paper conducts an analysis of HP model of a memristor and memory cells of a differential type memristor,formsa classic array of the memristor using the HP model,and does the stimulation of its storage capacity.Based on differential typememristor cells,this paper proposes an improved crossbar array of the memristor,which can be applied in image storage.Bymeans of theoretical analysis and stimulation,this improved crossbar array of memristor has been proved to have bettergrayscale image storage capacity,and its peak signal-to-noise ratio(PSNR)has been improved by about30%.