基于损失变化的CNN混合精度量化方法

针对卷积神经网络(convolutional neural network,CNN)在存储和计算资源有限的边缘设备中难以部署应用的问题,提出一种基于损失变化的混合精度量化方法,以低位宽定点数代替全精度浮点数进行运算,降低网络所需资源。根据每个量化层的一阶和二阶信息指导位宽分配,采用K-means方法将量化层聚类成块,降低位宽策略搜索空间。提出一种自适应搜索方式,根据历史策略训练结果自行调整搜索状态。重新整合量化训练过程,减少传统量化训练中计算量。实验结果表明,采用所提方法可在CNN模型推理损失精度较小的前提下,有效压缩模型。

SAR目标识别网络的高效混合精度量化方法

为改善SAR图像目标识别方法低精度量化导致识别率下降严重的问题,提出采用Hessian矩阵特征分解确定量化精度分配的高效混合精度量化方法.首先采用幂迭代算法替代直接计算法来求取Hessian矩阵的主特征值,减少了运算量,提高了算法效率;然后根据卷积神经网络(CNN)不同层对权重位宽的敏感度来设置位宽,使神经网络在总体量化精度较低的情况下发挥效果;最后使用MSTAR数据集和OpenSARShip数据集对本文方法进行了验证测试.测试结果表明,在保持较高识别率下,使用高效混合精度量化方法量化后的网络与原网络相比硬件资源消耗大幅压缩.

基于混合精度模数转换器的大规模MIMO-OFDM系统性能分析

该文对在接收端使用混合精度的模数转换器且采用迫零接收算法的大规模MIMO-OFDM系统的上行链路的频谱效率和能量效率进行了研究。采用加性量化噪声模型来对系统的性能进行分析,推导出整个系统的频谱效率和能量效率的近似闭式表达式,并通过仿真证明了表达式的正确性。研究结果表明,系统的频谱效率和每个用户的发送功率,接收端天线数目和接收端量化精度有关。数值和仿真结果还表明可以通过增加基站端的天线数量来补偿由低精度模数转换器带来的性能损失。

面向混合量化CNNs的可重构处理器设计

为了解决已有卷积神经网络(convolution neural networks,CNNs)加速器,因无法适应混合量化CNN模型的计算模式和访存特性而引起加速器效率低的问题,设计了可适应混合量化模型的可重构计算单元、弹性片上缓存单元和宏数据流指令集。其中,采用了可根据CNN模型结构的重构多核结构以提高计算资源利用率,采用弹性存储结构以及基于Tile的动态缓存划分策略以提高片上数据复用率,采用可有效表达混合精度CNN模型计算和可重构处理器特性的宏数据流指令集以降低映射策略的复杂度。在Ultra96-V2平台上实现VGG-16和ResNet-50的计算性能达到216.6和214 GOPS,计算效率达到0.63和0.64 GOPS/DSP。同时,在ZCU102平台上实现ResNet-50的计算性能可达931.8 GOPS,计算效率可达0.40 GOPS/DSP,相较于其他类似CNN加速器,计算性能和计算效率分别提高了55.4%和100%。

深度神经网络模型量化方法综述

近年来,利用大型预训练模型来提高深度神经网络在计算机视觉以及自然语言处理等具体任务下的泛化能力和性能,逐渐成为基于深度学习的人工智能技术与应用的发展趋势.虽然这些深度神经网络模型表现优异,但是由于模型的结构复杂、参数量庞大与计算成本极高,使得它们仍然难以被部署在如家电或智能手机等资源受限的边缘及端侧硬件平台上,这很大程度上阻碍了人工智能技术的应用.因此,模型压缩与加速技术一直都是深度神经网络模型大规模商业化应用推广的关键问题之一.当前在多种模型压缩与加速方案中,模型量化是其中主要的有效方法之一.模型量化技术可以通过减少深度神经网络模型参数的位宽和中间过程特征图的位宽,从而达到压缩加速深度神经网络的目的,使量化后的网络能够部署在资源有限的边缘设备上,然而,由于量化会导致信息的大量丢失,如何在保证模型任务精度条件下实现模型量化已经成为热点问题.另外,因硬件设备以及应用场景的不同,模型量化技术已经发展成为一个多分支的研究问题.通过全面地调研不同角度下模型量化相关技术现状,并且深入地总结归纳不同方法的优缺点,可以发现量化技术目前仍然存在的问题,并为未来可能的发展指明方向.

卷积神经网络混合截断量化

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.

基于混合量化移相器的毫米波大规模MIMO预编码设计

针对毫米波大规模MIMO(Multiple-Input Multiple-Output)系统能量效率低下的问题,提出一种基于混合精度移相器量化的混合预编码设计方法.首先考虑到系统能量效率闭合表达式难以直接求解,通过Dinkelbach方法将能量效率优化问题转换为范数最小化的形式,然后将其进一步解耦为混合预编码矩阵和混合精度移相器量化配比问题,实现非凸能效低范数和的凸优化转化,最后通过引入酉矩阵松弛恒模约束求解混合预编码矩阵,并采用增量搜索算法求解混合量化移相器精度配比向量,从而实现系统能量效率最大化.仿真结果表明,所提出的混合精度量化算法的系统频谱效率优于传统单精度量化算法,且具有更高的系统能量效率.同时,当多数据流传输时,所提出混合精度量化结构的系统性能接近全数字结构.