基于损失变化的CNN混合精度量化方法

针对卷积神经网络(convolutional neural network,CNN)在存储和计算资源有限的边缘设备中难以部署应用的问题,提出一种基于损失变化的混合精度量化方法,以低位宽定点数代替全精度浮点数进行运算,降低网络所需资源。根据每个量化层的一阶和二阶信息指导位宽分配,采用K-means方法将量化层聚类成块,降低位宽策略搜索空间。提出一种自适应搜索方式,根据历史策略训练结果自行调整搜索状态。重新整合量化训练过程,减少传统量化训练中计算量。实验结果表明,采用所提方法可在CNN模型推理损失精度较小的前提下,有效压缩模型。

基于低精度量化的大规模MIMO-OFDM系统可达速率的研究

该文针对大规模MIMO-OFDM系统,研究当基站端仅配备低精度模数转换器且采用最大比合并(MRC)接收算法时系统中用户可达速率的性能。通过采用加性量化噪声模型(AQNM)将非线性量化函数转化为线性量化函数,首先推导得出用户上行可达速率的闭式表达式。然后基于此表达式,将具备低精度模数转换器系统与传统具有无穷精度的模数转换器系统性能进行分析比较。最后将该文所得到的结果进行仿真分析。同时,该文还指出通过增加基站端天线数目可以弥补由于低精度模数转换器所造成的系统性能的损失。

精度量化控制过程的应用

控制精度问题实际上最终归结为数字的精度问题,滤波器的各系数以及每次运算的结果都是存储在有限长的存储单元中,因此,必然造成一定的误差。针对A/D变换的量化效应加以分析,估算其对系统控制精度的影响程度。

基于低精度量化的无线传输理论最新研究进展

5G移动通信技术相比于目前的4G移动通信技术,其峰值速率将增长数十倍,达到吉比特。未来移动通信系统面临着硬件成本高昂、系统功率消耗过高等问题,成为高传输速率通信的主要瓶颈之一。为了解决上述问题,学术界展开了对低功耗高效传输技术的研究,其中能够有效解决上述问题的途径之一就是低精度(如1~3 bit)ADC的接收机。通过对高斯信道下低精度量化的信道容量进行分析,发现相较于传统高精度ADC接收机,2~3 bit的ADC所带来的信道容量损失在可接受的范围内。面向低精度量化在无线通信系统中的应用,综合论述了低精度量化对信道容量的影响以及低精度量化下接收机的设计,解决了低精度量化下诸如同步、增益控制、信道估计等问题,为低精度量化通信系统的具体实现提供指导。

基于交替方向惩罚法的低精度量化MIMO雷达恒模波形设计方法

在MIMO雷达中配备大量有源天线单元可以获得优异的波束形成性能,但会导致系统能耗大、电路复杂及成本高等问题。采用低精度的DAC组件可有效克服上述问题,但现有基于无限精度DAC条件所设计的MIMO雷达波形往往难以直接适用于低精度DAC系统。为此,该文提出了一种离散相位约束下基于最小化积分副主瓣比的低精度量化MIMO雷达恒模波形设计方法。该方法首先采用丁克尔巴赫(Dinkelbach)算法将目标函数二次分数形式转换成减法形式,再利用交替方向惩罚法求解非凸恒模离散相位约束问题。最后通过数值仿真与其他方法进行对比,分析了所提方法的发射方向图与积分副主瓣比性能,验证了该方法的有效性。

基于混合精度量化的空时编码大规模MIMO系统性能

本文提出空时编码与混合量化结合的方法在有效降低系统功耗的同时增加传输分集增益,并对基于混合ADC结构的空时编码大规模多输入多输出(Multiple input multiple output,MIMO)系统性能进行了研究。采用加性量化噪声模型对系统性能进行分析,得到系统频谱效率,利用随机矩阵理论得到频谱效率的近似表达式,并通过仿真验证表达式的准确性,基于表达式分析系统中各个参数对系统性能的影响。仿真结果表明,在接收端使用混合精度量化的结构可以有效地降低大规模MIMO系统的功率损耗以及实际部署的成本,而且采用空时编码后,系统的发射分集增益增加了一倍。

一种大规模MIMO低精度量化检测算法

为解决大规模MIMO中低精度量化器的使用带来的性能下降问题,提出了一种新的消息解量化算法(MPDQ)。该算法以低精度ADC接收机为基础,搭建了一个大规模MIMO系统模型。利用ADC的结构特性提出了1-bit量化系统的MPDQ检测算法,并将其推广到n-bit量化系统,推导了MPDQ算法在n-bit量化系统中的迭代计算公式。在不同基站天线数量、不同用户数量条件下,仿真验证了该算法的准确性和有效性。仿真结果表明,低精度ADC可以提高系统的频谱效率,MDPQ算法在n-bit量化系统中具有优异的性能,3-bit量化在综合考虑成本和性能的情况下是一种理想的方案。

低精度量化下VMIMO-OFDMA中继传输技术的研究

网络中的一些边缘用户达不到高速率传输的信道条件,为此文中通过中继用户辅助传输能形成一种虚拟的MIMO(VMIMO),并对低精度量化下的VMIMO-OFDMA中继传输技术进行了研究。通过性能分析与仿真表明,尽管低精度量化会引入量化噪声,但是随着中继协同用户数的增多,并且在到达一定比特数时,性能趋于稳定。特别是当量化比特数达到3比特时,系统性能接近理想ADC性能。这对于单用户来说,特别是移动便携设备而言是很有意义的,通过多用户的协同通信,在保证了可靠通信的情况下,减小了功耗和复杂度。

SAR目标识别网络的高效混合精度量化方法

为改善SAR图像目标识别方法低精度量化导致识别率下降严重的问题,提出采用Hessian矩阵特征分解确定量化精度分配的高效混合精度量化方法.首先采用幂迭代算法替代直接计算法来求取Hessian矩阵的主特征值,减少了运算量,提高了算法效率;然后根据卷积神经网络(CNN)不同层对权重位宽的敏感度来设置位宽,使神经网络在总体量化精度较低的情况下发挥效果;最后使用MSTAR数据集和OpenSARShip数据集对本文方法进行了验证测试.测试结果表明,在保持较高识别率下,使用高效混合精度量化方法量化后的网络与原网络相比硬件资源消耗大幅压缩.

基于金字塔池化权值印记的训练后混合精度量化算法

模型量化方法现已广泛应用于深度神经网络模型快速推理和部署中.由于训练后量化重新训练所需时间少,性能损失小而备受研究人员关注,但现有训练后量化方法在量化过程中大多以理论假设或是固定分配网络层的比特位宽,导致量化后的网络会出现显著的性能损失,尤其是在低位情况下.为了提升训练后量化网络模型的精度,本文提出一种训练后混合精度量化方法(MSQ),该方法通过在网络模型每一层后插入一个融合了金字塔池化模块和权值印记技术的任务预测器模块,来对网络每一层进行准确度估计,从而评估每一层网络的重要性,根据重要性评估来确定每一层的量化比特位宽.实验表明,本文所提出的MSQ算法在多个流行的网络架构上都优于现有的一些混合精度量化方法,量化后的网络模型在边缘硬件设备上测试性能更好,延迟更低.

量化精度对数字化接收机性能的影响

随着数字化电子侦察接收机宽带化和实时性要求的日益提高,高速高精度采样和庞大数据处理间的相互制约已经成为影响其性能的主要因素。目前,适当降低量化精度以缓和大带宽和实时处理矛盾的技术途径已经出现,但量化精度对数字化接收机综合性能的影响却并未得到系统的分析。本文通过数值仿真,分析了不同量化精度下数字化接收机的测频精度、灵敏度、动态范围等技术性能的特点,并指出了信噪比对低比特数字化接收机信号功率谱和双音动态范围的影响。

数字图像处理中噪声源对量化精度影响的分析

文章指出了在模－数图像信号转换中噪声源对数字图像信号量化精度的影响，并以不变量β即量化步长与噪声均方根的比值分析了量化后噪声的特性，从而说明在数字图像处理中，除应注意对图像信号恢复以外，还必须对噪声源引起的图像变质进行修改、校正、补偿，以减轻噪声对数字图像处理的干扰。

利用重复采样技术提高OTDR中ADC量化精度

分析了 ADC在信号、白噪声以及信噪混叠三种情况下量化结果的统计特性和重复采样带来的影响 .针对 OTDR使用中存在信号动态范围大、噪声干扰强的特点 ,提出一种利用叠加在信号上的白噪声和重复采样技术提高其 ADC量化精度的方法 ,可以简化 OTDR电路和运算的复杂程度 .给出了最小采样次数与量化分辨率。

数字图像处理中噪声源对量化精度影响的分析

从噪声源的角度探讨噪声对数字图像处理中量化精度的影响，并以量化步长与噪声均方根的比值分析量化后噪声的特性，指出在数字图像处理中，必须对噪声源引起的图像变质进行修改、校正，以减轻噪声对数字图像处理的干扰．

基于混合精度模数转换器的大规模MIMO-OFDM系统性能分析

该文对在接收端使用混合精度的模数转换器且采用迫零接收算法的大规模MIMO-OFDM系统的上行链路的频谱效率和能量效率进行了研究。采用加性量化噪声模型来对系统的性能进行分析,推导出整个系统的频谱效率和能量效率的近似闭式表达式,并通过仿真证明了表达式的正确性。研究结果表明,系统的频谱效率和每个用户的发送功率,接收端天线数目和接收端量化精度有关。数值和仿真结果还表明可以通过增加基站端的天线数量来补偿由低精度模数转换器带来的性能损失。

深度神经网络模型量化方法综述

近年来,利用大型预训练模型来提高深度神经网络在计算机视觉以及自然语言处理等具体任务下的泛化能力和性能,逐渐成为基于深度学习的人工智能技术与应用的发展趋势.虽然这些深度神经网络模型表现优异,但是由于模型的结构复杂、参数量庞大与计算成本极高,使得它们仍然难以被部署在如家电或智能手机等资源受限的边缘及端侧硬件平台上,这很大程度上阻碍了人工智能技术的应用.因此,模型压缩与加速技术一直都是深度神经网络模型大规模商业化应用推广的关键问题之一.当前在多种模型压缩与加速方案中,模型量化是其中主要的有效方法之一.模型量化技术可以通过减少深度神经网络模型参数的位宽和中间过程特征图的位宽,从而达到压缩加速深度神经网络的目的,使量化后的网络能够部署在资源有限的边缘设备上,然而,由于量化会导致信息的大量丢失,如何在保证模型任务精度条件下实现模型量化已经成为热点问题.另外,因硬件设备以及应用场景的不同,模型量化技术已经发展成为一个多分支的研究问题.通过全面地调研不同角度下模型量化相关技术现状,并且深入地总结归纳不同方法的优缺点,可以发现量化技术目前仍然存在的问题,并为未来可能的发展指明方向.

非规则LDPC码译码量化问题研究

对应用于国家数字电视地面传输标准的非规则LDPC码的log-BP译码算法实现中的量化问题进行研究,针对三种不同的编码效率的码字,对接收数据和中间变量进行均匀和变精度量化方案设计,并在高斯信道上仿真。通过对误码率和译码硬件复杂度两方面的对比和优化,得出了标准采用的LDPC码log-BP算法量化的实用性结论,作为硬件实现及其他应用的重要依据和参考。进一步指出对中间变量采用“变精度量化”方案,可使误码率非常接近无量化处理。

面向混合量化CNNs的可重构处理器设计

为了解决已有卷积神经网络(convolution neural networks,CNNs)加速器,因无法适应混合量化CNN模型的计算模式和访存特性而引起加速器效率低的问题,设计了可适应混合量化模型的可重构计算单元、弹性片上缓存单元和宏数据流指令集。其中,采用了可根据CNN模型结构的重构多核结构以提高计算资源利用率,采用弹性存储结构以及基于Tile的动态缓存划分策略以提高片上数据复用率,采用可有效表达混合精度CNN模型计算和可重构处理器特性的宏数据流指令集以降低映射策略的复杂度。在Ultra96-V2平台上实现VGG-16和ResNet-50的计算性能达到216.6和214 GOPS,计算效率达到0.63和0.64 GOPS/DSP。同时,在ZCU102平台上实现ResNet-50的计算性能可达931.8 GOPS,计算效率可达0.40 GOPS/DSP,相较于其他类似CNN加速器,计算性能和计算效率分别提高了55.4%和100%。

卷积神经网络混合截断量化

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.

基于混合量化移相器的毫米波大规模MIMO预编码设计

针对毫米波大规模MIMO(Multiple-Input Multiple-Output)系统能量效率低下的问题,提出一种基于混合精度移相器量化的混合预编码设计方法.首先考虑到系统能量效率闭合表达式难以直接求解,通过Dinkelbach方法将能量效率优化问题转换为范数最小化的形式,然后将其进一步解耦为混合预编码矩阵和混合精度移相器量化配比问题,实现非凸能效低范数和的凸优化转化,最后通过引入酉矩阵松弛恒模约束求解混合预编码矩阵,并采用增量搜索算法求解混合量化移相器精度配比向量,从而实现系统能量效率最大化.仿真结果表明,所提出的混合精度量化算法的系统频谱效率优于传统单精度量化算法,且具有更高的系统能量效率.同时,当多数据流传输时,所提出混合精度量化结构的系统性能接近全数字结构.