基于W正则化和变式余弦动量的二值量化

目前二值量化在信息提取过程中只能提取参数符号信息并且完全忽视位置信息,这导致了二值神经网络精度提升困难.针对当前存在的问题,提出了基于W正则化及变式余弦动量的新训练模块.W正则化可依据二值量化特点,对网络权重进行一定调整,使得不同位置的参数根据不同函数进行优化.设计充分利用了参数位置信息,同时提升了二值量化精度.此外,引入连续可导的变式余弦动量,即针对权重的位置分布添加不同幅度的动量,使得距离±1区间较远的参数可以以较快的速度逼近零点,该动量可以大幅提升收敛速度,在不影响推理速度的情况下进一步增加量化精度.在CIFAR-10, CIFAR-100, SVHN, Tiny ImageNet数据集上的实验结果表明,该方法在预测准确率上分别可以达到84.74%, 56.58%, 96.33%和42.41%,高于现有的先进算法.