针对预训练模型推理代价过大的问题,提出一种基于傅里叶变换的加速推理方法。首先,使用傅里叶变换子层替代部分Transformer模块的自注意力子层,从而降低推理时间;然后,使用贪婪微调方法,即在预训练模型上对每一个编码层进行总体微调,使...针对预训练模型推理代价过大的问题,提出一种基于傅里叶变换的加速推理方法。首先,使用傅里叶变换子层替代部分Transformer模块的自注意力子层,从而降低推理时间;然后,使用贪婪微调方法,即在预训练模型上对每一个编码层进行总体微调,使得模型中低层也具有高级语义知识,提高模型中低层的准确率与推理速度。为验证所提方法的有效性,在6个英文数据集上进行了实验。实验结果表明,在熵阈值为0.1时,与Dee-BERT(Dynamic early exiting for BERT)相比,所提方法的准确率平均下降了0.19个百分点,推理速度平均提升了73%;在熵阈值为0.5时,与Dee-BERT相比,所提方法的准确率平均下降了0.41个百分点,推理速度平均提升了62%,验证了所提方法可以有效提高推理速度。展开更多
文摘针对预训练模型推理代价过大的问题,提出一种基于傅里叶变换的加速推理方法。首先,使用傅里叶变换子层替代部分Transformer模块的自注意力子层,从而降低推理时间;然后,使用贪婪微调方法,即在预训练模型上对每一个编码层进行总体微调,使得模型中低层也具有高级语义知识,提高模型中低层的准确率与推理速度。为验证所提方法的有效性,在6个英文数据集上进行了实验。实验结果表明,在熵阈值为0.1时,与Dee-BERT(Dynamic early exiting for BERT)相比,所提方法的准确率平均下降了0.19个百分点,推理速度平均提升了73%;在熵阈值为0.5时,与Dee-BERT相比,所提方法的准确率平均下降了0.41个百分点,推理速度平均提升了62%,验证了所提方法可以有效提高推理速度。
