模型蒸馏技术及业务场景应用分析

一、技术背景2012年人工神经网络Alex Net在全球顶级计算机视觉比赛Image Net赢得世界冠军,且碾压了第二名基于支持向量机(SVM)的分类性能,人工智能自此又掀起了一次浪潮。当前,随着硬件能力的提高深度学习算法模型模型结构愈加复杂,计算量对比Alex Net也提升了数十个量级,随之而来的是性能的大幅提升。不可否认的是在算力允许的前提下,提高模型的复杂度、计算量是提升模型表现最有效直接的手段。