深度神经网络压缩与加速综述

深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.

深度神经网络压缩与加速综述

近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此,在不显著影响模型精度的前提下,通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类:参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别,本文首先分析了各自的性能及存在的缺陷。另外,本文总结了模型压缩与加速的性能评估方法。最后,讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。

深度神经网络模型压缩方法与进展

深度神经网络(Deep Neural Network, DNN)模型通过巨大的内存消耗和高计算量来实现强大的性能,难以部署在有限资源的硬件平台上.通过模型压缩来降低内存成本和加速计算已成为热点问题,近年来已有大量的这方面的研究工作.主要介绍了4种具有代表性的深度神经网络压缩方法,即网络剪枝、量化、知识蒸馏和紧凑神经网络设计;着重介绍了近年来具有代表性的压缩模型方法及其特点;最后,总结了模型压缩的相关评价标准和研究前景.

基于网络压缩与切割的深度模型边云协同加速机制研究

人工智能(Artificial Intelligence,AI)的先进技术已被广泛应用于实时地处理大量数据,以期实现快速响应.但是,部署基于AI的各种应用程序的常规方法带来了巨大的计算和通信开销.为了解决这一问题,提出了一种基于网络压缩与切割技术的深度模型边云协同加速机制,该技术可以压缩和划分深度神经网络(Deep Neural Networks,DNN)模型,以边云协同的形式在实际应用中实现人工智能模型的快速响应.首先压缩神经网络,以降低神经网络所需要的运行时延,并生成可用作候选分割点的新层,然后训练预测模型以找到最佳分割点,并将压缩的神经网络模型分为两部分.将所获得的两部分分别部署在设备和云端服务器中,这两个部分可以协同地将总延迟降至最低.实验结果表明,与4种基准测试方法相比,本文所提出的方案可以将深度模型的总延迟至少降低70%.

卷积效力评价机制驱动的深度神经网络全局剪枝

模型剪枝被广泛应用于深度神经网络(deep neural network, DNN)的压缩与加速,为资源受限的终端设备部署DNN提供了技术支持.然而以往的剪枝研究缺乏对卷积核效力机制的有效评估,同时忽视了压缩空间中多种不可控因素的潜在干扰.因此本文提出一种卷积效力评价机制驱动的DNN全局剪枝方法,在特征图信息丰富度的基础上,以可视化的方式评估卷积核的效力值,优化了卷积核选择机制.同时探索了压缩空间中卷积结构的效力相关性,并在不同卷积层中使用不同的剪枝标准.首先,本文通过离散傅里叶变换(discrete Fourier transform, DFT)对特征图的信息度进行定量分析,并提出一种评估卷积核效力值的数据驱动方法.然后,基于卷积结构的相关性,引入损失因子以度量剪枝过程中剩余压缩单元的效力损失.最后根据层索引值的变化,在不同结构的功能层中自适应修正剪枝标准.实验表明,相比于最新的剪枝策略,本文的剪枝方法具有更佳的压缩性能和模型优化能力.

高速铁路周界快速识别算法研究

快速获取铁路周界的准确位置是高速铁路周界入侵视频智能分析技术的基础,对于高速铁路安全运营具有重要意义。为了实现各种线路场景的周界自动快速精确识别,提出基于多尺度信息融合的铁路周界识别深度神经网络模型LDNet,该模型不依赖传统目标检测算法所使用的大量预设锚框,直接利用不同尺度特征图上铁轨、护栏的特征点拟合得到精确的周界,计算量少并可适用于各种铁路场景。为进一步提高模型的实时性,提出基于特征相似度的深度神经网络裁剪准则,将网络尺寸从114.29 MB压缩至2.99 MB,压缩后网络精度几乎无损失,但单张图片计算耗时降低61.5%。通过多场景铁路视频图像进行验证,该算法识别精度达到96.37%,明显优于现有的其他算法,并且计算耗时最短。

基于MobileNetV3的结构性剪枝优化

针对深度神经网络参数过多以及计算量巨大,使其较难部署在移动设备和APP上的问题,提出采用高效轻量化的MobileNetV3模型与结构性剪枝相融合的方法,对深度神经网络进行重构和压缩。最终生成的精简模型体积比原始模型缩小5.8倍,大幅度减少计算量和内存的消耗。经过微调后的精简网络模型相比于稀疏化训练的网络,准确度更高、泛化性能更好,能够直接运行在成熟框架(Pytorch,MXnet或TensorFlow等)或硬件平台上(GPU,FPGA等),无需特殊算法库的支持。