基于TT-Tucker分解的无预训练LC卷积神经网络压缩方法

张量训练(TT)分解和Tucker分解是两种有效的卷积神经网络压缩方法。然而,TT和Tucker分解分别面临空间结构信息丢失与计算复杂度高等问题。为解决上述问题,文中考虑了网络结构的信息保留率和资源占用情况,采用学习-压缩(LC)算法的约束型压缩框架,提出了一种基于TT-Tucker分解的无预训练LC卷积神经网络压缩方法(TTLC)。TT-LC方法包括学习步骤和压缩步骤两个部分。学习步骤不需要预训练过程,采用了指数循环学习率方法以提高训练准确率。而在压缩步骤,文中根据TT和Tucker分解的优点以及贝叶斯规则选取全局最优秩的特性,运用经验变分贝叶斯矩阵分解(EVBMF)和贝叶斯优化(BayesOpt)选出合理的秩以指导张量分解,采用TT-LC方法压缩训练后的模型。TT-LC方法既降低了空间结构信息丢失率和计算复杂度,又解决了张量的秩选取不合理导致模型准确率显著下降的问题,可实现模型的双重贝叶斯选秩和双重压缩,获得最优的压缩模型。最后,采用ResNets和VGG网络在CIFAR10与CIFAR100数据集上进行实验。结果表明:对于ResNet32网络,相比于基准方法,文中方法在准确率为92.22%的情况下,获得了69.6%的参数量压缩率和66.7%的浮点计算量压缩率。

医学图像特征相似度度量的网络压缩研究

为提高深度学习网络迁移应用于医学图像领域的性能,针对通道间相互独立剪枝压缩网络导致模型性能下降的问题,采用峰值信噪比方法对网络层内部及网络层之间的特征激活图进行相似度度量,整体评价层内及层间通道的重要性.首先,对医学图像进行预处理,采用峰值信噪比法度量预处理后图像与网络的各节点汇合层的相似度确定迁移网络深度.其次,对同一层内特征和不同层间的特征进行特征相似度度量并按照度量结果进行排序.最后,通过特征度量结果和期望压缩系数对网络进行压缩.实验结果表明:采用特征相似度度量对迁移网络通道剪枝仅小幅降低性能就能有效进行网络压缩.因此采用峰值信噪比法度量特征相似度可以作为通道剪枝的判断依据.

基于混合机制的深度神经网络压缩算法

近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题,深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能,从而挖掘DNN压缩算法的影响要素;然后,设计学生网络和教师网络组成的知识迁移结构,融合知识蒸馏、结构设计、网络剪枝和参数量化机制,提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark,进行实验比较与分析。实验结果表明,所提算法在压缩结果的准确率降低6.3%的情况下,使压缩后的AlexNet的容量减小98.5%,验证了所提算法的有效性。

面向弹载图像的深度学习网络压缩方法研究

针对基于深度学习目标识别算法具有网络结构复杂、参数量大、计算延迟高等特点,难以直接应用于弹载任务的问题,对网络轻量化方法进行了归纳总结。介绍了已有的压缩方法和轻量化网络的优点及各自特点,并选择各个方面优秀的算法进行比较。最后,结合深度学习在目标检测领域中的发展,对轻量化弹载图像目标识别算法进行了展望。

深度神经网络压缩与加速综述

深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.

基于多尺度几何分析的复杂网络压缩策略

自然界许多系统都具有多尺度效应,人们对系统的观察或测量也往往是在不同尺度上进行的。复杂网络可视为描述复杂系统的抽象模型,多尺度几何分析提供一种有效刻画复杂系统结构由粗到细的显微镜策略。该文从多尺度几何分析的角度对复杂网络压缩问题进行了有益的尝试,提出一种有效的网络压缩策略。策略分析及通过对不同拓扑类型的网络仿真表明基于多尺度几何分析的复杂网络压缩策略是可行的,能有效地帮助人们通过尽可能少的信息来分析、刻画大型复杂网络,实现网络数据及结构的稀疏表示。

改进聚类的深度神经网络压缩实现方法

深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K-Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet、AlexNet和VGG-16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.

基于结构冗余性校准的在线式社会网络压缩

随着社交网络、移动互联网等新兴服务的不断涌现,在线社会网络正以前所未有的速度增长并且呈现出极强的演化特性.网络压缩技术能够将大规模网络压缩成规模更小、结构信息更简洁的网络,在数据存储和网络可视化领域发挥着重要作用.现有的压缩算法为了优化压缩损失,重复比对原始网络与压缩网络之间的差异导致过高的时间开销,并且算法仅局限于静态网络,无法满足在线社会网络的演变要求.针对上述问题,提出一种解决演化网络压缩问题的高效算法,首先设计了基于局部化判定的结构合并贡献函数及其快速调整算法,将网络的首次压缩复杂度控制在O(n)到O(mn)之间;其次,设计了一种面向演化网络压缩的动态校准算法,参照网络演化前后拓扑结构的变化,校准前一时刻的压缩表达以避免网络的重复压缩,在满足在线社会网络演变要求的同时提高了压缩效率;最后,通过对真实数据集的实验分析,验证了算法的有效性.

卷积神经网络压缩与加速技术研究进展

神经网络压缩技术的出现缓解了深度神经网络模型在资源受限设备中的应用难题,如移动端或嵌入式设备.但神经网络压缩技术在压缩处理的自动化、稀疏度与硬件部署之间的矛盾、避免压缩后模型重训练等方面存在困难.本文在回顾经典神经网络模型和现有神经网络压缩工具的基础上,总结参数剪枝、参数量化、低秩分解和知识蒸馏四类压缩方法的代表性压缩算法的优缺点,概述压缩方法的评测指标和常用数据集,并分析各种压缩方法在不同任务和硬件资源约束中的性能表现,展望神经网络压缩技术具有前景的研究方向.

深度神经网络压缩与加速综述

近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此,在不显著影响模型精度的前提下,通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类:参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别,本文首先分析了各自的性能及存在的缺陷。另外,本文总结了模型压缩与加速的性能评估方法。最后,讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。

卷积神经网络压缩中的知识蒸馏技术综述

近年来,卷积神经网络(CNN)凭借强大的特征提取和表达能力,在图像分析领域的诸多应用中取得了令人瞩目的成就。但是,CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大,在这个情况下,部署完整的CNN往往需要巨大的内存开销和高性能的计算单元(如GPU)支撑,而在计算资源受限的嵌入式设备以及高实时要求的移动终端上,CNN的广泛应用存在局限性。因此,CNN迫切需要网络轻量化。目前解决以上难题的网络压缩和加速途径主要有知识蒸馏、网络剪枝、参数量化、低秩分解、轻量化网络设计等。首先介绍了卷积神经网络的基本结构和发展历程,简述和对比了五种典型的网络压缩基本方法;然后重点针对知识蒸馏方法进行了详细的梳理与总结,并在CIFAR数据集上对不同方法进行了实验对比;其后介绍了知识蒸馏方法目前的评价体系,给出多类型方法的对比分析和评价;最后对该技术未来的拓展研究给出了初步的思考。

基于网络压缩与切割的深度模型边云协同加速机制研究

人工智能(Artificial Intelligence,AI)的先进技术已被广泛应用于实时地处理大量数据,以期实现快速响应.但是,部署基于AI的各种应用程序的常规方法带来了巨大的计算和通信开销.为了解决这一问题,提出了一种基于网络压缩与切割技术的深度模型边云协同加速机制,该技术可以压缩和划分深度神经网络(Deep Neural Networks,DNN)模型,以边云协同的形式在实际应用中实现人工智能模型的快速响应.首先压缩神经网络,以降低神经网络所需要的运行时延,并生成可用作候选分割点的新层,然后训练预测模型以找到最佳分割点,并将压缩的神经网络模型分为两部分.将所获得的两部分分别部署在设备和云端服务器中,这两个部分可以协同地将总延迟降至最低.实验结果表明,与4种基准测试方法相比,本文所提出的方案可以将深度模型的总延迟至少降低70%.

融合权重与卷积核删减的SSD网络压缩

目标检测是计算机视觉领域中重要的研究方向。近几年,深度学习在基于视频的目标检测领域取得了突破性研究进展。深度学习强大的特征学习和特征表达能力,使其能够自动学习和提取相关特征并加以利用。然而,复杂的网络结构使得深度学习模型具有参数规模大、计算需求高、占用存储空间大等问题。基于深度神经网络的单发多框检测器(Single-shot Multi-box Detector 300,SSD300)能够对视频中的目标进行实时检测,但无法移植到嵌入式设备或移动终端以满足实际应用中的需求。为了解决该问题,文中提出了一种权重删减和卷积核删减融合的方法。首先,针对深度卷积神经网络模型权重参数过多导致模型过大的问题,采用权重删减的方法移除各卷积层中的冗余权重,确定各层权重的稀疏度;然后,针对卷积层计算量大的问题,根据各卷积层中的权重稀疏度对冗余卷积核进行删减,以减少冗余参数和计算量;最后,对删减后的神经网络进行训练,以恢复其检测精度。为验证该方法的有效性,在卷积神经网络框架caffe平台上对SSD网络模型进行验证。结果表明,压缩加速后的SSD300网络模型的大小为12.5 MB,检测速度最高可达50 FPS(frames per second)。实验实现了在网络检测准确率下降尽量小的前提下,将SSD300网络压缩了8.4×,加速了2×。权重删减和卷积核删减融合的方法为SSD300网络在视频检测中的智能化应用提供了可行性方案。

基于剪枝与量化的卷积神经网络压缩方法

随着深度学习的发展,卷积神经网络作为其重要算法之一,被广泛应用到计算机视觉、自然语言处理及语音处理等各个领域,并取得了比传统算法更为优秀的成绩。但是,卷积神经网络结构复杂,参数量和计算量巨大,使得很多算法必须在GPU上实现,导致卷积神经网络难以应用在资源不足且实时性要求很高的移动端。为了解决上述问题,文中提出通过同时优化卷积神经网络的结构和参数来对卷积神经网络进行压缩,以使网络模型尺寸变小。首先,根据权重对网络模型结果的影响程度来对权重进行剪枝,保证在去除网络结构冗余信息的同时保留模型的重要连接;然后通过量化感知(quantization-aware-trai-ning)对卷积神经网络的浮点型权重和激活值进行完全量化,将浮点运算转换成定点运算,在降低网络模型计算量的同时减少网络模型的尺寸。文中选用tensorflow深度学习框架,在Ubuntu16.04操作系统中使用Spyder编译器对所提算法进行验证。实验结果表明,该算法使结构简单的LeNet模型从1.64M压缩至0.36M,压缩比达到78%,准确率只下降了了0.016;使轻量级网络Mobilenet模型从16.9M压缩至3.1M,压缩比达到81%,准确率下降0.03。实验数据说明,在对卷积神经网络权重剪枝与参数量化之后,该算法可以做到在准确率损失较小的情况下,对模型进行有效压缩,解决了卷积神经网络模型难以部署到移动端的问题。

基于知识蒸馏的超分辨率卷积神经网络压缩方法

针对目前用于超分辨率图像重建的深度学习网络模型结构深且计算复杂度高,以及存储网络模型所需空间大,进而导致其无法在资源受限的设备上有效运行的问题,提出一种基于知识蒸馏的超分辨率卷积神经网络的压缩方法。该方法使用一个参数多、重建效果好的教师网络和一个参数少、重建效果较差的学生网络。首先训练好教师网络,然后使用知识蒸馏的方法将知识从教师网络转移到学生网络,最后在不改变学生网络的网络结构及参数量的前提下提升学生网络的重建效果。实验使用峰值信噪比(PSNR)评估重建质量的结果,使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比,在放大倍数为3时,在4个公开测试集上的PSNR提升量分别为0.53dB、0.37dB、0.24dB和0.45dB。在不改变学生网络结构的前提下,所提方法显著地改善了学生网络的超分辨率重建效果。

基于关系型蒸馏的分步神经网络压缩方法

针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2%左右的提升.

带比例因子的卷积神经网络压缩方法

针对卷积神经网络在图像分类任务中,分类准确率高但实时性差的问题。提出了一种含比例因子的"知识提取"算法。此方法在已有的"知识提取"算法上,加入了衡量样本类间相近关系的比例因子,充实了网络压缩手段,使得神经网络可以更精确地进行"知识提取"。其原理是将比例因子误差值作为代价函数的一部分参与训练调节神经网络的神经元参数,进而使得神经网络的泛化能力更加趋近于具有更好分类表现能力的压缩参考网络。结果表明,含比例因子的神经网络压缩算法可以更细致地刻画训练集的类间相近关系,拥有比原"知识提取"算法更好的训练性能,进而训练出泛化性能更强、精度更高的神经网络。实现了在网络分类准确率下降尽量小的前提下,较大程度地减少神经网络的分类耗时,以达到网络压缩的目的。

基于压缩残差网络的雷达辐射源识别方法研究

针对低信噪比条件下,现有的雷达辐射源信号识别方法存在识别正确率低、时效性差的问题,提出了一种基于压缩残差网络的雷达辐射源信号识别方法。首先,利用Choi-Williams分布的时频分析方法将时域信号转换为二维时频图像;然后,根据应用场景特点,选择卷积神经网络(Convolutional Neural Networks,CNN)“压缩”范围;最后,构建压缩残差网络来自动提取图像特征并完成分类。仿真实验结果表明,在同等体量的设计下,与当前较为常用的标准CNN以及ResNet模型相比,所提模型能够降低信号识别运行时间约88%,在信噪比为-14 dB条件下对14种雷达辐射源信号的平均识别率高约5%。提供了一种高效的雷达辐射源信号智能识别方法,具有潜在的工程应用前景。

基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction,SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network,DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。

基于Tiny-YOLOv3的网络结构化压缩与加速

针对特定应用场景下,Tiny-YOLOv3(You Only Look Once v3)网络在嵌入式平台部署时存在资源开销大、运行速度慢的问题,文中提出了一种结合剪枝与量化的结构化压缩方案,并搭建了针对压缩后网络的卷积层加速系统。结构化压缩方案使用稀疏化训练与通道剪枝来减少网络中的计算量,使用激活值定点数量化和权重二的整数次幂量化来减少网络卷积层中的参数存储量。在卷积层加速系统中,可编程逻辑部分按照并行加流水线方法设计了一个卷积层加速器核,处理系统部分负责卷积层加速系统调度。实验结果表明,Tiny-YOLOv3经过结构化压缩后的网络平均准确度为0.46,参数压缩率达到了5%。卷积层加速系统在Xilinx的ZYNQ芯片进行部署时,硬件可以稳定运行在250 MHz时钟频率下,卷积运算单元的算力为36 GOPS。此外,加速平台整体功耗为2.6 W,且硬件设计节约了硬件资源。