随机初始化神经网络剪枝的稀疏二值规划方法

传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调。受到近年来edgepopup等基于随机初始化网络的剪枝算法优异性能的启发,提出了一种基于稀疏二值规划的随机初始化网络剪枝算法。该算法将剪枝训练过程建模为一个稀疏二值约束优化问题。其核心思想是利用稀疏二值规划来学习一个二值掩膜,利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络。与之前基于随机初始化网络的剪枝算法相比,该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能。与edge-popup算法相比,在ImageNet数据集分类任务中,模型在稀疏度为70%时精度提升7.98个百分点。在CIFAR-10数据集分类任务中,模型在稀疏度为50%时精度提升2.48个百分点。

基于零模正则的神经网络剪枝方法

本文提出一种有效的神经网络剪枝方法。该方法对神经网络训练模型引入零模正则项来促使模型权重稀疏,并通过删减取值为零的权重来压缩模型。对所提出的零模正则神经网络训练模型,文中通过建立其等价MPEC形式的全局精确罚得到其等价的局部Lipschitz代理,然后通过用交替方向乘子法求解该Lipschitz代理模型对网络进行训练、剪枝。最后,对MLP和LeNet-5网络模型进行测试,分别在误差2.2%和1%下,取得97.43%和99.50%的稀疏度,达到很好的剪枝效果。

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度(APG)、轻量级网络设计、非结构化剪枝和神经网络结构搜索(NAS)等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。

船舶辐射噪声分类卷积神经网络的可视化分析和卷积核剪枝

当前基于深度神经网络的船舶辐射噪声分类研究主要关注分类性能,对模型的解释性关注较少。本文首先采用导向反向传播和输入空间优化,基于DeepShip数据集,构建以对数谱为输入的船舶辐射噪声分类卷积神经网络(CNN),提出了一种船舶辐射噪声分类CNN的可视化分析方法。结果显示,多帧特征对齐算法改进了可视化效果,深层卷积核检测线谱和背景两类特征。其次,基于线谱是船舶分类的稳健特征这一知识,提出了一种卷积核剪枝方法,不仅提升了CNN分类性能,且训练过程更加稳定。导向反向传播可视化结果表明,卷积核剪枝后的CNN更加关注线谱信息。

基于SSD及剪枝神经网络的复杂环境下混凝土裂缝识别

为解决裂缝识别算法在复杂环境下性能不佳的问题,提出了一种基于单激发多框检测器(SSD)算法的改进方法.该方法通过调整原始SSD算法中不同分辨率先验框数量的组合,实现对存在噪声的裂缝图像的高精度裂缝识别.在真实场景和实验室中采集足够数量的裂缝图像并进行预处理,利用椒盐算法对裂缝数据集添加噪声模拟复杂环境中的裂缝图像.在识别裂缝数据集时,对改进方法与原始SSD算法进行对比分析.结果表明,原始SSD算法和改进方法识别裂缝的准确性均随噪声水平的增加而降低.在高密度下添加20%等级的椒盐噪声时,原始SSD算法识别裂缝的准确率仅为31.7%,而改进方法的准确率则高达93.0%.因此,改进方法具有较强的抗噪能力,可用于复杂环境下的裂缝识别.

融合联邦学习和剪枝神经网络分布式物联网安全方法研究

针对传统物联网安全检测模型准确率不高且计算复杂度较高的问题,提出融合联邦学习和剪枝神经网络的分布式物联网安全方法。该方法在构建局部模型的基础上采用联邦学习框架构建全局模型神经元,采用剪枝方法优化全局模型神经元,以参数微调的方式构建轻量级深度学习模型。通过仿真验证了该方法对物联网恶意节点检测方面具有较好的效果及较高的安全性,可以保障物联网系统安全可靠运行。

深层神经网络混合剪枝算法在COD软测量中的应用

污水处理作为保护环境中的重要环节,出水水质指标的实时监测是不可或缺的关键过程,它反映了污水处理过程的稳定运行和出水质量信息。针对目前污水处理中化学需氧量(Chemical Oxygen Demand,COD)难以实时检测和浅层神经网络对复杂干扰情况预测的不准确,提出了一种在栈式自编码神经网络(Stacked Autoencoder,SAE)的基础上,融合最优脑外科(optimal brain surgeon,OBS)剪枝算法的软测量模型,通过实际污水处理厂的实验结果表明,此软测量模型在与常规的算法进行对比研究中精度均有提升,均方误差为1.498,R~2为96.7%,是一种快速、准确并且成本低的软测量方法。

基于遗传搜索的卷积神经网络结构化剪枝

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。结合神经网络通道级编码和自动剪枝的概念,提出了一种基于遗传算法的通道搜索模型。其主要思想是通过小波分解计算剪枝网络与原始网络特征映射的相似性,以相似度为适应度函数进行通道的搜索。在实验中,选择ResNet系列网络在ImageNet数据集上的剪枝性能进行评估,与现有的神经网络剪枝算法相比,该模型不仅具有更高的剪枝率,而且具有更好的精度。

采用深度神经网络的无人机蜂群视觉协同控制算法

针对现有基于无线通信的无人机蜂群协同控制在电磁拒止环境下无法使用的不足,提出了一种仅利用机载视觉传感器进行无人机编队的端到端控制算法。对经典YOLOv3目标检测识别网络进行了神经网络剪枝,使之适应于嵌入式系统。采用剪枝后的深度神经网络设计了无人机视觉跟随控制算法,利用深度神经网络提取目标无人机的边界框,计算该边界框与期望边界框之间的坐标误差与尺寸误差,并以坐标误差信号作为偏航角控制的反馈输入,以尺寸误差信号作为速度控制的反馈输入,控制协同无人机完成对目标无人机的跟随。与基于无线电的领航跟随算法进行了仿真对比,结果表明,采用视觉跟随的无人机跟随控制在通信干扰、全球定位系统拒止等某些特定环境下具有更好的控制性能优势。利用两架bebop2无人机进行了实测实验,结果表明:所提算法可以在2s内实现对目标无人机的状态跟随,速度控制稳态误差在5%以内,偏航角控制稳态误差在3%以内,具有良好的应用前景。

一种应用于高精度SAR ADC校准的剪枝神经网络算法

介绍了一种基于剪枝神经网络的后台校准算法,能够对高精度单通道SAR ADC的电容失配、偏移、增益等多个非理想因素同时进行校准,有效提高SAR ADC的精度。本算法不仅可以达到全连接神经网络校准效果,而且同时对贡献小的权重进行剔除,降低了校准电路的资源消耗,加快了神经网络校准算法速度。仿真结果表明,信号频率接近奈奎斯特频率的情况下,对16 bit 5 MS/s的SAR ADC进行校准,校准后ADC的有效位数从7.4 bit提高到15.6 bit,无杂散动态范围从46.8 dB提高到126.2 dB。

基于正则化网络-遗传算法的属性筛选及其在化学模式识别中的应用

采用贝叶斯正则化方法训练 ,以得到推广性优良的神经网络 ,并提出启发性的遗传算法。通过灵敏度分析对正则化网络实施剪枝 ,从而在高维模式中筛选出能代表其分类特性的最小最优属性特征子集。此方法应用于高维留兰香模式的属性筛选与模式分类 ,效果良好 ,明显优于其它方法。

基于多源信息的全局滤波器剪枝

针对现有神经网络剪枝方法未全面评估滤波器的重要性以及跨层滤波器的重要性间存在一定差异的问题,提出了一种基于多源信息的全局滤波器剪枝算法,建立了特征和权重信息间的连接.首先,根据特征信息较为丰富和权重信息受数据噪音影响低的特点,分别以特征间相关性和权重熵来评估滤波器的相对和绝对重要性.然后,将每层中不同压缩比例的滤波器看作一个整体,评估其对模型的全局重要性,按照压缩需求跨层剪掉模型中最不重要的部分.最后,采用知识蒸馏的方式来恢复剪枝后模型的精度,不依赖其他数据集就能完成模型的压缩与微调.为了验证所提方法的适用性,针对DeepLabV3、DABNet和U-Net网络在三个语义分割数据集上进行了大量的实验.也针对多种深度的ResNet网络在图像分类数据集上进行了验证.实验结果表明,通过多源信息可以更精确的评估单层中滤波器的重要性,通过全局重要性来指导跨层剪枝可以使模型的关键信息损失降到最低.