基于可融合残差卷积块的深度神经网络模型层剪枝方法

针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼具推理时间短和剪枝效果好的优点。实验结果表明,在图像分类任务和目标检测任务中,该方法可使模型在精度损失较小的情况下获得极高的压缩率,优于先进的卷积核剪枝方法。

基于权重和BN层剪枝的晶界检测模型压缩算法探析

性能优越的晶界缺陷检测模型往往存在网络参数量过多、结构冗余及推理时间慢的问题,导致模型部署过程成本高、时延长。针对上述问题,通过稀疏化权重和通道剪枝对晶界检测算法EfficientDet网络进行模型压缩。由数据验证可知,剪枝后的晶界模型检测时间约降为1/2,参数量降低70%,网络模型计算量FLOPs降低60%左右。

基于联合剪枝深度模型压缩的种子分选方法研究

现有基于深度学习的种子分级分选方法已取得了理想的识别效果,但由于分选方法的性能依赖于模型的宽度和深度,导致模型参数量显著增加,使其难以部署在实际应用中资源受限的边缘设备上。为此,提出了一种通道和卷积层联合剪枝的深度模型压缩方法,在通道剪枝阶段,将稀疏正则化训练的BN层参数作为衡量通道重要性的指标,在不损失模型精度的前提下,实现最大限度的通道剪枝压缩。然后提出基于线性探针的层剪枝方法,在压缩模型的同时减少内存访问,从而提升模型推理速度。最后采用知识蒸馏技术对剪枝网络进行知识迁移,补偿网络因剪枝而造成的精度损失。结果表明,在红芸豆和玉米种子数据集上所提出的方法使模型计算量减少86.55%和91.55%情况下,分别实现了实际推理速度2.1倍和2.8倍的提升,且仍保持较好的识别准确度(97.38%和96.56%),为模型在实际种子分选系统的部署提供技术支撑。

基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法:在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。

一种基于灵敏度分析的神经网络剪枝方法

根据灵敏度矩阵提出了一种简单的灵敏度定义,该定义反映了单个输入节点对整个网络性能的影响。进而,基于该灵敏度定义提出了神经网络输入层剪枝算法。最后,通过UCI机器学习数据库中的两个模式分类例子验证方法的有效性。

基于改进YOLO v4的轻量化烟梗识别方法

为完成烟叶精选工艺流程中打叶复烤后破碎烟叶的进一步去梗,实现破碎烟叶中烟梗的自动化检测,文章提出基于改进YOLO v4的轻量化烟梗识别方法。在YOLO v4基础模型上先后进行通道剪枝和层剪枝,大幅简化模型结构,改进后模型存储空间下降了93.77%,模型平均精度均值(mean average precision,mAP)和前向运算时间与基础模型持平。与同类别算法相比,模型精度平均提升8.7%,模型参数量大幅缩减。实验结果表明该实验剪枝模型更具轻量化,识别效果更好,能够满足实际生产需求。

面向巡检机器人的电力设备状态检测算法研究

为更高效利用变电站巡检机器人开展电力巡检工作,满足电力行业发展对智能化巡检的需求,研究了面向电力巡检机器人的电力设备状态检测算法。首先,根据深度网络部署硬件芯片应用情况与性能对比,选择海思Hi3559A芯片作为算法移植的嵌入式平台。然后综合考虑各种检测算法的精度与速度,选用YOLOv3算法作为设备状态检测的基本判别模型。为了提升检测算法速度并减少模型体积,开展模型压缩算法及轻量型YOLOv3模型设计研究,分别提出了改进的小型化YOLOv3模型和基于通道剪枝与层剪枝结合的模型压缩方法,提高模型上下层的语义信息及剪枝后模型的精度保持。根据测试结果选择最优的模型在机器人前端部署,提出的轻量化YOLOv3模型很好地保持了设备目标与异物检测的精度,检测速度提升了4倍。