目标检测模型的轻量化研究虽已产生诸多代表性成果,但现有方法在模型高比例剪枝时会出现检测精度断崖式衰减。在探索主流目标检测网络剪枝性能衰减的根源时发现剪枝后梯度的波动是影响模型性能的关键。为此构建了基于强关联平滑约束的...目标检测模型的轻量化研究虽已产生诸多代表性成果,但现有方法在模型高比例剪枝时会出现检测精度断崖式衰减。在探索主流目标检测网络剪枝性能衰减的根源时发现剪枝后梯度的波动是影响模型性能的关键。为此构建了基于强关联平滑约束的剪枝框架(Pruning Framework based on Strong Correlation Smoothing Constraint,SCSC)。首先将历史梯度及当前梯度定义为自蒸馏理论中的教师及学生,通过学生模仿教师的方式使学生梯度最大程度接近教师梯度,实现梯度平滑;其次依据梯度平滑结果提出基于强关联约束的剪枝方案,将历史梯度与当前梯度组成强关联组,通过强化历史梯度对当前梯度更新的贡献增强模型权重参数稀疏度。在PASCAL VOC2007数据集进行测试,SCSC对比主流剪枝方法取得了2个百分点的平均精度提升;在KITTI数据集中,SCSC剪枝率为80%时,相较于原网络识别精度衰减仅为3个百分点。展开更多
文摘目标检测模型的轻量化研究虽已产生诸多代表性成果,但现有方法在模型高比例剪枝时会出现检测精度断崖式衰减。在探索主流目标检测网络剪枝性能衰减的根源时发现剪枝后梯度的波动是影响模型性能的关键。为此构建了基于强关联平滑约束的剪枝框架(Pruning Framework based on Strong Correlation Smoothing Constraint,SCSC)。首先将历史梯度及当前梯度定义为自蒸馏理论中的教师及学生,通过学生模仿教师的方式使学生梯度最大程度接近教师梯度,实现梯度平滑;其次依据梯度平滑结果提出基于强关联约束的剪枝方案,将历史梯度与当前梯度组成强关联组,通过强化历史梯度对当前梯度更新的贡献增强模型权重参数稀疏度。在PASCAL VOC2007数据集进行测试,SCSC对比主流剪枝方法取得了2个百分点的平均精度提升;在KITTI数据集中,SCSC剪枝率为80%时,相较于原网络识别精度衰减仅为3个百分点。