动态步长卷积及其层间可解释性方法

基于卷积神经网络的图像处理方法将卷积步长设置为与输入图像无关的固定值,输入图像的重要区域和不重要区域分配的卷积资源相等,从而导致资源分配不合理和网络冗余.针对该问题,本文提出动态步长卷积(Dynamic Stride Convolution,DSC)方法,通过学习一组与输入数据相关的偏移量来修改卷积核卷积步长,将更多的计算自适应分配给感兴趣区域.此外,本文利用学习到的偏移量来可视化卷积分布,提出层间可解释分析方法,以极低的计算消耗生成直观的可解释图,有助于研究人员分析卷积层之间的注意力分布.为了进一步优化卷积资源分配,本文设计新的损失函数来有效提高DSC的性能并实现对资源位置的编辑,并结合层间可解释分析方法将资源编辑可视化.本文将DSC嵌入到目标检测和图像分割等不同任务中,实验结果表明,在COCO数据集上不同网络的mAP(mean Average-Precision)增加了2%以上,证明了DSC方法的有效性.