廉价卷积和解耦注意力的轻量化图像分割网络研究

近年来,基于二阶段模型的图像分割网络凭借其卓越的性能和鲁棒性,在自动驾驶、医疗等多个领域得到广泛应用.然而,这类网络的庞大模型和复杂计算量严重限制了它们在低算力、低功耗的移动端嵌入式平台上的部署.为此,本文提出了一种新的轻量级二阶段分割网络CDViT Mask R-CNN,通过采用廉价卷积和长距离解耦注意力机制(DFC)对Mask R-CNN这一图像分割领域主流模型的backbone进行重构,在平均精度(mAP)仅下降了0.4%情况下,模型整体尺寸缩减了46.5%,推理帧率(FPS)提升了12.6%.此外,本文借助DFC特性,采用基于掩模恢复的知识蒸馏策略对模型进行多尺度蒸馏,以补偿模型轻量化后的精度损失,使蒸馏后的模型精度提高了1.2%.实验结果表明,本文提出的模型在分割任务中具有更好的速度与精度权衡.