基于知识蒸馏的轻量化Transformer目标检测

在自动驾驶领域,目标检测的高效性和准确性尤为重要,基于Transformer结构的目标检测方法逐渐成为主流,省去了复杂的锚点生成和非极大值抑制。针对现有方法计算成本高和收敛速度慢的问题,设计了一种基于池化操作的轻量化Transformer目标检测模型(LPT),包含了池化主干网络和双池化注意力机制,设计了针对DETR(detection transformer)模型的通用知识蒸馏方法,将预测结果、查询向量和教师提取的特征作为知识传递给轻量化的Transformer模型,帮助其提升精确度性能。通过在MS COCO 2017数据集上的实验,验证经过蒸馏的LPT模型在自动驾驶中的应用潜力,实验结果表明:本文方法具有较好的准确性,与一些先进的方法相比具有一定优势。