基于低秩双线性池化注意力网络的舰船目标识别

针对多模态舰船图像融合识别质量不高等问题,构建了一种端到端的低秩双线性池化注意力网络。首先对各模态原始特征向量基于跨模类别中心进行注意力加权重构,使不同模态特征更好地关注公共类别信息;然后采用双线性池化捕获不同模态图像的交互信息,并引入权重低秩分解降低网络参数规模;最后依靠特征级联实现模态信息的交互与互补,并设计联合损失提升网络跨模态融合识别效果。实验结果表明,相比现有融合方法,所提方法可有效提升多模态遥感舰船图像的融合识别效果,在公开的遥感舰船数据集上取得了较高的识别准确率。