基于分层精简双线性注意力网络的鱼类识别

由于水下鱼类图像采集困难,现有的数据集主要以视频提取为主,采集到的鱼类图像存在背景环境复杂、像素低下等问题,使得细粒度鱼类图像识别任务难度较大。针对上述问题,提出了一种基于空间域注意力机制和分层精简双线性特征融合的网络。识别网络可进行端到端的训练,由两部分组成:第一部分是以空间变换网络(STN)为注意力机制的背景过滤网络;第二部分以vgg16网络作为特征提取器,根据高层卷积部分对鱼类图像细粒度特征响应的差异性,选取三组特征进行降维近似的网络精简融合,最终级联三组融合的特征送入softmax分类器。特征提取网络以ImageNet数据集上训练的参数进行初始化,采用鱼类数据集进一步微调。通过在F4K鱼类数据集上的对比验证,结果表明,所提出的分层精简双线性注意力网络(STN-H-CBP)在降低特征维度减少计算量的同时,在该数据集上的表现与现有的最优方法相当。