结合金字塔和长短期记忆网络的细粒度图像分类

细粒度图像分类任务的难点在于类间局部信息差异小.针对现有方法忽略低级特征的重要性,导致局部多样性缺失的问题,提出一种结合金字塔和长短期记忆网络的细粒度图像分类方法.首先,利用特征金字塔和挤压激励模块构建双向特征传递路径,以极少的参数量和计算量实现低级特征流动,从而提取局部的多级特征;接着,通过感兴趣区域引导的局部精炼金字塔,抑制显著区域,提高局部定位的多样性;最后在长短期记忆网络中引入注意力门控,调节各级特征中对细粒度信息的关注度,从而挖掘细粒度特征,并增强其鉴别性.在CUB-200-2011、Stanford Cars和FGVC-Aircraft数据集的分类准确率分别达到90.8%、95.9%和95.4%,明显优于目前主流的细粒度图像分类方法,相较于对比方法的最好结果分别提升1.2%、0.8%和2.0%.

选择并融合粗细粒度特征的细粒度图像识别

目的在细粒度图像识别任务中,类内图像姿势方差大,需要找到类内变化小的共性,决定该任务依赖于鉴别性局部的细粒度特征;类间图像局部差异小,需要找到类间更全面的不同,决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位,没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此,提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法设计一个细粒度特征选择模块,通过空间选择和通道选择来突出局部的细粒度鉴别性特征;构建一个粗粒度特征选择模块,基于细粒度模块选择后的局部,挖掘各局部间的语义和位置关系,从而获得为细粒度局部提供补充信息的粗粒度多样性特征;融合这两个模块中提取到的细粒度特征和粗粒度特征,形成互补的粗细粒度表示,以提高细粒度图像识别方法的准确性。结果在CUB-200-2011(caltech-UCSD birds-200-2011)、Stanford Cars和FGVC-Aircraft(fine-grained visual classification aircraft)3个公开的标准数据集上进行广泛实验,结果表明,所提方法的识别准确率分别达到90.3%、95.6%和94.8%,明显优于目前主流的细粒度图像识别方法,相较于对比方法中的最好结果,准确率相对提升0.7%、0.5%和1.4%。结论提出的方法能够提取粗粒度和细粒度两种类型的视觉特征,同时保证特征的鉴别性和多样性,使细粒度图像识别的结果更加精准。