基于对抗擦除的细粒度图像数据增强方法

不同于常规图像识别,细粒度图像识别中不同类别的视觉差异往往只取决对象的细微部件,因此对于细粒度图像识别任务而言,发现对象具有判别力的细微部件发挥了重要作用。为此,文中提出了基于对抗擦除的数据增强方法(AEDA),在训练阶段首先通过特征图定位对象最具有判别力的细微部件作为增强的部件图像,然后擦除对象最具有判别力的细微部件作为增强的互补图像。通过输入部件图像可以使网络学习对象最具有判别力的细微部件,通过输入互补图像可以迫使网络发现对象其他具有判别力的细微部件。在细粒度图像识别领域的三个经典公开数据集上的实验结果表明文中所提数据增强方法可以大幅提升模型性能且全面优于基于擦除的经典数据增强方法Cutout。此外引入定位模块(AOLM),使文中所提方法识别性能进一步提升,在CUB、Aircraft、Car数据集上分别达到了88.7%、94.2%、95.3%的识别精度。同时该方法还大幅度提升了定位性能,表明其在弱监督目标定位视觉任务的潜力。

基于渐进对抗学习的弱监督目标定位

针对实际应用中大量数据集缺乏精细位置标注的问题,提出了一种基于渐进对抗学习的弱监督目标定位算法。具体来说,针对数据集噪声造成训练困难的问题,引入自步学习对训练数据按由简到难的原则进行排序。在网络设计上,将弱监督目标定位网络设计为多标签分类网络,并提出了相应的对抗损失函数适应目标定位任务。为了解决现有方法往往只关注最具辨别力的部分,无法定位整个目标的问题,提出一种金字塔对抗擦除机制以此在最后的定位图中发现完整的目标。在数个标准的数据集的实验表明,该算法具有较高的定位精度,与最先进的弱监督目标定位的方法相比具有一定的竞争力。

采用多部件学习的细粒度图像识别

现有基于交叉熵损失函数的细粒度识别方法倾向于发现对象最具有判别性的部件,忽略其他同样关键的具有判别性的次要部件.为了发现尽可能多的、具有辨别性的局部部件,提出采用多部件学习的细粒度图像识别方法.首先提出一个无参数的基于语义块混合的图像数据增强模块,通过交换图像对中最具有判别性的部件,在增广训练数据的同时避免引入无关背景噪声,提高网络对输入扰动灵敏度的鲁棒性和泛化能力;然后提出多部件对抗擦除模块,在注意力和伯努利分布引导下擦除特征图上最具判别性区域,迫使网络学习发现特征图上其他辨别性区域,注意力引导保证擦除区域具有足够的判别性,伯努利分布引导保证擦除区域的多样性;最后通过融合中层特征,进一步提升网络性能.所提方法具有模型无关特性,可以作为一种即插即用模块,与现有多种主干网络相结合.以ResNet-50为主干网络,在3个公开数据集CUB-200-2011,FGVC-Aircraft和Stanford Cars上的实验结果表明,所提方法的分类精度分别达到89.2%,95.5%和94.0%;该方法能够发现更多辨别性部件,且准确率优于相同主干网络下的对比方法.