基于记忆提炼的对比度量增强在线类增量学习图像分类方法

图像分类中类增量学习具有知识灾难性遗忘现象,现有的基于经验回放方法着重考虑的是记忆库的更新和采样方式,忽略了新旧样本之间的特征关系。为此,提出了一种基于记忆提炼的对比度量增强在线类增量学习图像分类方法(cME 2),设计了两种新的正负样本对,对旧样本信息进行了加强重复再利用,强化了模型对冗余特征和共性特征的表达能力,基于最近邻均值分类器改善了嵌入空间中的样本分布合理性。最后,通过对比实验和消融实验验证了所提方法的有效性和高效性。

面向多姿态点云目标的在线类增量学习

针对目前增量学习中所面向目标都是固定姿态这一现象,本文考虑了更严格的设定,即面向多姿态目标的在线类增量学习,并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先,将2D/3D目标进行点云化处理,以方便提取目标的有效几何信息;其次,基于SE(d)(d=2,3)群对网络进行平移旋转等变性改进,使网络能够提取更丰富的几何信息,从而降低模型在每个任务中受目标姿态的影响;最后,根据损失变化采样特定样本用于重放来缓解灾难性遗忘。实验结果表明,在面对固定姿态目标MNIST、CIFAR-10时,本文方法的最终平均精度分别达到了88%和42.6%,与对比方法结果相近,但最终平均遗忘率明显优于对比方法,分别降低了约3%和15%。在面对多姿态目标RotMNIST、trCIFAR-10时,本文方法依旧能很好地保持在固定姿态目标中的表现,基本不受目标姿态的影响。此外,在3D数据集ModelNet40中的表现也依旧稳定。本文所提方法在在线类增量学习中能够不受目标姿态的影响,同时能缓解灾难性遗忘,具有很好的稳定性和可塑性。

基于IMIU的在线类增量对比学习

在线类增量连续学习旨在数据流场景下进行有效的新类学习,并保证模型满足小缓存和小批次约束.然而由于数据流的单趟(one-pass)特性,小批次内的类别信息难以如离线学习那样被多趟探索利用.为缓解该问题,目前常采用数据多重增广并借助对比回放建模.但考虑到小缓存和小批次限制,现有随机选择和保存数据的策略不利于获取多样性的负样本,制约了模型判别性.已有研究表明困难负样本是提升对比学习性能的关键,但这鲜少在在线学习场景被探索.Universum学习提出的概念含混(condued)数据恰好提供一种生成困难负样本的简单直观思路,据此先前用特定系数插值混合(mixup)诱导出的Universum数据(mixup-induced Universum,MIU)已有效提升了离线对比学习的性能.受此启发,尝试将其引入在线场景.但不同于先前静态生成的Universum,数据流场景面临着某些额外挑战.首先随类数的动态增加,相对基于全局给定类生成的静态Universum不再适用,需重新加以定义和动态生成,为此提出仅利用当前数据(局部)递归生成相对已见类熵为最大的MIU(称为增量MIU,IMIU),并为其提供额外的小缓存从总体上满足内存限制;其次将生成的IMIU和小批次内的正样本再次插值混合出多样且高质的困难负样本.最后综合上述各步,发展出基于IMIU的在线类增量对比学习(incrementally mixup-induced Universum based online class-increment contrastive learning,IUCL)学习算法.在标准数据集CIFAR-10、CIFAR-100和Mini-ImageNet上的对比实验验证所提算法一致的有效性.