基于噪声对比估计的权重自适应对抗生成式模仿学习

传统模仿学习需满足专家样本均为质量极高的最优专家样本,这一限制条件既提高数据的采集难度也限制算法的应用场景.由此,文中提出基于噪声对比估计的权重自适应对抗生成式模仿学习算法(Weight Adaptive Generative Adversarial Imitation Learning Based on Noise Contrastive Estimation,GLANCE),在专家样本质量不一致的任务场景下可保持较高性能.首先,使用噪声对比估计训练特征提取器,改善次优专家样本特征分布.然后,为专家样本设定可学习权重系数,并对基于权重系数重分布后的样本执行对抗生成式模仿学习.最后,基于已知相对排序的评估数据计算排序损失,通过梯度下降法优化权重系数,改善数据分布.在多个连续控制型任务上的实验表明,专家样本质量不一致时,GLANCE仅需要获取专家样本数据集上5%数据作为评估数据集,就可以达到较优的性能表现.

多视图动量对比学习算法

比较同一图像不同增强的相似性是对比学习取得显著成果的关键。传统对比学习方法使用了图像的两个不同视图,为了学习到图像更多的信息以提高分类准确率,在MoCo(momentum contrast for unsupervised visual representation learning)的基础上,提出了一种多视图动量对比学习算法。每次迭代中,对于图像的多个数据增强分别使用一个查询编码器和多个动量编码器进行特征提取,使得本次迭代可以使用更多的数据增强和负样本。使用优化的噪声对比估计(InfoNCE)来计算损失,使得查询编码器能得到更有益于下游任务的特征表示。对查询编码器使用梯度回传更新网络,对各动量编码器使用改进的动量更新公式以提高模型的泛化能力。实验结果表明,使用多视图动量对比学习可以有效提高模型的分类准确率。