图像分布外检测研究综述

分类器学习一般假设训练样本和预测样本具有独立同分布.由于该条件过强,实践中当分类器面向分布外(Out-of-Distribution,OOD)样本时容易导致预测错误.因此,对OOD检测进行深入研究就显得尤为重要.文中首先介绍OOD检测的概念及其相关研究领域,根据网络训练方式的差异性对有监督的检测方法、半监督的检测方法、无监督的检测方法和异常值暴露的检测方法进行系统概述.然后按照关键技术从神经网络分类器、度量学习和深度生成模型三方面总结现有OOD检测方法.最后讨论OOD检测未来的研究方向.

谛听:面向鲁棒分布外样本检测的半监督对抗训练方法

检测训练集分布之外的分布外(out-of-distribution,OOD)样本对于深度神经网络(deep neural network,DNN)分类器在开放环境的部署至关重要.检测OOD样本可以视为一种二分类问题,即把输入样本分类为“分布内(in-distribution,ID)”类或“分布外”类.进一步地,检测器自身还可能遭受到恶意的对抗攻击而被再次绕过.这些带有恶意扰动的OOD样本称为对抗OOD样本.构建鲁棒的OOD检测器以检测对抗OOD样本是一项更具挑战性的任务.为习得可分离且对恶意扰动鲁棒的表示,现有方法往往利用辅助的干净OOD样本邻域内的对抗OOD样本来训练DNN.然而,由于辅助的OOD训练集与原ID训练集的分布差异,训练对抗OOD样本无法足够有效地使分布内决策边界对对抗扰动真正鲁棒.从ID样本的邻域内生成的对抗ID样本拥有与原ID样本近乎一样的语义信息,是一种离分布内区域更近的OOD样本,对提升分布内边界对对抗扰动的鲁棒性很有效.基于此,提出一种半监督的对抗训练方法——谛听,来构建鲁棒的OOD检测器,用以同时检测干净OOD样本和对抗OOD样本.谛听将对抗ID样本视为一种辅助的“近OOD”样本,并将其与其他辅助的干净OOD样本和对抗OOD样本联合训练DNN,以提升OOD检测的鲁棒性.实验结果表明,谛听在检测由强攻击生成的对抗OOD样本上具有显著的优势,同时在原分类主任务及检测干净OOD样本上保持先进的性能.

基于半监督学习的未知异常检测方法

异常检测旨在识别偏离预期行为模式的数据.虽然半监督异常检测方法可以充分利用有限的标签数据作为先验知识来提高检测准确性,但是收集到的标记异常(即已知异常)很难覆盖所有类型的异常并且在现实场景中往往存在着一些新型的异常(即未知异常),这些异常可能与已知异常表现出不同的特性,因此难以被现有的半监督异常检测方法识别.针对该问题,提出了一种基于半监督学习的未知异常检测(semi-supervised unknown anomaly detection,SSUAD)方法,旨在同时识别已知异常和未知异常.该方法利用闭集分类器对已知异常和正常分类,利用未知异常检测器检测未知异常.此外,还考虑了异常场景中异常和正常极端不平衡的情况,设计了有效的数据增强方法来扩充异常样本的数量.在UNSW-NB15和KDDCUP99数据集以及一个真实数据集SQB上进行了实验,实验结果表明,相较于现有的异常检测方法,SSUAD在异常检测性能指标AUC-ROC(area under receiver operating characteristic curve)和AUC-PR(area under precision-recall curve)上都有明显的提升.证明了SSUAD的有效性和合理性.

可信的图神经网络节点分类方法

为了研究节点特征表示的不确定性对节点分类的影响,提出一种可信的图神经网络节点分类方法。算法使用径向基函数计算节点间距离,得到各类节点质心后,根据距离分配与未标记节点最近质心的类别标签提高节点分类性能,同时定义未标记节点和质心之间的距离为模型输出的不确定性,并使用梯度惩罚损失加强输入变化的可检测性,可以有效地检测分布外节点样本。在Cora、Citeseer和Pubmed这3个公开网络数据集上的结果表明:模型在分类任务的AUROC指标分别达到81.5%、76.2%和74.6%,在分布外样本检测任务中AUROC指标分别达到83.6%、72.8%和70.6%,证明了所提算法在提高节点分类性能的同时,可以有效检测分布外的节点样本,提高了节点分类的可信性。

基于OOD评分的工业缺陷增强数据筛选研究

在基于深度学习的工业缺陷检测中,数据增强能在一定程度上缓解部分缺陷数据缺乏的窘境,但如何从大量增强数据中筛选出有效的增强数据,提升工业检测模型的性能,目前尚未有相关研究。针对这一问题,进行了基于分布外检测(Out-of-Distribution Detection,OOD)评分的工业缺陷增强数据筛选研究。首先使用pix2pix网络生成工业增强数据,接着采用基于深度集成的OOD评分方法获得OOD评分,并利用该评分对增强数据进行分组;然后通过降维投影视图对增强数据分布进行分组观察;最后使用目标检测算法对增强数据进行分组缺陷检测,根据目标检测模型的精度增益探索分布外程度对增强数据质量的影响。实验结果表明,OOD评分较高的工业缺陷增强数据与训练数据分布差异较大,将这部分增强数据用于训练集的数据扩充能够提高模型的泛化性,可以更有效地提升目标检测算法的检测精度。

基于RBF神经网络的可信加密流量分类方法

网络流量分类广泛应用于网络资源分配、流量调度、入侵检测系统等研究领域。随着加密协议的普及和网络流量快速发展,基于深度学习的流量分类器由于其自动提取特征的特性和较高的分类准确性,逐渐受到科研人员的重视,但是面向网络流量分类的可信程度方面却不曾有研究。本文提出一种基于RBF神经网络对加密网络流量进行可信分类的方法。所提算法建立在RBF网络的思想上并采用一种新的损失函数和质心更新方案来进行训练,通过使用梯度惩罚强制检测输入的变化,能够有效地检测分布外的数据。在2个公共的ISCX VPN-nonVPN和USTC-TFC2016流量数据集上,与同类算法相比,所提算法取得了最好的分布外检测结果,在AUROC指标上达到98.55%。实验结果表明所提算法在具有较高分类性能的同时,能够有效地检测出分布外的流量数据,从而提高流量分类的可信性。