基于浅层网络预测的元标签校正方法

针对深度神经网络(DNN)对含有噪声标签的图像数据具有记忆行为而导致的过拟合问题,提出一种基于浅层神经网络预测的元标签校正方法。该方法采用弱监督训练方式,通过设置标签重加权网络对噪声数据进行加权操作,利用元学习方法使模型动态地学习噪声数据,并将模型中深层与浅层网络的预测输出作为伪标签训练模型,同时利用知识蒸馏算法使深层网络指导浅层网络训练,以有效缓解模型的记忆行为并提升模型鲁棒性。在CIFAR10/100、Clothing1M数据集上的实验结果表明,相较于元标签校正(MLC)方法,所提方法在对称噪声比例为60%与80%的CIFAR10数据集上的准确率分别提升了3.49、1.56个百分点;此外,在CIFAR100数据集的消融实验中,非对称噪声比例为40%时,所提方法比无预测标签训练的模型准确率最高提升了5.32个百分点,验证了所提方法的可行性与有效性。

动态旅游行程规划的标签校正算法

旅游业最重要的考虑因素之一是如何设计最佳的旅行形成计划。选择最感兴趣的地点并设计个性化的旅游行程称为旅游行程设计问题(TTDP),并可将其模拟为定向运动问题。在论文中,通过引入时间聚合图建立了一个数学规划模型,并运用基于网络规划和动态规划思想,提出了一种新的标签校正算法(Label Correcting Algorithm,LCA)来解决动态网络规划问题。最后给出一个数值例子说明该算法的有效性和可行性。

基于标签校正的端到端实体关系联合抽取

随着深度学习的快速发展与应用,联合式抽取被广泛应用于实体抽取和实体间的关系预测。虽然端到端的联合抽取方法在该领域得到了较大关注,但这类方法目前未考虑multi-token实体;同时,抽取过程中忽略了关系预测与实体抽取之间的相互影响。针对以上问题,结合Encoder-Decoder框架的特点,引入标签校正机制,提出了一种基于标签校正的端到端实体关系联合抽取方法CopyLC。实验结果证明:在更严格的评价方式下,所提出的方法与当前主流方法相比,在NYT和WebNLG数据集上均能获得更好的抽取效果。

一种基于在线蒸馏的轻量化噪声标签学习方法

利用含有有损标签的噪声数据来训练深度学习模型是机器学习中的研究热点.研究表明深度学习模型训练易受噪声数据的影响而产生过拟合现象.最近,一种将元学习与标签校正相结合的方法能够使模型更好地适应噪声数据以减缓过拟合现象,然而这种元标签校正方法依赖于模型的性能,同时轻量化模型在噪声数据下不具备良好的泛化性能.针对这一问题,本文结合元学习提出一种基于在线蒸馏的轻量化噪声标签学习方法KDMLC(knowledge distillation-based meta-label correction learning),该方法将深度神经网络与多层感知机构成的元标签校正(meta label correction,MLC)模型视为教师模型,对噪声标签进行校正并指导轻量化模型进行训练,同时采用双层优化策略训练并增强教师模型的泛化能力,从而生成更高质量的伪标签用于训练轻量化模型.实验表明,KDMLC在高噪声水平下对比MLC方法准确率提高了5.50个百分点;同时对CIFAR10数据集使用Cutout数据增强,KDMLC在高噪声水平下对比MLC准确率提升了9.11个百分点,而在真实噪声数据集Clothing1M上的实验,KDMLC也优于其他方法,验证了KDMLC的可行性和有效性.

基于自适应噪声校正的鲁棒域适应学习

域适应(Domain Adaptation, DA)学习旨在利用标签丰富的源域来帮助标签稀缺的目标域学习。DA方法通常假设源域数据已正确标记,然而现实中通常很难收集到大量带有干净标签的源实例,带有噪声源标签的噪声DA学习可能会降低目标学习性能。为此,本文提出基于自适应标签噪声校正的鲁棒DA学习方法(Robust DA Method through Adaptive Noise Correction, RoDAC)。RoDAC包含两个学习阶段,即自适应噪声标签检测(Adaptive Noise Label Detection, ANLD)和自适应噪声标签校正(Adaptive Noise Label Correction, ANLC)。在ANLD中,使用自适应噪声检测器识别带有噪声标签的源实例,并进一步在ANLC中自适应地校正噪声标签,将其重新投入域适应学习中。与基准数据集进行比较,结果表明RoDAC方法在源域标签存在噪声的域适应场景中取得了显著的性能提升。该学习策略可集成至许多现有的DA方法中,以提升其在噪声标签场景下的学习性能。

基于置信学习的低标注率辐射源个体识别算法

针对仅有少量标签数据的样本弱标注情况下辐射源个体识别难的问题,提出了一种基于置信学习的伪标签校正的辐射源个体识别方法。首先通过动态调整类内置信度,实现生成伪标签地及时校正;其次,分析样本价值,对影响模型性能的少量关键样本进行人工标注;然后利用联合交叉熵与中心损失函数,并叠加动态变化的伪标签置信度损失,同时关注类间、类内差异,最大化利用数据特征信息,实现的类内聚合和类间分离,最终实现了网络深度合理、精度与速度良好平衡的识别效果。实验结果表明:所提算法在有标记样本占比为5%、10%、20%、50%、100%等多种条件下,均可实现辐射源个体有效识别,尤其在有标签数据低占比的情况下优势明显,识别准确率分别突破70%与80%,有效减轻了有限标记样本的不足问题。