基于信息瓶颈理论的鲁棒少标签虚假信息检测

虚假信息检测对于维护网络舆情安全具有重要意义.研究表明,虚假信息在信息内容和传播结构上较真实信息具有显著不同.为此,近年来研究致力于挖掘信息内容和信息传播结构,提升虚假信息检测的精准性.然而,现实场景中虚假信息的标注往往需要大量地与官方报道等比照分析,代价较为昂贵,现有方法对标注信息的过分依赖限制了其实际应用.此外,虚假信息传播者可通过在评论区控评等手段恶意操纵虚假信息的传播,增加了虚假信息检测的难度.为此,基于信息瓶颈理论提出一种鲁棒少标签虚假信息检测方法,通过互信息最大化技术融合无标注样本信息,克服虚假信息检测对标签的过分依赖问题;并通过对抗训练的策略模拟虚假信息传播者的恶意操纵行为,基于信息瓶颈理论学习鲁棒的虚假信息表征,在高质量表征虚假信息的同时消除恶意操纵行为的影响.实验表明,该方法在少标签识别和鲁棒性2个方面均取得了优于基准方法的效果.

少标签下油浸式变压器双层故障诊断模型

针对油浸式变压器数据样本标记困难,有标签样本数据量较少,传统故障诊断方法精度低的问题,提出了基于GBDT与K-means增益聚类的少标签下油浸式变压器双层故障诊断模型。首先,采用SAE对表征变压器状态的高维特征气体进行降维,去除冗余信息,得到包含变压器运行状态的低维特征向量作为后续分类器的输入;其次,构建双层故障诊断模型;针对无标签样本,引入GBDT方法作为所提模型首层,获取无标签样本的伪标签;为进一步提高诊断精度,提出基于无标记样本伪标签的K-means聚类增益,作为新的特征向量,输入末层模型K-means用以实现二次诊断的目的。实验分析表明,在少标签状态下,所提的方法可有效提升变压器故障诊断精度,相较于传统方法,在诊断精度上至少提升了6%。为少标签下的油浸式变压器故障诊断提供了新的思路。

一种全面的少标签样本情形下的知识蒸馏方法

【目的】针对在自然语言处理中有标签样本稀缺和高性能的大规模参数量模型训练成本高的问题,本文在有标签样本不足情况下,通过知识蒸馏方法,提升在高性能大参数量模型指导下的小参数量模型性能。【方法】通过噪声提纯方法,从无标签数据中获取有价值的数据并赋予其伪标签,增加有标签样本数量;并在传统蒸馏模型基础上增加知识回顾机制和助教模型,实现从大参数量模型到小参数量模型的全面的知识迁移。【结果】在IMDB、AG_NEWS、Yahoo!Answers数据集的文本分类和情感分析任务上,使用原数据集规模的5%作为有标签数据,准确率表现与使用全部数据训练的传统蒸馏模型分别仅相差1.45%、2.75%、7.28%。【局限】仅针对自然语言处理中的文本分类以及情感分析任务进行实验研究,后续可进一步扩大任务覆盖面。【结论】本文所提方法在少量有标签样本的情形下,实现了较好的蒸馏效果,使得小参数量模型的性能得到显著提升。

具有信息交互的少标签水下语义分割

针对水下少标签语义分割的类内差距问题,提出一种具有信息交互的FUSS模型,通过将提取的询问图像全局特征信息和支持图像目标局部特征信息进行交互,实现对共性对象信息的有效关注。实验结果表明,在仅使用50张支持数据集情况下,与CaNet、PGNet和PaNet三种少标签语义分割算法对比,FUSS模型无论是在水下环境还是在地面图像上均优于这些算法。

基于半监督自学习的光伏系统故障检测方法

对光伏系统的主要设备进行及时的故障检测能有效提高系统发电量、减少安全隐患。传统的基于机器学习和深度学习的方法通常需要大量标签数据来建立数据模型,然而在光伏系统的运行过程中可用的标签数据非常有限,造成无法建立一个可靠的数据模型,导致模型的泛化性不高。此外,人工标记数据既成本高昂又易出错。为了解决这个挑战,设计了基于自学习预训练和半监督模型调优的半监督自学习的故障检测方法。该方法通过最大程度地利用少量的有标签的数据(即有限的监督信息)和大量的无标签数据,实现高性能的故障检测。该方法已经部署到国内一个2.5 MW的光伏电站上,数月的运维结果表明,相对于传统的机器学习和深度学习的方法,本文所提出的方法针对光伏组串的故障检测的F1分数提升了4.49%或更多,从而有效地提升了现场运维的效率。

ReLSL:基于可靠标签选择与学习的半监督学习算法

深度神经网络在众多视觉表征领域取得了显著的成功,如目标检测、识别等.然而,需要大量良好标记的数据进行训练是它们最普遍的限制之一.在实际应用中,为每一个要学习的新任务建立庞大的标记数据集是极其昂贵,甚至是不可行的.半监督深度学习,通过在有限标记数据的条件下充分挖掘大量的未标记数据信息,从而达到与监督学习相媲美的分类精度.然而,当标记数据极其稀少时,现有半监督算法的性能会受到严重影响.因此,本文提出了一种可靠标签选择与学习(Reliable Label Selection and Learning,ReLSL)算法,以解决在仅有极少量标签图像数据时半监督深度学习所面临的问题.具体地,本文首先运用无监督学习方法提取样本特征,并应用基于图的标签传染算法得到无标签样本的伪标签.而后,为了筛选出更为可靠、有更多信息的样本,本文提出了一种综合考虑样本输出均值和一致性的伪标签学习与标定策略.在获得具有扩展标签的数据集后,考虑到训练样本中引入一定比例的标签噪声无可避免,因此本文提出两种策略来训练高鲁棒半监督深度模型:标签平滑策略(Label Smoothing Strategy,LS),用以避免标签过于尖锐;均值偏移校正策略(Mean Shifting Correction Strategy,MSC),用以降低样本输出偏移风险.实验结果表明,在CNN-13、WRN-28-2及ResNet-18各种网络结构下,本文所提出的ReLSL算法在CIFAR-10/100、SVHN、STL-10和Mini-ImageNet数据集上均表现出先进的性能.特别地,本文算法在WRN-28-2网络结构下仅有10个标记数据的CIFAR-10上,相较于最新算法具有6.78%的准确率提升;在CNN-13网络下仅有100个标记数据时,可以达到目前主流半监督学习算法4000标记时的测试误差6.39±0.47%.