基于动态阈值增强原型网络的联邦半监督学习模型

目前,联邦半监督学习面临着有效利用训练过程中大量无标签数据的挑战。尽管通过轻量级的原型网络实现客户端之间的知识共享可以缓解伪标签质量问题,但仍然有瓶颈。本文提出一种新的动态阈值增强下的原型网络联邦半监督学习算法。通过引入课程伪标签技术,其核心是对不同类别样本的学习状态动态调整阈值,使模型能够学习高质量的样本,显著提高模型的预测性能。实验结果表明,本算法在多个数据集上均取得优异的测试性能。在CIFAR-10数据集上,本算法相对于同类算法至少提高3%的测试精度。此外在SVHN和STL-10数据集上也有1%~7%的领先优势。值得注意的是,本算法在处理异质性和同质性数据时表现出色,且对于不同比例的有标签和无标签数据都具有良好的适应性。本算法不仅提高测试精度,而且未带来额外的通信开销和计算成本。这些结果表明本算法在联邦半监督学习领域具有巨大潜力,并为实际应用提供了一个性能卓越且高效的解决方案。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于k-means和半监督机制的单类中心学习算法

提出了一个基于k-means算法框架和半监督机制的single-means算法,以解决单类中心学习问题。k-means算法实质上是对一种混合高斯模型的期望最大化(EM)算法的近似,对该模型随机生成的多类混合数据集,从目标类中随机标定的初始中心出发,能确定地收敛到该类的实际中心。将single-means算法应用到对单类文本中心学习问题中,实验结果表明:在给定目标类中的小标定文本集后,新算法能够有效地改进类的初始中心,且对数据稀疏和方差较大的实际问题具有健壮性。

基于少量标注数据的半监督K-means算法

为了获得充足的训练语料,提出了半监督的K-means算法(SSK-means),算法的运行过程中不再随机选择初始中心点,而是先从各类标注数据分别选取一个作为初始中心点,其余的则从未标注数据中选择,选择距离已选初始点较远的数据,这就保证初始点不会属于同一类,从而使得标注的结果具有较高的准确率。实验结果表明,SSK-means算法是有效的,它具有较好的性能。

基于半监督联邦学习的恶意流量检测模型

恶意流量检测是应对网络安全挑战的关键技术之一。针对采用联邦学习进行恶意流量检测时,本地标记数据不足,非独立同分布(non-IID)导致协同训练模型性能下降的问题,构建一种基于半监督联邦学习的恶意流量检测模型。该模型借助伪标记和一致性正则化项的半监督学习技术,有效地从未标记数据中提取信息进行训练;同时,设计一种非线性函数,用于动态调整客户端本地有监督和无监督损失在聚合时的权重,以充分利用未标记数据,提高模型的准确性。为降低non-IID问题对全局模型性能的影响,提出一种联邦聚合算法FedLD(Federated-Loss-Data),通过结合训练损失和数据量的权重计算方法,自适应地调整全局模型聚合过程中各客户端模型的权重。实验结果表明,在NSL-KDD数据集上,所提模型在标记数据有限的情况下能够实现较高的检测准确率,与基线模型FedSem(Federated Semi-supervised)相比,检测准确率提升了4.11个百分点,在正常流量(Normal)、拒绝服务(DoS)攻击和探测(Probe)等类别上的召回率也提升了1.65~7.66个百分点,说明所提模型更适用于恶意流量检测领域。

结合支持向量机与半监督K-means的新型学习算法

半监督学习结合少量有标签样本和大量无标签样本,可以有效提高算法的泛化性能。传统的半监督支持向量机(SVM)算法在目标函数中引入无标签样本的依赖项来推动决策面通过低密度区域,但往往会带来高计算复杂度和局部最优解等问题。同时,半监督K-means算法面临着如何有效利用监督信息进行质心的初始化及更新等问题。针对上述问题,提出了一种结合SVM和半监督K-means的新型学习算法(SKAS)。首先,提出一种改进的半监督K-means算法,从距离度量和质心迭代两个方面进行了改进;然后,设计了一种融合算法将半监督K-means算法与SVM相结合以进一步提升算法性能。在6个UCI数据集上的实验结果表明,所提算法在其中5个数据集上的运行结果都优于当前先进的半监督SVM算法和半监督K-means算法,且拥有最高的平均准确率。

基于半监督的K-means聚类改进算法

针对原始K-means算法的一系列问题,提出一种基于半监督的K-means聚类改进算法,能够自动进行聚类,找出最优K值,并且最大限度地找出孤立点。首先根据样本集自身的特点,按照"类内尽可能相似"原则一步一步形成数据集,然后对数据集进行"去噪"与合并相似簇,最后,利用少量的标记信息指导和修正聚类结果。在UCI的多个数据集上测试,结果表明改进的算法较原始算法在准确率上有较大提高,并且具有更好的稳定性。

基于约束动态更新的半监督层次聚类算法

提出了一种基于约束动态更新的半监督层次聚类算法.与现存的半监督层次聚类算法类似,该算法也使用了必连和不连约束.但不同的是,该算法并不是在对满足必连约束的数据样本点进行预先划分的基础上依据不连约束进行聚合操作,而是首先将约束扩展为一个闭包,然后在这此基础上直接依据不连约束进行聚合操作,并在聚合的过程中依据聚类结果动态地更新必连和不连约束,以保证最终的聚类结果同时满足必连和不连约束.该算法的优势在于省略了对必连约束的数据样本点进行预先划分的步骤,这一改进能够保证数据样本点获得更为合理的聚合顺序,从而得到更为准确的聚类结果.本文具体给出了该算法基于Ward层次聚类算法的实现,提出了C-Ward算法.实验表明,与其他同类算法相比,无论是在人工模拟数据集还是在现实数据集上,本文提出的算法都表现出了更高的准确性和更强的稳定性.

基于因子图模型的动态图半监督聚类算法

针对动态图的聚类主要存在着两点不足:首先,现有的经典聚类算法大多从静态图分析的角度出发,无法对真实网络图持续演化的特性进行有效建模,亟待对动态图的聚类算法展开研究,通过对不同时刻图快照的聚类结构进行分析进而掌握图的动态演化情况.其次,真实网络中可以预先获取图中部分节点的聚类标签,如何将这些先验信息融入到动态图的聚类结构划分中,从而向图中的未标记节点分配聚类标签也是本文需要解决的问题.为此,本文提出进化因子图模型(Evolution factor graph model,EFGM)用于解决动态图节点的半监督聚类问题,所提EFGM不仅可以捕获动态图的节点属性和边邻接属性,还可以捕获节点的时间快照信息.本文对真实数据集进行实验验证,实验结果表明EFGM算法将动态图与先验信息融合到一个统一的进化因子图框架中,既使得聚类结果满足先验知识,又契合动态图的整体演化规律,有效验证了本文方法的有效性.

基于循环神经网络的半监督动态软测量建模方法

数据驱动的软测量技术被广泛应用于难测关键变量的在线实时预报。然而,在工业过程中,有标签样本通常十分稀少,且动态特性显著,导致传统有监督、静态的软测量建模方法性能不佳。为此,提出一种基于循环神经网络的建模方法,首先将传统带有长短时记忆单元(LSTM)的循环神经网络(RNN)扩展为半监督模式,然后针对LSTM的不足,进一步提出一种基于注意力机制的改进方案。通过一个实际工业案例验证半监督LSTM-RNN在软测量应用中的有效性,以及所提出的改进方案的有效性。

基于非负矩阵分解的半监督动态社团检测

如何有效融合不同时刻的网络结构信息,是影响复杂网络中动态社团检测算法检测性能的关键和难点。基于此,提出了一种基于非负矩阵分解的半监督动态社团检测方法 SDCD-NMF,该方法首先有效提取了历史时刻所包含的稳定结构单元,然后将其作为正则化监督项,指导当前时刻的网络社团检测。在真实网络数据集上的实验表明,所提方法与已有方法相比具备更高的社团划分质量,更有利于探索网络的演变与发展规律。

一种基于半监督主动学习的动态贝叶斯网络算法

本文提出一种基于半监督主动学习的算法,用于解决在建立动态贝叶斯网络(DBN)分类模型时遇到的难以获得大量带有类标注的样本数据集的问题.半监督学习可以有效利用未标注样本数据来学习DBN分类模型,但是在迭代过程中易于加入错误的样本分类信息,并因而影响模型的准确性.在半监督学习中借鉴主动学习,可以自主选择有用的未标注样本来请求用户标注.把这些样本加入训练集之后,能够最大程度提高半监督学习对未标注样本分类的准确性.实验结果表明,该算法能够显著提高DBN学习器的效率和性能,并快速收敛于预定的分类精度.

基于成对约束的动态加权半监督模糊核聚类

针对样本间的不均衡性,提出一种基于成对约束的动态加权半监督模糊核聚类算法。在传统模糊聚类算法中加入半监督学习机制,通过Mercer核将原数据空间映射到特征空间,为特征空间中的每个向量分配一个动态权值,由此得到新的目标函数,并结合一种简单的核参数选择方法实现数据分类。理论分析和实验结果表明,与模糊核聚类算法及成对约束的竞争群算法相比,该算法具有更好的聚类效果。

一种融合节点变化信息的动态社区发现方法

动态社区发现旨在检测动态复杂网络中蕴含的社区结构,对于揭示网络的功能及演化模式具有重要研究价值.由于相邻时刻网络的社区结构具有平滑性,前一时刻网络的社区划分信息可以用于监督当前时刻网络的社区划分过程,但已有方法均难以有效提取这些信息来提高动态社区发现性能.针对该问题,提出一种融合节点变化信息的动态社区发现方法(Semi-supervised Nonnegative Matrix Factorization combining Node Change Information,NCI-SeNMF).NCI-SeNMF首先采用k-core分析方法提取前一时刻社区网络的degeneracy-core,并选取degeneracy-core中的节点构造社区隶属先验信息,然后对相邻时刻网络的节点局部拓扑结构变化程度进行量化,并将其用于进一步修正社区隶属先验信息,最后通过半监督非负矩阵分解模型集成社区隶属先验信息进行动态社区发现.在多个人工合成动态网络和真实世界动态网络上进行大量对比实验,结果表明,NCI-SeNMF比现有动态社区发现方法在主要评价指标上至少提升了4.8%.

结合半监督聚类的地质图像多条件生成方法

近年来深度学习技术在地质学的应用越来越广泛.地质学科中的一个重要课题是根据稀疏的空间观测数据建立合理的地下模型.最近的工作通过条件生成对抗网络来探索条件化地质建模,产生了逼真且符合空间观测数据的地质图像.然而,多数方法只关注将空间观测数据作为硬条件,忽视了对生成图像中地质属性的调节.本文引入地质属性标签调节地质图像中具体的地质属性表现,将表征地质属性类别的标签数据作为生成条件之一,扩展一个属性分类器与该标签配合,从而实现更可控的图像生成.针对属性标签的人工标注成本大的问题,本文采用半监督聚类利用少量的标注数据为无标签数据自动分配标签.此外,聚类可能产生噪声标签影响建模结果,此方法使用对称交叉熵损失改进分类网络以提高网络对于噪声标签的鲁棒性.本文在黄河地区的河流地质数据集上进行大量实验,结果表明所提出的方法对于不同的属性标签生成了地质模式不同且符合空间观测数据的逼真地质图像,证明了本方法的有效性.

结合多任务学习的半监督病理图像分割方法

病理图像自动分割是计算机辅助诊断技术的重要组成部分,可降低病理科医师工作负担,提高诊断效率和准确性。本文介绍一种结合多任务学习的半监督病理图像分割方法。该方法基于半监督的方式同时进行癌症区域图像分割与分类,即首先基于极少量像素级标注图像对分割网络进行训练,然后结合图像级标注图像同时完成图像分割及分类。在网络训练过程中,通过此2个任务的交替迭代以优化网络参数,降低了深度学习模型对图像标注的依赖性。在此基础上,模型引入了动态加权交叉熵损失函数,可利用分类预测概率值自动完成每个像素的权重分配,以提高分割网络对预测概率值较低目标区域的关注度。该策略可有效保持癌症区域的细节信息,经验证可在像素标注数据量不足的情况下对乳腺癌病理图像获得良好的癌症区域分割结果。

半监督语义动态文本聚类算法

针对传统的动态文本聚类将描述方式不同的同类文本划分到不同组中;以及聚类类别个数与真实类别数之间差距明显等问题,该文提出了一种半监督语义动态文本聚类算法(SDCS).该算法以语义表征文本的方式来捕获文本间的语义关系,在聚类过程中动态学习类别语义,让文本能根据语义准确聚类.同时该算法利用半监督聚类的方法对新类的产生进行监督,学习符合实际情况的聚类结果.实验结果表明该文提出的算法是有效可行的.

基于聚类质量的半监督INMF动态社区检测算法

为实现复杂网络的快速分析,提出一种基于聚类质量的改进非负矩阵分解(INMF)算法,将其用于动态社区检测。从理论分析角度证明了演化谱聚类、INMF和模块密度优化之间的等价性,并基于该等价性,在不增加时间复杂度的前提下,通过在INMF中加入先验信息给出一种半监督INMF算法。在人工构造和真实世界的动态网络上的实验结果表明,与QCA、MIEN算法相比,该算法的社区检测质量和社区检测效率更优。

基于半监督学习的医嘱辅助决策研究

针对常规数据挖掘方式难以从海量电子病历中有效挖掘出病历潜在价值的问题,根据电子病例数据特点,结合半监督学习方法,采用半监督k-means模型优化患者相似组划分,并综合考虑患者相似性及医嘱类别采用基于半监督LP算法确定最佳医嘱选择。通过对某三甲医院白血病电子病历进行医嘱辅助决策实验,对提出的基于半监督学习的医嘱辅助决策方法进行验证。结果表明,所提出的医嘱辅助决策方法可利用已有的医疗数据资源辅助医护人员诊疗,且其准确率优于传统基于患者相似性度量的医嘱选择方法,有助于医护人员开具准确的医嘱。

动态一致自信的深度半监督学习

基于一致性正则化和熵最小化的深度半监督学习方法可以有效提升大型神经网络的性能,减少对标记数据的需求。然而,现有一致性正则化方法的正则损失没有考虑样本之间的差异及错误预测的负面影响,而熵最小化方法则不能灵活调节预测概率分布。首先,针对样本之间的差别以及错误预测带来的负面影响,提出了新的一致性损失函数,称为动态加权一致性正则化(DWCR),可以实现对无标记数据一致性损失的动态加权。其次,为了进一步调节预测概率分布,提出了新的促进低熵预测的损失函数,称为自信促进损失(SCPL),能灵活调节促进模型输出低熵预测的强度,实现类间的低密度分离,提升模型的分类性能。最后,结合动态加权一致性正则化、自信促进损失与有监督损失,提出了名为动态一致自信(DCC)的深度半监督学习方法。多个数据集上的实验表明,所提出方法的分类性能优于目前较先进的深度半监督学习算法。