基于互信息软聚类的个性化联邦学习算法

联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分布的客户划分为一个集群,利用部分客户数据同构的特点减少了数据异构对联邦学习的影响,但忽略了客户属于多个集群的可能性。基于客户数据近似服从多种数据分布的思想,提出基于互信息软聚类的个性化联邦学习算法(pFedMS)。针对目前联邦学习客户聚类指标无法准确反映模型特征相似性的不足,给出基于模型特征的互信息公式作为聚类指标,有效区分相似客户;提出基于类内距离和类间距离的聚类合理性衡量方法,用于动态调整聚类结果;根据隶属度计算客户与集群的相似性,允许客户同时属于多个集群,提高聚类算法的性能。在CIFAR-10和FMNIST数据集上的实验结果表明,pFedMS算法相较于FedAvg、CFL等对比算法,客户最高平均测试准确率提高了2.4~3.0个百分点。

基于合作博弈和知识蒸馏的个性化联邦学习算法

为克服联邦学习(FL)客户端数据和模型均需同构的局限性并且提高训练精度,该文提出一种基于合作博弈和知识蒸馏的个性化联邦学习(pFedCK)算法。在该算法中,每个客户端将在公共数据集上训练得到的局部软预测上传到中心服务器并根据余弦相似度从服务器下载最相近的k个软预测形成一个联盟,然后利用合作博弈中的夏普利值(SV)来衡量客户端之间多重协作的影响,量化所下载软预测对本地个性化学习效果的累计贡献值,以此确定联盟中每个客户端的最佳聚合系数,从而得到更优的聚合模型。最后采用知识蒸馏(KD)将聚合模型的知识迁移到本地模型,并在隐私数据集上进行本地训练。仿真结果表明,与其他算法相比,pFedCK算法可以将个性化精度提升约10%。

整县光伏下基于个性化联邦学习的光伏出力及负荷功率预测

随着整县光伏工程的推进,对分布式屋顶光伏出力及用户负荷功率的准确预测是配电网运行优化的基础。现有基于数据驱动的预测方法对整县光伏场景中不平衡不充分的非独立同分布数据集适应性较低,且无法满足用户日益增强的数据隐私保护意识。为此,以用户侧电表历史数据为可用信息,提出一种基于长短期记忆网络(longshort-term memory,LSTM)的个性化联邦学习(personalizedfederated learning,PFL)光伏出力及负荷功率预测方法。该方法应用交换各用户模型参数代替聚合所有用户原始数据,提高了训练效率,保障了数据隐私。通过上传部分而非全部模型参数的方式保留用户个性化差异,提高了模型对单个用户的预测准确度,增强了算法在不平衡数据集上的适应能力。以澳大利亚配电网光伏及负荷数据为例进行分析,验证了所提建模方法的有效性与优越性。

基于个性化联邦学习的肾脏肿瘤分割方法

为保护多方医院数据隐私以及数据不平衡等问题,以肾脏肿瘤CT影像为研究对象,提出一种基于个性化联邦学习的肾脏肿瘤分割方法。首先,以经典的深度残差网络SEResNet为基础,结合深监督模块来提高目标分割的精度;其次,在联邦平均算法框架下,引入基础层与个性化层联合学习策略,克服多方数据不平衡带来模型精度下降问题。经KiTS21挑战赛数据集实验验证,文章方法获得的肾脏+肿瘤+囊肿、肿瘤+囊肿和肿瘤分割Dice分别为93.61%、67.18%、61.01%,与集中式学习相比,仅分别低0.56%、7.18%和9.34%,表明本文方法以可接受的精度损失换取了数据的隐私安全。

基于SK注意力机制的个性化联邦学习方法

人们对隐私保护和数据安全的日益重视,促使联邦学习应运而生,然而,传统的联邦学习算法采用平均化处理局部模型参数,而未能考虑到特征提取的相关性以及各客户端之间的数据差异性。本文基于SK注意力机制提出一种联邦学习新算法,能更好进行图像特征提取,使用户模型更加个性化,提高模型的准确度。仿真结果表明,本算法有较好的个性化学习能力,收敛速度较快。

开启联邦学习的个性化时代:隐私、安全与效率的平衡探索

人工智能为公共和国防安全的发展和应用提供了巨大的机遇,然而国防安全数据包含了敏感的军事、情报和战略信息,一旦泄露或被滥用,可能对国家安全造成严重威胁,如何确保国防安全数据的隐私保护成为一项重要挑战.个性化联邦学习是近年来发展起来的一种新型的机器学习方法,它旨在通过将分布式的数据在本地进行训练和更新,从而实现在保护数据隐私的前提下提高本地模型的准确性和鲁棒性.与传统的中心化机器学习方法不同,个性化联邦学习允许不同数据拥有者之间共享模型的信息,而不是数据本身.这种方法已经在医疗、金融、物联网等领域得到了广泛的应用.本文从全局模型个性化和本地模型个性化两个方面分别介绍了个性化联邦学习的基本原理以及研究现状,总结了各个方法的优缺点,并讨论了现有方法的评价指标和常用数据集,最后展望了它在未来的发展前景.

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

基于数据分布的聚类联邦学习

联邦学习(federated learning)可以解决分布式机器学习中基于隐私保护的数据碎片化和数据隔离问题。在联邦学习系统中,各参与者节点合作训练模型,利用本地数据训练局部模型,并将训练好的局部模型上传到服务器节点进行聚合。在真实的应用环境中,各节点之间的数据分布往往具有很大差异,导致联邦学习模型精确度较低。为了解决非独立同分布数据对模型精确度的影响,利用不同节点之间数据分布的相似性,提出了一个聚类联邦学习框架。在Synthetic、CIFAR-10和FEMNIST标准数据集上进行了广泛实验。与其他联邦学习方法相比,基于数据分布的聚类联邦学习对模型的准确率有较大提升,且所需的计算量也更少。

一种基于移动式服务器的联邦学习

针对现有联邦学习同步更新模型不易实现,以及客户端数据分布差异较大时服务器集中融合客户端模型将带来负效应,导致全局模型性能较差的问题,提出了一种基于移动式服务器的联邦学习框架。首先在客户端使用梯度下降法,在服务器则基于模型知识迁移提出移动式联邦融合算法,实现移动异步更新。其次基于移动式服务器的联邦学习框架构建个性化联邦学习机制,解决非独立同分布(non independent and identically distributed,Non-IID)设置时客户端本地模型分类性能较低的问题。最后在3种基准数据集上进行仿真验证,结果表明,与现有方法对比,所提算法实现全局模型分类的精度及所需的通信轮数均优于基线方法。

相似度感知蒸馏的统一弱监督个性化联邦图像分割

目的 联邦学习允许多个机构在不侵犯数据隐私、安全的前提下协作训练强大的深度模型。现有多数联邦范式在处理多中心不同数据分布时性能通常会下降,且弱监督条件下的联邦范式鲜有研究,特别是各站点数据采用不同形式稀疏标注的情况。针对该问题,提出一种站点分布相似度感知知识蒸馏的统一弱监督个性化联邦学习框架(unified weakly supervised personalized federated image segmentation via similarity-aware distillation,pFedWSD),以应对多中心数据分布和标注上的差异。方法 所提出的pFedWSD通过循环知识蒸馏为每个站点训练个性化模型,包含动态循环公共知识积累及个性化两个阶段。第1阶段以不确定度感知方式动态地排序每轮训练中各站点模型性能,并以循环知识蒸馏的形式积累公共知识;第2阶段通过批标准化层的统计信息来度量各站点间相似性并聚合得到各站点教师模型并进行知识蒸馏。在弱监督方面,引入门控条件随机场损失和树能量损失相结合的训练目标,以产生更为精确的伪标注监督信号。结果 在眼底视杯视盘分割和视网膜中心凹无血管区分割两项任务中,pFedWSD的Dice系数和HD95(95%Hausdorff distance)指标均优于多种中心式联邦和个性化联邦方法,在两项任务中,Dice系数分别为90.38%和93.12%,相比于较先进的方法FedAP(federated learning with adaptive batchnorm for personalized healthcare)和FedALA(adaptive local aggregation for personalized federated learning)分别提升了1.67%和6.56%,性能接近于全监督集中式训练所得的模型。结论 本文提出的弱监督个性化联邦学习框架能有效统一不同形式稀疏标注数据并对不同分布的各站点数据训练得到个性化模型,使各站点分割性能均得到显著提升。