车联网中基于有向无环图区块链的个性化联邦互蒸馏学习方法

联邦学习(FL)作为一种分布式训练方法,在车联网(IoV)中得到了广泛应用。区别于传统机器学习,FL允许智能网联车辆(CAVs)通过共享模型而非原始数据来协同训练全局模型,从而保护CAV隐私和数据安全。为了提升联邦学习模型精度,降低通信开销,该文首先提出一种基于有向无环图(DAG)区块链和CAVs的IoV架构,分别负责全局模型共享和本地模型训练。其次,设计了一种基于DAG区块链的异步联邦互蒸馏学习(DAFML)算法在本地同时训练教师和学生模型,教师模型的专业级网络结构可取得更高精度,学生模型的轻量级网络结构可降低通信开销,并采用互蒸馏学习使教师模型和学生模型从互相转移的软标签中学习知识以更新模型。此外,为了进一步提高模型精度,基于全局训练轮次和模型精度设定个性化权值来调节互蒸馏占比。仿真结果表明,DAFML算法在模型精度和蒸馏比率方面优于其他比较算法。

个性化联邦学习的相关方法与展望

目前,随着人工智能研究的进步,人工智能被大规模采用,数据监管等领域的需求也促使人们对隐私保护的认识和关注越来越多,这促进了联邦学习(federated learning,FL)框架的流行。但现有的FL难以应对异构问题以及用户的个性化需求。为了应对上述问题,研究了个性化联邦学习(personalized federated learning,PFL)的相关方法并提出了展望。列举了FL的框架并指出了FL的不足,在FL场景的基础上,引出PFL的研究动机对PFL中的统计异构、模型异构、通信异构、设备异构进行分析并提出可行性方案;将PFL中的客户端选择、知识蒸馏等个性化算法分类并分析各自的创新与不足。最后,对PFL的未来研究方向进行了展望。

联邦学习全局模型和个性化模型的现状与展望

【目的】联邦学习是目前的研究热点,本文从模型架构角度出发综述近年来联邦学习方法的研究和进展。【文献范围】本文采用关键词检索和引文二次检索的方法从国际计算机类期刊、会议中收集论文。【方法】在简单讨论联邦学习的定义、架构以及三种异质性问题的基础上,从模型架构角度出发,将联邦学习算法分为学习全局模型和学习个性化模型两大类,进一步讨论两大类别中的联邦学习方法所用数据集、对异构问题的解决以及方法优缺点。【结果】现有的联邦学习方法,可以学习泛化性能强大的全局模型,也可以学习个性化的局部模型。目前研究人员对数据异构问题的关注多于设备异构问题,在测试时所用数据集通常为常规机器学习数据集。【结论】联邦学习领域发展迅速,但仍存在异构问题研究不足、基准测试不成熟的问题,相信未来会有更多在真实场景中针对联邦异构问题的解决方案。

基于双流神经网络的个性化联邦学习方法

经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上的问题。针对PFL中的性能与扩展的难题展开研究,提出基于双流神经网络结构的联邦学习模型,简称FedDual。双流神经网络模型通过增加一个用于分析客户端个性化特征的编码器,既能拥有个性化模型的性能,又便于扩展到新客户端。实验结果表明,相较于经典联邦平均(FedAvg)算法,FedDual在MNIST和FashionMNIST等数据集上的准确率有明显提升,而在CIFAR10数据集上的准确率提升了10个百分点以上,且面对新客户端保持准确率不下降,实现了“即插即用”,解决了新客户端难以扩展的问题。

面向异构数据的个性化联邦多任务学习优化方法

联邦学习是一种新兴的分布式机器学习范式,在保护数据隐私的同时协作训练全局模型,但也面临着在数据异构情况下全局模型收敛慢、精度低的问题。针对上述问题,提出一种面向异构数据的个性化联邦多任务学习优化(federated multi-task learning optimization,FedMTO)算法。在包含全局任务和本地任务的多任务学习框架下,考虑个性化联邦优化问题。首先,FedMTO采用参数分解的思想,通过学习自适应分类器组合权重来协调全局分类器和局部分类器,提取全局分类器知识,实现对本地任务的个性化建模;其次,由于本地任务的数据分布不同,FedMTO在本地更新时结合正则化多任务学习策略,关注任务之间的相关性,减小不同本地任务间的差异,从而保证联邦学习过程的公平性;最后,模拟不同的数据异构场景,在MNIST和CIFAR-10数据集上进行实验。实验结果表明,与现有算法相比,FedMTO实现了更高的准确率和更好的公平性,验证了该方法针对联邦学习中的异构数据问题有着良好的效果。

兼顾通信效率与效用的自适应高斯差分隐私个性化联邦学习

近年来,由于联邦学习中的通信参数(或梯度)会给参与方本地敏感数据带来重大的隐私泄露风险,联邦学习隐私保护引起了广泛的关注.然而,梯度交换频繁、数据分布异构、参与方本地硬件资源受限等一系列不可避免的因素给联邦学习隐私保护增加了挑战难度.为了以一种统一的方式同时有效地解决数据隐私、模型效用、通信效率以及参与方数据非独立同分布等四个方面的问题,本文提出了一种新的兼顾通信效率与效用的自适应高斯差分隐私个性化联邦学习(Communication-efficient and Utility-aware Adaptive Gaussian Differential Privacy for Personalized Federated Learning,CUAG-PFL)方法.具体而言,本文提出一种动态层级压缩模型梯度的方案先为通信模型梯度每一层动态生成特定的压缩率,再根据压缩率构造对应的确定性二进制测量矩阵去除梯度冗余信息.随后,通过同时优化裁剪阈值、敏感度和噪声尺度等隐私相关参数来对压缩的模型梯度执行自适应高斯差分隐私操作.此外,本文对CUAG-PFL进行了严格的隐私分析.为了验证CUAG-PFL在隐私、效用、通信效率以及个性化四个方面的优势,本文在CIFAR-10和CIFAR-100两个真实联邦数据集上进行了大量实验模拟、对比和分析,结果表明CUAG-PFL能够提高参与方本地数据隐私性、通信效率和模型效用,同时解决了数据非独立同分布的问题.特别地,即使在隐私预算仅为0.92且上行通信量减少68.6%时,CUAG-PFL因隐私保护和梯度压缩所引起的模型效用损失仅为1.66%.

基于稀疏正则双层优化的个性化联邦学习

个性化联邦学习侧重于为各客户端提供个性化模型,旨在提高对异构数据的处理性能,然而现有的个性化联邦学习算法大多以增加客户端参数量为代价提高个性化模型的性能,使计算变得复杂.为了解决此问题,文中提出基于稀疏正则双层优化的个性化联邦学习算法(Personalized Federated Learning Based on Sparsity Regularized Bi-level Optimization,pFedSRB),在客户端的个性化更新中引入l 1范数稀疏正则化,提升个性化模型的稀疏度,避免不必要的客户端参数更新,降低模型复杂度.将个性化联邦学习建模为双层优化问题,内层优化采用交替方向乘子法,可提高学习速度.在4个联邦学习基准数据集上的实验表明,pFedSRB在异构数据上表现出色,在提高模型性能的同时有效降低训练用时和空间成本.

基于个性化差分隐私的联邦学习方法

联邦学习的模型参数可能导致用户隐私信息泄露,为解决此问题,将联邦学习和差分隐私进行结合的方法被广泛使用,但目前大多数方法只关注统一的隐私预算分配,忽略了由于用户数据分布不平衡带来的不同隐私预算需求。针对上述问题,提出一种基于数据分布的个性化差分隐私的联邦学习方法,根据用户间数据分布的差异,提出一种基于信息熵的隐私预算分配方案,依据信息熵为用户分配不同的隐私预算,信息熵越大的用户分配的隐私预算越高,从而量化了用户的隐私需求,实现对用户隐私的个性化保护。实验结果表明,在数据分布不平衡的场景下,相比基于统一的隐私预算分配方法,基于信息熵的隐私预算分配方法的模型准确率在不同的隐私预算下均有提高。

基于动态聚类的个性化联邦学习与模块化组合策略

提出一种基于动态聚类的个性化联邦学习方法来解决联邦学习下数据异构的问题。此方法将优化目标向量与凝聚聚类算法相结合,在保证节省计算资源的同时,将数据差异较大的客户端动态划分到不同的集群中。此外,出于对训练模型可持续使用的考虑,进一步提出模块可组合策略,新的客户端只需将之前训练模型组合便可以得到一个适合本地任务的初始模型。客户端只需在该初始模型上进行少量训练便可以应用于本地任务。在Cafir-10和Minst数据集上,其模型的精确度要优于本地重新训练模型的精度。

基于个性化差分隐私的联邦学习算法

联邦学习(FL)可以有效保护用户的个人数据不被攻击者获得,而差分隐私(DP)则可以实现FL的隐私增强,解决模型训练参数导致的隐私泄露问题。然而,现有的基于DP的FL方法只关注统一的隐私保护预算,而忽略了用户的个性化隐私需求。针对此问题,提出了一种两阶段的基于个性化差分隐私的联邦学习(PDP-FL)算法。在第一阶段,依据用户的隐私偏好对用户隐私进行分级,并添加满足用户隐私偏好的噪声,以实现个性化隐私保护,同时上传隐私偏好对应的隐私等级给中央聚合服务器;在第二阶段,为实现对全局数据的充分保护,采取本地和中心同时保护的策略,并根据用户上传的隐私等级,添加符合全局DP阈值的噪声,以量化全局的隐私保护水平。实验结果表明,在MNIST和CIFAR-10数据集上,PDP-FL算法的分类准确度分别为93.8%~94.5%和43.4%~45.2%,优于基于本地化差分隐私的联邦学习(LDP-Fed)和基于全局差分隐私的联邦学习(GDP-FL),同时满足了个性化隐私保护的需求。

基于互信息软聚类的个性化联邦学习算法

联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分布的客户划分为一个集群,利用部分客户数据同构的特点减少了数据异构对联邦学习的影响,但忽略了客户属于多个集群的可能性。基于客户数据近似服从多种数据分布的思想,提出基于互信息软聚类的个性化联邦学习算法(pFedMS)。针对目前联邦学习客户聚类指标无法准确反映模型特征相似性的不足,给出基于模型特征的互信息公式作为聚类指标,有效区分相似客户;提出基于类内距离和类间距离的聚类合理性衡量方法,用于动态调整聚类结果;根据隶属度计算客户与集群的相似性,允许客户同时属于多个集群,提高聚类算法的性能。在CIFAR-10和FMNIST数据集上的实验结果表明,pFedMS算法相较于FedAvg、CFL等对比算法,客户最高平均测试准确率提高了2.4~3.0个百分点。

基于差分隐私的个性化联邦电力负荷预测方案

为了实现兼具模型个性化和隐私保护个性化的电力负荷预测方案,文章提出了基于差分隐私的个性化联邦电力负荷预测方案。方案基于数据的缺失情况和时序特征进行集群式训练,得到适用于局部数据的本地个性化模型。在此基础上提出了个性化差分隐私保护方案,根据客户端到当前集群中心的距离调整隐私预算的分配,确保数据安全并实现客户端级别的隐私保护个性化。实验表明,算法在保证数据安全的同时,能训练得到效用较好的个性化模型。

基于合作博弈和知识蒸馏的个性化联邦学习算法

为克服联邦学习(FL)客户端数据和模型均需同构的局限性并且提高训练精度,该文提出一种基于合作博弈和知识蒸馏的个性化联邦学习(pFedCK)算法。在该算法中,每个客户端将在公共数据集上训练得到的局部软预测上传到中心服务器并根据余弦相似度从服务器下载最相近的k个软预测形成一个联盟,然后利用合作博弈中的夏普利值(SV)来衡量客户端之间多重协作的影响,量化所下载软预测对本地个性化学习效果的累计贡献值,以此确定联盟中每个客户端的最佳聚合系数,从而得到更优的聚合模型。最后采用知识蒸馏(KD)将聚合模型的知识迁移到本地模型,并在隐私数据集上进行本地训练。仿真结果表明,与其他算法相比,pFedCK算法可以将个性化精度提升约10%。

整县光伏下基于个性化联邦学习的光伏出力及负荷功率预测

随着整县光伏工程的推进,对分布式屋顶光伏出力及用户负荷功率的准确预测是配电网运行优化的基础。现有基于数据驱动的预测方法对整县光伏场景中不平衡不充分的非独立同分布数据集适应性较低,且无法满足用户日益增强的数据隐私保护意识。为此,以用户侧电表历史数据为可用信息,提出一种基于长短期记忆网络(longshort-term memory,LSTM)的个性化联邦学习(personalizedfederated learning,PFL)光伏出力及负荷功率预测方法。该方法应用交换各用户模型参数代替聚合所有用户原始数据,提高了训练效率,保障了数据隐私。通过上传部分而非全部模型参数的方式保留用户个性化差异,提高了模型对单个用户的预测准确度,增强了算法在不平衡数据集上的适应能力。以澳大利亚配电网光伏及负荷数据为例进行分析,验证了所提建模方法的有效性与优越性。

基于个性化联邦学习的肾脏肿瘤分割方法

为保护多方医院数据隐私以及数据不平衡等问题,以肾脏肿瘤CT影像为研究对象,提出一种基于个性化联邦学习的肾脏肿瘤分割方法。首先,以经典的深度残差网络SEResNet为基础,结合深监督模块来提高目标分割的精度;其次,在联邦平均算法框架下,引入基础层与个性化层联合学习策略,克服多方数据不平衡带来模型精度下降问题。经KiTS21挑战赛数据集实验验证,文章方法获得的肾脏+肿瘤+囊肿、肿瘤+囊肿和肿瘤分割Dice分别为93.61%、67.18%、61.01%,与集中式学习相比,仅分别低0.56%、7.18%和9.34%,表明本文方法以可接受的精度损失换取了数据的隐私安全。

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

开启联邦学习的个性化时代:隐私、安全与效率的平衡探索

人工智能为公共和国防安全的发展和应用提供了巨大的机遇,然而国防安全数据包含了敏感的军事、情报和战略信息,一旦泄露或被滥用,可能对国家安全造成严重威胁,如何确保国防安全数据的隐私保护成为一项重要挑战.个性化联邦学习是近年来发展起来的一种新型的机器学习方法,它旨在通过将分布式的数据在本地进行训练和更新,从而实现在保护数据隐私的前提下提高本地模型的准确性和鲁棒性.与传统的中心化机器学习方法不同,个性化联邦学习允许不同数据拥有者之间共享模型的信息,而不是数据本身.这种方法已经在医疗、金融、物联网等领域得到了广泛的应用.本文从全局模型个性化和本地模型个性化两个方面分别介绍了个性化联邦学习的基本原理以及研究现状,总结了各个方法的优缺点,并讨论了现有方法的评价指标和常用数据集,最后展望了它在未来的发展前景.

基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习(ACFL)算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习(CFL),从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法(IFCA),且具有更快的收敛速度。

联邦个性化学习推荐系统研究

当前,个性化学习推荐系统面临数据隐私保护、"冷启动"和法律约束等问题,而联邦学习作为近年来优秀的数据隐私保护机器学习技术解决方案,可有效解决这些问题。基于此,文章将联邦学习和个性化学习推荐相结合,设计了联邦个性化学习推荐系统。首先,文章分析了联邦个性化学习推荐系统的具体应用场景,包括横向联邦、纵向联邦、联邦强化三种。其次,文章分别针对这三种应用场景设计了相应的应用解决方案。最后,文章探讨了未来联邦个性化学习推荐系统面临的严峻挑战,以期帮助教育利益相关者在保护数据隐私的同时共享数据价值,最终实现更安全、更高质量的个性化学习推荐服务。

基于Reptile的个性化联邦学习算法

在联邦学习背景下,由于行业竞争、隐私保护等壁垒,用户数据保留在本地,无法集中在一处训练.为充分利用用户的数据和算力,用户可通过中央服务器协同训练模型,训练得到的公共模型为用户共享,但公共模型对于不同用户会产生相同输出,难以适应用户数据是异质的常见情形.针对该问题,提出一种基于元学习方法Reptile的新算法,为用户学习个性化联邦学习模型.Reptile可高效学习多任务的模型初始化参数,在新任务到来时,仅需几步梯度下降就能收敛到良好的模型参数.利用这一优势,将Reptile与联邦平均(federated averaging,FedAvg)相结合,用户终端利用Reptile处理多任务并更新参数,之后中央服务器将用户更新的参数进行平均聚合,迭代学习更好的模型初始化参数,最后将其应用于各用户数据后仅需几步梯度下降即可获得个性化模型.实验中使用模拟数据和真实数据设置了联邦学习场景,实验表明该算法相比其他算法能够更快收敛,具有更好的个性化学习能力.