非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

基于异步分层联邦学习的数据异质性处理方法研究

在物联网设备遍布的时代,时刻都在产生大量数据,数据分布和数据量各不相同,因此数据异质性普遍存在。针对物联网环境中智能设备的联邦学习挑战,传统联邦学习的同步机制解决数据异质性(NON-IID)问题并不理想,且面临着单点故障和维护全局时钟的复杂性问题,而异步机制则可能带来额外的通信开销和NON-IID数据分布导致的过时性问题。分层联邦学习结合异步机制在应对数据异质性的问题时更加灵活,为此,提出了一种基于分层联邦学习的异步分层联邦学习方法。首先,使用BIRCH算法分析物联网中各节点的数据分布并进行簇的划分;然后,对簇中的数据进行拆分与验证,目的是找到数据质量高的节点,然后将数据质量高的簇中的节点打散,重组到其他数据质量低的簇中,形成新的簇;最后,进行簇内聚合和全局聚合的两阶段模型训练。此外,基于MNIST数据集,对提出的方法进行了评估。结果表明,与经典方法相比,所提方法在NON-IID数据集上收敛速度提高,而且在模型精度上提高了15%以上。

利用联邦学习技术促进大数据中心的集成应用

基于开源联邦学习框架,构建支持横向联邦学习、纵向联邦学习以及联邦迁移学习的联邦学习平台,提供从数据接入到模型部署的一站式开发能力,简化联邦学习模型的开发和上线工作,降低使用的门槛。联邦学习平台能够有机地融入现有大数据中心,结合现有的数据资源分布特点,灵活运用平台的角色分配机制,创建有效的联邦学习模型。联邦学习平台及其部署方案能够打破现在大数据中心独立建设带来的“数据孤岛”局面,全方位提升大数据平台的使用效率。

联邦学习中的攻击手段与防御机制研究综述

联邦学习的攻防技术是联邦学习系统安全的核心问题。联邦学习的攻防技术能大幅降低联邦学习系统被攻击的风险,明显提升联邦学习系统的安全性。深入了解联邦学习的攻防技术,可以推进联邦学习领域的研究,实现联邦学习的广泛应用。因此,对联邦学习的攻防技术进行研究具有十分重要的意义。简要地介绍了联邦学习的概念、基本工作流程、类型及可能存在的安全问题;介绍联邦学习系统可能遭受到的攻击,梳理了相关研究;从联邦学习系统有无目标性的防御措施出发,将防御措施分为通用性防御措施及针对性防御措施两类,并对其进行了针对性的总结;对联邦学习安全性未来的研究方向进行了梳理与分析,为相关研究者在联邦学习安全性方面的研究工作提供了参考。

基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。

基于区块链共识激励机制的新型联邦学习系统

随着云存储、人工智能等技术的发展,数据的价值已获得显著增长。但由于昂贵的通信代价和难以承受的数据泄露风险迫使各机构间产生了“数据孤岛”问题,大量数据无法发挥它的经济价值。虽然将区块链作为承载联邦学习的平台能够在一定程度上解决该问题,但也带来了三个重要的缺陷:1)工作量证明(Proof of Work,POW)、权益证明(Proof of Stake,POS)等共识过程与联邦学习训练过程并无关联,共识将浪费大量算力和带宽;2)节点会因为利益的考量而拒绝或消极参与训练过程,甚至因竞争关系干扰训练过程;3)在公开的环境下,模型训练过程的数据难以溯源,也降低了攻击者的投毒成本。研究发现,不依靠工作量证明、权益证明等传统共识机制而将联邦学习与模型水印技术予以结合来构造全新的共识激励机制,能够很好地避免联邦学习在区块链平台上运用时所产生的算力浪费及奖励不均衡等情况。基于这种共识所设计的区块链系统不仅仍然满足不可篡改、去中心化、49%拜占庭容错等属性,还天然地拥有49%投毒攻击防御、数据非独立同分布(Not Identically and Independently Distributed,Non-IID)适应以及模型产权保护的能力。实验与论证结果都表明,本文所提出的方案非常适用于非信任的机构间利用大量本地数据进行商业联邦学习的场景,具有较高的实际价值。

基于差分隐私的联邦学习方案

联邦学习的特点之一是进行训练的服务器并不直接接触数据,因此联邦学习本身就具有保护数据安全的特性。但是研究表明,联邦学习在本地数据训练和中心模型聚合等方面均存在隐私泄露的问题。差分隐私是一种加噪技术,通过加入适当噪声达到攻击者区分不出用户信息的目的。文中研究了一种基于本地和中心差分隐私的混合加噪算法(LCDP-FL),该算法能根据各个客户端不同权重、不同隐私需求,为这些客户端提供本地或混合差分隐私保护。而且我们证明该算法能够在尽可能减少计算开支的同时,为用户提供他们所需的隐私保障。在MNIST数据集和CIFAR-10数据集上对该算法进行了测试,并与本地差分隐私(LDP-FL)和中心差分隐私(CDP-FL)等算法进行对比,结果显示该混合算法在精确度、损失率和隐私安全方面均有改进,其算法性能最优。

基于联邦学习的分布式电采暖互动模式设计与展望

随着“双碳”目标的提出,以及“以电代煤”政策的贯彻落实,大量电采暖设备取代传统燃煤取暖投入运行并接入电网将成为必然趋势。大量电采暖设备可以作为需求侧可调资源进行新能源消纳,但是分布式电采暖所处地理区域较为分散,传统集中式管理的方式又存在隐私泄露、数据孤岛等问题。联邦学习作为一种分布式技术可在保护隐私的前提下支撑电采暖负荷互动,在分布式电采暖互动领域具有较强的适用性。分析了基于联邦学习的分布式电采暖互动需求,以及边缘缓存、隐私防护、通信传输优化和异构资源融合等技术在基于联邦学习的电采暖互动场景中的应用方式,并展望了未来基于联邦学习的分布式电采暖互动前景。

基于联邦学习的个性化推荐系统研究

为了通过联邦学习算法解决用户隐私数据泄露的问题、降低数据泄露的可能性,本文概述了推荐系统、联邦学习及联邦推荐系统,探讨了联邦个性化推荐系统的类别、流程、应用现状以及未来面对的挑战等,为用户提供了安全、便捷、高效的个性化推荐系统。

基于联邦学习和多方安全计算的海铁联运数据安全共享方法研究

我国海铁联运占港口集疏运比例仍然过低,关键原因之一在于铁路对于港口适运货源的动态信息不明、营销组织不力。铁路货运营销部门缺乏在保证港口、铁路、海关三方数据隐私安全的前提下,根据铁路运力动态主动挖掘港口和海关数据中潜在适运货源的技术方法和手段,难以推出适销对路的运输产品和动态营销手段,也难以为海铁联运基础设施的建设提供有效决策依据。构建基于联邦学习和多方安全计算的铁路-港口-海关数据安全共享方法,使用结合同态加密等多方安全计算技术的梯度提升决策树作为模型训练算法,铁路、港口、海关三方地位对等协作,训练出海铁联运潜在货源识别策略;在该策略的正式运行实现过程中,铁路方能够获得路网各流向潜在适运货源的数量级,各方均看不见、带不走其余参与方的任何原始数据。

可实现双向自适应差分隐私的联邦学习方案

随着个人数据的爆发式增长,基于差分隐私的联邦学习模型可用于解决数据孤岛问题和保护用户数据隐私,参与者通过训练本地数据,将添加噪声后的参数共享到中心服务器进行聚合,实现分布式机器学习训练。此过程中存在两方面问题:①中心服务器广播参数的过程中数据信息仍未受到保护,有泄露用户隐私的风险;②对参数过度添加噪声会导致参数聚合质量降低,影响最终联邦学习的模型精度。为解决以上问题,提出了一种可实现双向自适应差分隐私的联邦学习方案(FedBADP),对客户端和中心服务器之间传输的梯度进行自适应加噪,在保护数据安全的同时不影响模型准确率。考虑到参与者硬件设备的性能限制,文中对其梯度进行采样以减少通信开销,并在客户端和中心服务器使用均方根传递加速模型的收敛提高模型精度。实验结果证明,文中提出的模型框架在保持较好准确率的同时,也增强了用户的隐私保护能力。

基于双流神经网络的个性化联邦学习方法

经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上的问题。针对PFL中的性能与扩展的难题展开研究,提出基于双流神经网络结构的联邦学习模型,简称FedDual。双流神经网络模型通过增加一个用于分析客户端个性化特征的编码器,既能拥有个性化模型的性能,又便于扩展到新客户端。实验结果表明,相较于经典联邦平均(FedAvg)算法,FedDual在MNIST和FashionMNIST等数据集上的准确率有明显提升,而在CIFAR10数据集上的准确率提升了10个百分点以上,且面对新客户端保持准确率不下降,实现了“即插即用”,解决了新客户端难以扩展的问题。

预算约束下多任务联邦学习激励机制

联邦学习是一种实现数据隐私保护的分布式机器学习范式,性能取决于数据源的质量和数据规模。客户端是理性个体,参与联邦学习将耗费计算、通信和隐私等成本,需要通过激励提高客户端的参与意愿。因此联邦学习能成功应用的关键之一是尽可能多地激励高质量数据客户端参与训练。多任务联邦学习环境下客户端拥有面向不同任务且质量不同的数据,并具有执行能力的约束。为提高多个学习任务的整体性能,在预算受限的条件下设计一种面向任务的客户选择和报酬机制。通过分析影响模型精度的重要因素,提出一种基于客户端数据样本分布特征的质量评估标准,并结合客户端成本信息,设计一种逆向拍卖的激励机制(EMD-MQMFL),实现客户端的任务指派和支付策略。从理论上分析和证明了该机制具有诚实性、个人理性以及预算可行性,并通过大量实验验证了该方法在联邦学习性能上的有效性。在MNIST、Fashion-MNIST、Cifar-10数据集上的实验结果表明,EMD-MQMFL在数据不平衡的情况下,平均模型精度比已有的机制至少提高5.6个百分点。

基于模型质量评分的联邦学习聚合算法优化

在联邦学习环境中,客户端数据的质量是决定模型性能的关键因素。传统的评估方法依赖于在中心节点的验证集上衡量客户端模型的损失,从而对数据质量进行评估。在缺乏有效验证集的情况下,数据质量的评估是困难的。为了解决上述问题,提出了一种根据同伴信息进行模型质量评分的方法。通过对客户端上传的模型参数进行裁剪处理,基于正确评分规则的相关理论设计模型质量评分机制,并在此基础上优化聚合算法,降低低质量客户端对全局模型的影响。在MNIST、Fashion-MNIST和CIFAR-10等数据集上的实验表明,提出的评分机制无须复杂的算法,且能有效辨别搭便车、噪声、错误标签三类低质量数据客户端,提高联邦学习性能的鲁棒性。

一种基于区块链和梯度压缩的去中心化联邦学习模型

联邦学习可在保护数据隐私的前提下完成模型的训练,但实际应用中存在的安全问题阻碍了联邦学习的发展。提出一种基于区块链和梯度压缩的去中心化联邦学习模型。首先,利用区块链存储训练数据,训练参与方通过全局模型本地更新的方式取代中心服务器并使用智能合约实现对链上数据的访问控制。其次,提出一种梯度压缩方法,对模型参数进行压缩以减少参与方与区块链之间的数据传输量且有效防止了梯度隐私泄露。最后,为减弱梯度压缩对全局模型收敛速度的影响,使用热身训练的方式提升全局模型的收敛速度以缩短整体训练时间。实验结果表明,该模型在减少传输数据量的情况下对全局模型准确率有较小影响且提升了联邦学习训练效率。

在线异步联邦学习的客户优化选择与激励

联邦学习能够在保护用户隐私的前提下,使不同的客户端合作共同训练同一模型,如何激励高质量的客户端参与联邦学习是关键。在线联邦学习环境中,由于参与训练的客户端随机到达和离开,每轮参与报价的客户端动态变化,对客户端的在线质量评估与选择是一个难题。针对这一挑战提出了在线联邦学习激励算法,以优化在线客户端的选择和预算分配,提高预算约束下在线环境联邦学习的性能。该算法将预算按阶段划分并根据历史样本信息计算最优的质量密度阈值,其主要思想是对客户端模型质量进行动态评估,在此基础上采用质量阈值准入机制,同时对参与训练的客户端数量进行限制。从理论上证明了激励算法满足激励相容性、预算可行性和个体理性。实验结果表明,提出的在线激励算法在不同比例搭便车客户端的情况下都能有良好的性能,在预算充足且有搭便车和有误标标签的客户端情况下比已有方法在EMNIST-B和CIFAR-10两个数据集上分别提高约4%和10%。

边缘计算网络中区块链赋能的异步联邦学习算法

由于数据量激增而引起的信息爆炸使得传统集中式云计算不堪重负,边缘计算网络(ECN)被提出以减轻云服务器的负担。此外,在ECN中启用联邦学习(FL),可以实现数据本地化处理,从而有效解决协同学习中边缘节点(ENs)的数据安全问题。然而在传统FL架构中,中央服务器容易受到单点攻击,导致系统性能下降,甚至任务失败。本文在ECN场景下,提出基于区块链技术的异步FL算法(AFLChain),该算法基于ENs算力动态分配训练任务,以提高学习效率。此外,基于ENs算力、模型训练进度以及历史信誉值,引入熵权信誉机制评估ENs积极性并对其分级,淘汰低质EN以进一步提高AFLChain的性能。最后,提出基于次梯度的最优资源分配(SORA)算法,通过联合优化传输功率和计算资源分配以最小化整体网络延迟。仿真结果展示了AFLChain的模型训练效率以及SORA算法的收敛情况,证明了所提算法的有效性。

跨机构联邦学习的激励机制综述

联邦学习作为一种分布式机器学习,有效地解决了大数据时代的数据共享难题。其中,跨机构联邦学习是机构之间互相合作的一种联邦学习类型。如何在跨机构合作的过程中设计合理的激励机制十分重要。文中从跨机构合作的角度,对现有的跨机构联邦学习的激励机制研究进行了综述。首先介绍跨机构合作过程中的3个基本问题,即高隐私性、数据异质性、公平性,然后分析了以全局模型为中心和以参与者为中心这两种不同的跨机构合作模式下的激励机制设计方法,最后总结了影响跨机构合作稳定发展的几个影响因素,即参与者的数据演变、参与者合作关系变动和参与者的负面行为,并展望了跨机构联邦合作的未来方向。

基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习(ACFL)算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习(CFL),从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法(IFCA),且具有更快的收敛速度。

数字孪生辅助联邦学习中的边缘选择和资源分配联合优化

在基于联邦学习的智能驾驶中,智能网联汽车(ICV)的资源限制和可能出现的设备故障会导致联邦学习训练精度下降、时延和能耗增加等问题。为此该文提出数字孪生辅助联邦学习中的边缘选择和资源分配优化方案。该方案首先提出数字孪生辅助联邦学习机制,使得ICV能够选择在本地或利用其数字孪生体参与联邦学习。其次,通过构建数字孪生辅助联邦学习的计算和通信模型,建立以最小化累积训练时延和能耗为目标的边缘选择和资源分配联合优化问题,并将其转化为部分可观测的马尔可夫决策过程。最后,提出基于多智能体参数化Q网络(MPDQN)的边缘选择和资源分配算法,用于学习近似最优的边缘选择和资源分配策略,以实现联邦学习累积时延和能耗最小化。仿真结果表明,所提算法在保证模型精度的同时,有效降低联邦学习累积训练时延和能耗。