面向应用的联邦学习研究评述:基于“要素-过程”框架

打破数据孤岛,促进数据流通合作是数字化时代的重要课题。随着数据安全和隐私保护受到广泛关注,传统的以数据集中为主的合作模式受到挑战。联邦学习为解决这一现实问题提供技术解决方案,但是其进一步应用还面临诸多困难。本文从技术应用和技术管理的角度,收集联邦学习的相关文献并进行文献计量分析,提出基于“要素-过程”的联邦学习应用框架。该框架围绕基础设施、节点数据、算法模型、联邦参与方4个关键要素,遵从发起、执行、评估、治理4个核心过程,形成“4+4”的技术应用模型。我们依据此模型梳理和分析联邦学习技术应用的现状,提出联邦学习应用进一步发展需要解决的关键科学问题。本文对推动联邦学习技术在经济管理领域的深入应用具有一定的意义。

利用联邦学习技术促进大数据中心的集成应用

基于开源联邦学习框架,构建支持横向联邦学习、纵向联邦学习以及联邦迁移学习的联邦学习平台,提供从数据接入到模型部署的一站式开发能力,简化联邦学习模型的开发和上线工作,降低使用的门槛。联邦学习平台能够有机地融入现有大数据中心,结合现有的数据资源分布特点,灵活运用平台的角色分配机制,创建有效的联邦学习模型。联邦学习平台及其部署方案能够打破现在大数据中心独立建设带来的“数据孤岛”局面,全方位提升大数据平台的使用效率。

基于联邦学习的个性化推荐系统研究

为了通过联邦学习算法解决用户隐私数据泄露的问题、降低数据泄露的可能性,本文概述了推荐系统、联邦学习及联邦推荐系统,探讨了联邦个性化推荐系统的类别、流程、应用现状以及未来面对的挑战等,为用户提供了安全、便捷、高效的个性化推荐系统。

基于联邦增量学习的SDN环境下DDoS攻击检测模型

SDN是一种被广泛应用的网络范式.面对DDoS攻击等网络安全威胁,在SDN中集成高效的DDoS攻击检测方法尤为重要.由于SDN集中控制的特性,集中式DDoS攻击检测方法在SDN环境中存在较高的安全风险,使得SDN的控制平面安全性受到了巨大挑战.此外,SDN环境中流量数据不断增加,导致复杂流量特征的更复杂化、不同实体之间严重的Non-IID分布等问题.这些问题对现有的基于联邦学习的检测模型准确性与鲁棒性的进一步提高造成严重阻碍.针对上述问题,本文提出了一种基于联邦增量学习的SDN环境下DDoS攻击检测模型.首先,为解决集中式DDoS攻击检测的安全风险与数据增量带来的Non-IID分布问题,本文提出了一种基于联邦增量学习的加权聚合算法,使用动态调整聚合权重的方式个性化适应不同子数据集增量情况,提高增量聚合效率.其次,针对SDN环境中复杂的流量特征,本文设计了一种基于LSTM的DDoS攻击检测方法,通过统计SDN环境中流量数据的时序特征,提取并学习数据的时序关特征的相关性,实现对流量特征数据的实时检测.最后,本文结合SDN集中管控特点,实现了SDN环境下的DDoS实时防御决策,根据DDoS攻击检测结果与网络实体信息,实现流规则实时下发,达到有效阻断DDoS攻击流量、保护拓扑重要实体并维护拓扑流量稳定的效果.本文将提出的模型在增量式DDoS攻击检测任务上与FedAvg、FA-FedAvg和FIL-IIoT三种方法进行性能对比实验.实验结果表明,本文提出方法相比于其他方法,在DDoS攻击检测准确率上提升5.06%~12.62%,F1-Score提升0.0565~0.1410.

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

美国联邦机构技术转移管理和运行机制研究

美国联邦机构技术转移为美国长期保持科技创新竞争力发挥了重要作用。本研究分别从法律支撑、政府协调机制和联邦部门技术转移年报三个角度,获得对美国联邦技术转移工作的组织管理和运行机制较为全面和系统的认知。通过对联邦技术转移趋势的进一步分析,发现传统的技术转移方式在推动新技术商业化方面显现出不适应,近年来美国联邦技术转移组织方式已悄然发生了许多新变化,文章简要阐述了这些变化的原因,并提出对推进中国公共科研机构技术转移改革工作的启示。

基于异步分层联邦学习的数据异质性处理方法研究

在物联网设备遍布的时代,时刻都在产生大量数据,数据分布和数据量各不相同,因此数据异质性普遍存在。针对物联网环境中智能设备的联邦学习挑战,传统联邦学习的同步机制解决数据异质性(NON-IID)问题并不理想,且面临着单点故障和维护全局时钟的复杂性问题,而异步机制则可能带来额外的通信开销和NON-IID数据分布导致的过时性问题。分层联邦学习结合异步机制在应对数据异质性的问题时更加灵活,为此,提出了一种基于分层联邦学习的异步分层联邦学习方法。首先,使用BIRCH算法分析物联网中各节点的数据分布并进行簇的划分;然后,对簇中的数据进行拆分与验证,目的是找到数据质量高的节点,然后将数据质量高的簇中的节点打散,重组到其他数据质量低的簇中,形成新的簇;最后,进行簇内聚合和全局聚合的两阶段模型训练。此外,基于MNIST数据集,对提出的方法进行了评估。结果表明,与经典方法相比,所提方法在NON-IID数据集上收敛速度提高,而且在模型精度上提高了15%以上。

联邦忘却学习研究综述

数据已经成为与土地、劳动力、资本、技术等并列的重要生产要素之一.利用数据分析挖掘数据的潜在价值,有助于推动产业创新、技术升级和区域经济发展.然而,在数据使用过程中,隐私泄露等风险限制了数据的流通和共享.因此,如何在数据流通和共享过程中保护数据隐私已成为研究热点.联邦忘却学习(Federated Un-learning)撤销用户数据对联邦学习模型的训练更新,可以进一步保护联邦学习用户的数据安全.本文综述了联邦忘却学习的研究工作,首先简要阐述了联邦学习架构,并引出忘却学习和联邦忘却学习的概念和定义;其次,根据修正对象的不同将联邦忘却学习算法分为面向全局模型和面向局部模型两类,并详细分析各类算法的实现细节以及优缺点;然后,本文还详述联邦忘却学习中常用评价指标,将评价指标划分为模型表现指标、遗忘效果指标和隐私保护指标三类,并分析不同类型评价指标的优缺点;最后,本文对联邦忘却学习未来的研究方向进行展望.

借鉴西方财政联邦主义理论 推进我国财政体制改革

文章对第一代联邦主义、第二代联邦主义理论以及联邦主义的三原则———经济联邦主义、合作联邦主义、民主联邦主义作了综合的述评 ,并在此基础上简要分析了我国地区间的财政竞争现状 ,借鉴西方财政联邦主义理论的精髓 ,提出了推进我国财政体制改革的几点建议。

边缘计算网络中区块链赋能的异步联邦学习算法

由于数据量激增而引起的信息爆炸使得传统集中式云计算不堪重负,边缘计算网络(ECN)被提出以减轻云服务器的负担。此外,在ECN中启用联邦学习(FL),可以实现数据本地化处理,从而有效解决协同学习中边缘节点(ENs)的数据安全问题。然而在传统FL架构中,中央服务器容易受到单点攻击,导致系统性能下降,甚至任务失败。本文在ECN场景下,提出基于区块链技术的异步FL算法(AFLChain),该算法基于ENs算力动态分配训练任务,以提高学习效率。此外,基于ENs算力、模型训练进度以及历史信誉值,引入熵权信誉机制评估ENs积极性并对其分级,淘汰低质EN以进一步提高AFLChain的性能。最后,提出基于次梯度的最优资源分配(SORA)算法,通过联合优化传输功率和计算资源分配以最小化整体网络延迟。仿真结果展示了AFLChain的模型训练效率以及SORA算法的收敛情况,证明了所提算法的有效性。

联邦学习中的攻击手段与防御机制研究综述

联邦学习的攻防技术是联邦学习系统安全的核心问题。联邦学习的攻防技术能大幅降低联邦学习系统被攻击的风险,明显提升联邦学习系统的安全性。深入了解联邦学习的攻防技术,可以推进联邦学习领域的研究,实现联邦学习的广泛应用。因此,对联邦学习的攻防技术进行研究具有十分重要的意义。简要地介绍了联邦学习的概念、基本工作流程、类型及可能存在的安全问题;介绍联邦学习系统可能遭受到的攻击,梳理了相关研究;从联邦学习系统有无目标性的防御措施出发,将防御措施分为通用性防御措施及针对性防御措施两类,并对其进行了针对性的总结;对联邦学习安全性未来的研究方向进行了梳理与分析,为相关研究者在联邦学习安全性方面的研究工作提供了参考。

基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。

基于模型质量评分的联邦学习聚合算法优化

在联邦学习环境中,客户端数据的质量是决定模型性能的关键因素。传统的评估方法依赖于在中心节点的验证集上衡量客户端模型的损失,从而对数据质量进行评估。在缺乏有效验证集的情况下,数据质量的评估是困难的。为了解决上述问题,提出了一种根据同伴信息进行模型质量评分的方法。通过对客户端上传的模型参数进行裁剪处理,基于正确评分规则的相关理论设计模型质量评分机制,并在此基础上优化聚合算法,降低低质量客户端对全局模型的影响。在MNIST、Fashion-MNIST和CIFAR-10等数据集上的实验表明,提出的评分机制无须复杂的算法,且能有效辨别搭便车、噪声、错误标签三类低质量数据客户端,提高联邦学习性能的鲁棒性。

基于区块链共识激励机制的新型联邦学习系统

随着云存储、人工智能等技术的发展,数据的价值已获得显著增长。但由于昂贵的通信代价和难以承受的数据泄露风险迫使各机构间产生了“数据孤岛”问题,大量数据无法发挥它的经济价值。虽然将区块链作为承载联邦学习的平台能够在一定程度上解决该问题,但也带来了三个重要的缺陷:1)工作量证明(Proof of Work,POW)、权益证明(Proof of Stake,POS)等共识过程与联邦学习训练过程并无关联,共识将浪费大量算力和带宽;2)节点会因为利益的考量而拒绝或消极参与训练过程,甚至因竞争关系干扰训练过程;3)在公开的环境下,模型训练过程的数据难以溯源,也降低了攻击者的投毒成本。研究发现,不依靠工作量证明、权益证明等传统共识机制而将联邦学习与模型水印技术予以结合来构造全新的共识激励机制,能够很好地避免联邦学习在区块链平台上运用时所产生的算力浪费及奖励不均衡等情况。基于这种共识所设计的区块链系统不仅仍然满足不可篡改、去中心化、49%拜占庭容错等属性,还天然地拥有49%投毒攻击防御、数据非独立同分布(Not Identically and Independently Distributed,Non-IID)适应以及模型产权保护的能力。实验与论证结果都表明,本文所提出的方案非常适用于非信任的机构间利用大量本地数据进行商业联邦学习的场景,具有较高的实际价值。

基于联邦学习和多方安全计算的海铁联运数据安全共享方法研究

我国海铁联运占港口集疏运比例仍然过低,关键原因之一在于铁路对于港口适运货源的动态信息不明、营销组织不力。铁路货运营销部门缺乏在保证港口、铁路、海关三方数据隐私安全的前提下,根据铁路运力动态主动挖掘港口和海关数据中潜在适运货源的技术方法和手段,难以推出适销对路的运输产品和动态营销手段,也难以为海铁联运基础设施的建设提供有效决策依据。构建基于联邦学习和多方安全计算的铁路-港口-海关数据安全共享方法,使用结合同态加密等多方安全计算技术的梯度提升决策树作为模型训练算法,铁路、港口、海关三方地位对等协作,训练出海铁联运潜在货源识别策略;在该策略的正式运行实现过程中,铁路方能够获得路网各流向潜在适运货源的数量级,各方均看不见、带不走其余参与方的任何原始数据。

美国联邦制的发展沿革

美国的联邦制经历了由“二元联邦主义”、“合作联邦主义”到“新联邦主义”的发展历程 ,即保持权力关系的相对平衡 ,相对平衡的权力关系被打破到重新寻求平衡权力关系的过程 ,反映了美国联邦政治的“弹性”。如今美国联邦政府在政策过程中居于主导地位。时势的变迁要求联邦政府保持管理国家事务的权力 ,传统与现实又要求保留州政府和地方政府独立发展的权力地位 ,美国联邦政府和州政府只能在兼顾两方面因素的前提下共存。

基于智能合约和联邦存储的异步联邦学习模型

公共安全突发事件中对数据安全的重视程度越来越高,联邦学习由于不再需要上传数据到中心服务器进行计算,减少了隐私泄露的可能而受到广泛关注。然而当前基于智能合约的联邦学习由于运算较大,存在着效率低等缺陷,因此本文提出了一种面向公共卫生突发事件检测的智能合约与联邦存储的异步联邦学习方法。该方法允许联邦节点在任何时间加入和退出联邦学习;依托智能合约与分布存储,进一步增加了公共卫生安全领域的数据安全与训练效率;同时采用自适应的差分隐私对其上传到分布式存储节点的梯度进行动态保护,进一步降低了隐私泄露的风险。在公共数据集和公共卫生安全数据集上大量的实验表明,本文提出的方法在精度上优于已知的对比方法,且在达到相同精度的情况下所需时间更少。

联邦服务:基于分布式数据共治的智能服务范式

随着数字化转型的加速,数据已成为驱动科技创新与经济增长的核心要素。然而,广泛存在的数据孤岛现象严重阻碍了跨领域、跨组织间的数据流通与合作,使得数据供应难以满足多样化的用户需求,数据的供需匹配面临严峻挑战。作为联邦生态的核心环节和对外赋能的重要窗口,联邦服务基于分布式数据共治原则,促进了跨领域、跨组织的数据流通与协同,为智能的供需匹配提供了一种有效的技术框架。首先,探讨联邦服务在联邦生态中的重要地位以及与联邦生态各环节的关系。其次,提出联邦服务的5层基本框架,并探讨其核心优势。在此基础上,提出联邦服务的关键支撑技术,主要包括区块链和去中心化自治组织与运营、大语言模型和场景工程、分布式计算和边缘计算、加密技术和隐私计算。最后,以数据与场景的供需匹配为应用案例,介绍联邦服务如何实现智能的供需匹配。提出的联邦服务理论与技术对于构建基于分布式数据共治的智能服务范式具有重要意义。

基于联邦学习的分布式电采暖互动模式设计与展望

随着“双碳”目标的提出,以及“以电代煤”政策的贯彻落实,大量电采暖设备取代传统燃煤取暖投入运行并接入电网将成为必然趋势。大量电采暖设备可以作为需求侧可调资源进行新能源消纳,但是分布式电采暖所处地理区域较为分散,传统集中式管理的方式又存在隐私泄露、数据孤岛等问题。联邦学习作为一种分布式技术可在保护隐私的前提下支撑电采暖负荷互动,在分布式电采暖互动领域具有较强的适用性。分析了基于联邦学习的分布式电采暖互动需求,以及边缘缓存、隐私防护、通信传输优化和异构资源融合等技术在基于联邦学习的电采暖互动场景中的应用方式,并展望了未来基于联邦学习的分布式电采暖互动前景。