DRAGON-Lab联邦上的网络实践环境整合

DRAGON-Lab是我国唯一基于联邦架构的大规模下一代互联网技术合作研究平台。对此,介绍基于该架构的网络实验室以及实验管理平台的建设方案,有效盘活校内网络实验设备,带动高校间的网络实验资源共享;提出有偿式、置换式高校联邦成员资源共享的服务模式,有效提高现有网络设备的利用效率;并用基于DRAGON-Lab分布式实验资源的省级网络比赛案例,验证该平台的IPv6实验服务应用功能。

联邦学习中的攻击手段与防御机制研究综述

联邦学习的攻防技术是联邦学习系统安全的核心问题。联邦学习的攻防技术能大幅降低联邦学习系统被攻击的风险,明显提升联邦学习系统的安全性。深入了解联邦学习的攻防技术,可以推进联邦学习领域的研究,实现联邦学习的广泛应用。因此,对联邦学习的攻防技术进行研究具有十分重要的意义。简要地介绍了联邦学习的概念、基本工作流程、类型及可能存在的安全问题;介绍联邦学习系统可能遭受到的攻击,梳理了相关研究;从联邦学习系统有无目标性的防御措施出发,将防御措施分为通用性防御措施及针对性防御措施两类,并对其进行了针对性的总结;对联邦学习安全性未来的研究方向进行了梳理与分析,为相关研究者在联邦学习安全性方面的研究工作提供了参考。

边缘计算网络中区块链赋能的异步联邦学习算法

由于数据量激增而引起的信息爆炸使得传统集中式云计算不堪重负,边缘计算网络(ECN)被提出以减轻云服务器的负担。此外,在ECN中启用联邦学习(FL),可以实现数据本地化处理,从而有效解决协同学习中边缘节点(ENs)的数据安全问题。然而在传统FL架构中,中央服务器容易受到单点攻击,导致系统性能下降,甚至任务失败。本文在ECN场景下,提出基于区块链技术的异步FL算法(AFLChain),该算法基于ENs算力动态分配训练任务,以提高学习效率。此外,基于ENs算力、模型训练进度以及历史信誉值,引入熵权信誉机制评估ENs积极性并对其分级,淘汰低质EN以进一步提高AFLChain的性能。最后,提出基于次梯度的最优资源分配(SORA)算法,通过联合优化传输功率和计算资源分配以最小化整体网络延迟。仿真结果展示了AFLChain的模型训练效率以及SORA算法的收敛情况,证明了所提算法的有效性。

基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。

基于模型质量评分的联邦学习聚合算法优化

在联邦学习环境中,客户端数据的质量是决定模型性能的关键因素。传统的评估方法依赖于在中心节点的验证集上衡量客户端模型的损失,从而对数据质量进行评估。在缺乏有效验证集的情况下,数据质量的评估是困难的。为了解决上述问题,提出了一种根据同伴信息进行模型质量评分的方法。通过对客户端上传的模型参数进行裁剪处理,基于正确评分规则的相关理论设计模型质量评分机制,并在此基础上优化聚合算法,降低低质量客户端对全局模型的影响。在MNIST、Fashion-MNIST和CIFAR-10等数据集上的实验表明,提出的评分机制无须复杂的算法,且能有效辨别搭便车、噪声、错误标签三类低质量数据客户端,提高联邦学习性能的鲁棒性。

基于区块链共识激励机制的新型联邦学习系统

随着云存储、人工智能等技术的发展,数据的价值已获得显著增长。但由于昂贵的通信代价和难以承受的数据泄露风险迫使各机构间产生了“数据孤岛”问题,大量数据无法发挥它的经济价值。虽然将区块链作为承载联邦学习的平台能够在一定程度上解决该问题,但也带来了三个重要的缺陷:1)工作量证明(Proof of Work,POW)、权益证明(Proof of Stake,POS)等共识过程与联邦学习训练过程并无关联,共识将浪费大量算力和带宽;2)节点会因为利益的考量而拒绝或消极参与训练过程,甚至因竞争关系干扰训练过程;3)在公开的环境下,模型训练过程的数据难以溯源,也降低了攻击者的投毒成本。研究发现,不依靠工作量证明、权益证明等传统共识机制而将联邦学习与模型水印技术予以结合来构造全新的共识激励机制,能够很好地避免联邦学习在区块链平台上运用时所产生的算力浪费及奖励不均衡等情况。基于这种共识所设计的区块链系统不仅仍然满足不可篡改、去中心化、49%拜占庭容错等属性,还天然地拥有49%投毒攻击防御、数据非独立同分布(Not Identically and Independently Distributed,Non-IID)适应以及模型产权保护的能力。实验与论证结果都表明,本文所提出的方案非常适用于非信任的机构间利用大量本地数据进行商业联邦学习的场景,具有较高的实际价值。

基于联邦学习的个性化推荐系统研究

为了通过联邦学习算法解决用户隐私数据泄露的问题、降低数据泄露的可能性,本文概述了推荐系统、联邦学习及联邦推荐系统,探讨了联邦个性化推荐系统的类别、流程、应用现状以及未来面对的挑战等,为用户提供了安全、便捷、高效的个性化推荐系统。

基于联邦增量学习的SDN环境下DDoS攻击检测模型

SDN是一种被广泛应用的网络范式.面对DDoS攻击等网络安全威胁,在SDN中集成高效的DDoS攻击检测方法尤为重要.由于SDN集中控制的特性,集中式DDoS攻击检测方法在SDN环境中存在较高的安全风险,使得SDN的控制平面安全性受到了巨大挑战.此外,SDN环境中流量数据不断增加,导致复杂流量特征的更复杂化、不同实体之间严重的Non-IID分布等问题.这些问题对现有的基于联邦学习的检测模型准确性与鲁棒性的进一步提高造成严重阻碍.针对上述问题,本文提出了一种基于联邦增量学习的SDN环境下DDoS攻击检测模型.首先,为解决集中式DDoS攻击检测的安全风险与数据增量带来的Non-IID分布问题,本文提出了一种基于联邦增量学习的加权聚合算法,使用动态调整聚合权重的方式个性化适应不同子数据集增量情况,提高增量聚合效率.其次,针对SDN环境中复杂的流量特征,本文设计了一种基于LSTM的DDoS攻击检测方法,通过统计SDN环境中流量数据的时序特征,提取并学习数据的时序关特征的相关性,实现对流量特征数据的实时检测.最后,本文结合SDN集中管控特点,实现了SDN环境下的DDoS实时防御决策,根据DDoS攻击检测结果与网络实体信息,实现流规则实时下发,达到有效阻断DDoS攻击流量、保护拓扑重要实体并维护拓扑流量稳定的效果.本文将提出的模型在增量式DDoS攻击检测任务上与FedAvg、FA-FedAvg和FIL-IIoT三种方法进行性能对比实验.实验结果表明,本文提出方法相比于其他方法,在DDoS攻击检测准确率上提升5.06%~12.62%,F1-Score提升0.0565~0.1410.

基于联邦学习和多方安全计算的海铁联运数据安全共享方法研究

我国海铁联运占港口集疏运比例仍然过低,关键原因之一在于铁路对于港口适运货源的动态信息不明、营销组织不力。铁路货运营销部门缺乏在保证港口、铁路、海关三方数据隐私安全的前提下,根据铁路运力动态主动挖掘港口和海关数据中潜在适运货源的技术方法和手段,难以推出适销对路的运输产品和动态营销手段,也难以为海铁联运基础设施的建设提供有效决策依据。构建基于联邦学习和多方安全计算的铁路-港口-海关数据安全共享方法,使用结合同态加密等多方安全计算技术的梯度提升决策树作为模型训练算法,铁路、港口、海关三方地位对等协作,训练出海铁联运潜在货源识别策略;在该策略的正式运行实现过程中,铁路方能够获得路网各流向潜在适运货源的数量级,各方均看不见、带不走其余参与方的任何原始数据。

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

基于差分隐私的联邦学习方案

联邦学习的特点之一是进行训练的服务器并不直接接触数据,因此联邦学习本身就具有保护数据安全的特性。但是研究表明,联邦学习在本地数据训练和中心模型聚合等方面均存在隐私泄露的问题。差分隐私是一种加噪技术,通过加入适当噪声达到攻击者区分不出用户信息的目的。文中研究了一种基于本地和中心差分隐私的混合加噪算法(LCDP-FL),该算法能根据各个客户端不同权重、不同隐私需求,为这些客户端提供本地或混合差分隐私保护。而且我们证明该算法能够在尽可能减少计算开支的同时,为用户提供他们所需的隐私保障。在MNIST数据集和CIFAR-10数据集上对该算法进行了测试,并与本地差分隐私(LDP-FL)和中心差分隐私(CDP-FL)等算法进行对比,结果显示该混合算法在精确度、损失率和隐私安全方面均有改进,其算法性能最优。

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

美国联邦机构技术转移管理和运行机制研究

美国联邦机构技术转移为美国长期保持科技创新竞争力发挥了重要作用。本研究分别从法律支撑、政府协调机制和联邦部门技术转移年报三个角度,获得对美国联邦技术转移工作的组织管理和运行机制较为全面和系统的认知。通过对联邦技术转移趋势的进一步分析,发现传统的技术转移方式在推动新技术商业化方面显现出不适应,近年来美国联邦技术转移组织方式已悄然发生了许多新变化,文章简要阐述了这些变化的原因,并提出对推进中国公共科研机构技术转移改革工作的启示。

车联网中基于联邦和强化学习的边缘缓存策略

为解决车联网中传统内容流行度预测方法无法准确捕获车辆请求特性,导致缓存命中率较低的问题,提出了一种基于联邦学习和强化学习的边缘协同缓存策略。该策略将车辆请求概率更高的内容预缓存在其他车辆或路侧单元中,以提高缓存命中率和降低平均内容获取延时。采用联邦学习方法利用分布在多个车辆上的私有数据进行训练并预测内容流行度,然后使用强化学习算法求解目标函数,获得流行内容的最佳缓存位置。结果表明,所提出的策略在缓存命中率和平均内容获取延时方面均优于其他对比缓存策略,有效提升了车联网边缘缓存性能。

可实现双向自适应差分隐私的联邦学习方案

随着个人数据的爆发式增长,基于差分隐私的联邦学习模型可用于解决数据孤岛问题和保护用户数据隐私,参与者通过训练本地数据,将添加噪声后的参数共享到中心服务器进行聚合,实现分布式机器学习训练。此过程中存在两方面问题:①中心服务器广播参数的过程中数据信息仍未受到保护,有泄露用户隐私的风险;②对参数过度添加噪声会导致参数聚合质量降低,影响最终联邦学习的模型精度。为解决以上问题,提出了一种可实现双向自适应差分隐私的联邦学习方案(FedBADP),对客户端和中心服务器之间传输的梯度进行自适应加噪,在保护数据安全的同时不影响模型准确率。考虑到参与者硬件设备的性能限制,文中对其梯度进行采样以减少通信开销,并在客户端和中心服务器使用均方根传递加速模型的收敛提高模型精度。实验结果证明,文中提出的模型框架在保持较好准确率的同时,也增强了用户的隐私保护能力。

一种基于区块链和梯度压缩的去中心化联邦学习模型

联邦学习可在保护数据隐私的前提下完成模型的训练,但实际应用中存在的安全问题阻碍了联邦学习的发展。提出一种基于区块链和梯度压缩的去中心化联邦学习模型。首先,利用区块链存储训练数据,训练参与方通过全局模型本地更新的方式取代中心服务器并使用智能合约实现对链上数据的访问控制。其次,提出一种梯度压缩方法,对模型参数进行压缩以减少参与方与区块链之间的数据传输量且有效防止了梯度隐私泄露。最后,为减弱梯度压缩对全局模型收敛速度的影响,使用热身训练的方式提升全局模型的收敛速度以缩短整体训练时间。实验结果表明,该模型在减少传输数据量的情况下对全局模型准确率有较小影响且提升了联邦学习训练效率。

预算约束下多任务联邦学习激励机制

联邦学习是一种实现数据隐私保护的分布式机器学习范式,性能取决于数据源的质量和数据规模。客户端是理性个体,参与联邦学习将耗费计算、通信和隐私等成本,需要通过激励提高客户端的参与意愿。因此联邦学习能成功应用的关键之一是尽可能多地激励高质量数据客户端参与训练。多任务联邦学习环境下客户端拥有面向不同任务且质量不同的数据,并具有执行能力的约束。为提高多个学习任务的整体性能,在预算受限的条件下设计一种面向任务的客户选择和报酬机制。通过分析影响模型精度的重要因素,提出一种基于客户端数据样本分布特征的质量评估标准,并结合客户端成本信息,设计一种逆向拍卖的激励机制(EMD-MQMFL),实现客户端的任务指派和支付策略。从理论上分析和证明了该机制具有诚实性、个人理性以及预算可行性,并通过大量实验验证了该方法在联邦学习性能上的有效性。在MNIST、Fashion-MNIST、Cifar-10数据集上的实验结果表明,EMD-MQMFL在数据不平衡的情况下,平均模型精度比已有的机制至少提高5.6个百分点。

基于联邦学习的分布式电采暖互动模式设计与展望

随着“双碳”目标的提出,以及“以电代煤”政策的贯彻落实,大量电采暖设备取代传统燃煤取暖投入运行并接入电网将成为必然趋势。大量电采暖设备可以作为需求侧可调资源进行新能源消纳,但是分布式电采暖所处地理区域较为分散,传统集中式管理的方式又存在隐私泄露、数据孤岛等问题。联邦学习作为一种分布式技术可在保护隐私的前提下支撑电采暖负荷互动,在分布式电采暖互动领域具有较强的适用性。分析了基于联邦学习的分布式电采暖互动需求,以及边缘缓存、隐私防护、通信传输优化和异构资源融合等技术在基于联邦学习的电采暖互动场景中的应用方式,并展望了未来基于联邦学习的分布式电采暖互动前景。

在线异步联邦学习的客户优化选择与激励

联邦学习能够在保护用户隐私的前提下,使不同的客户端合作共同训练同一模型,如何激励高质量的客户端参与联邦学习是关键。在线联邦学习环境中,由于参与训练的客户端随机到达和离开,每轮参与报价的客户端动态变化,对客户端的在线质量评估与选择是一个难题。针对这一挑战提出了在线联邦学习激励算法,以优化在线客户端的选择和预算分配,提高预算约束下在线环境联邦学习的性能。该算法将预算按阶段划分并根据历史样本信息计算最优的质量密度阈值,其主要思想是对客户端模型质量进行动态评估,在此基础上采用质量阈值准入机制,同时对参与训练的客户端数量进行限制。从理论上证明了激励算法满足激励相容性、预算可行性和个体理性。实验结果表明,提出的在线激励算法在不同比例搭便车客户端的情况下都能有良好的性能,在预算充足且有搭便车和有误标标签的客户端情况下比已有方法在EMNIST-B和CIFAR-10两个数据集上分别提高约4%和10%。

数字孪生辅助联邦学习中的边缘选择和资源分配联合优化

在基于联邦学习的智能驾驶中,智能网联汽车(ICV)的资源限制和可能出现的设备故障会导致联邦学习训练精度下降、时延和能耗增加等问题。为此该文提出数字孪生辅助联邦学习中的边缘选择和资源分配优化方案。该方案首先提出数字孪生辅助联邦学习机制,使得ICV能够选择在本地或利用其数字孪生体参与联邦学习。其次,通过构建数字孪生辅助联邦学习的计算和通信模型,建立以最小化累积训练时延和能耗为目标的边缘选择和资源分配联合优化问题,并将其转化为部分可观测的马尔可夫决策过程。最后,提出基于多智能体参数化Q网络(MPDQN)的边缘选择和资源分配算法,用于学习近似最优的边缘选择和资源分配策略,以实现联邦学习累积时延和能耗最小化。仿真结果表明,所提算法在保证模型精度的同时,有效降低联邦学习累积训练时延和能耗。