民初联邦论思潮探析

中华民国南京临时政府组建前后,中国思想界曾出现过短暂的联邦论思潮,但很快就为中央集权论淹没。随着袁世凯专制集权日趋严密,联邦论思潮再度兴起。对于民国三年到五年的联邦论,人们往往只把它看作是一个政制方案,但在此期鼓吹联邦制的人士那里,联邦制是一个解决中国问题的系统方案。本文即探究此期联邦论思潮的内涵及其局限。

张君劢与民初联邦论之争

张君劢是资产阶级温和派代表人物 ,在民初联邦论与反联邦论之争中非常活跃 ,起到了十分重要的作用。在联邦问题上 ,其思想和行动在 2 0年代前后发生巨大变化 ,由一个反联邦论者变化为联邦论者 。

联邦学习中的攻击手段与防御机制研究综述

联邦学习的攻防技术是联邦学习系统安全的核心问题。联邦学习的攻防技术能大幅降低联邦学习系统被攻击的风险,明显提升联邦学习系统的安全性。深入了解联邦学习的攻防技术,可以推进联邦学习领域的研究,实现联邦学习的广泛应用。因此,对联邦学习的攻防技术进行研究具有十分重要的意义。简要地介绍了联邦学习的概念、基本工作流程、类型及可能存在的安全问题;介绍联邦学习系统可能遭受到的攻击,梳理了相关研究;从联邦学习系统有无目标性的防御措施出发,将防御措施分为通用性防御措施及针对性防御措施两类,并对其进行了针对性的总结;对联邦学习安全性未来的研究方向进行了梳理与分析,为相关研究者在联邦学习安全性方面的研究工作提供了参考。

基于同态加密的隐私保护与可验证联邦学习方案

Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross-silo联邦学习方案。具体地,对每个客户端中间参数进行加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。

基于联邦学习的分布式电采暖互动模式设计与展望

随着“双碳”目标的提出,以及“以电代煤”政策的贯彻落实,大量电采暖设备取代传统燃煤取暖投入运行并接入电网将成为必然趋势。大量电采暖设备可以作为需求侧可调资源进行新能源消纳,但是分布式电采暖所处地理区域较为分散,传统集中式管理的方式又存在隐私泄露、数据孤岛等问题。联邦学习作为一种分布式技术可在保护隐私的前提下支撑电采暖负荷互动,在分布式电采暖互动领域具有较强的适用性。分析了基于联邦学习的分布式电采暖互动需求,以及边缘缓存、隐私防护、通信传输优化和异构资源融合等技术在基于联邦学习的电采暖互动场景中的应用方式,并展望了未来基于联邦学习的分布式电采暖互动前景。

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

可实现双向自适应差分隐私的联邦学习方案

随着个人数据的爆发式增长,基于差分隐私的联邦学习模型可用于解决数据孤岛问题和保护用户数据隐私,参与者通过训练本地数据,将添加噪声后的参数共享到中心服务器进行聚合,实现分布式机器学习训练。此过程中存在两方面问题:①中心服务器广播参数的过程中数据信息仍未受到保护,有泄露用户隐私的风险;②对参数过度添加噪声会导致参数聚合质量降低,影响最终联邦学习的模型精度。为解决以上问题,提出了一种可实现双向自适应差分隐私的联邦学习方案(FedBADP),对客户端和中心服务器之间传输的梯度进行自适应加噪,在保护数据安全的同时不影响模型准确率。考虑到参与者硬件设备的性能限制,文中对其梯度进行采样以减少通信开销,并在客户端和中心服务器使用均方根传递加速模型的收敛提高模型精度。实验结果证明,文中提出的模型框架在保持较好准确率的同时,也增强了用户的隐私保护能力。

预算约束下多任务联邦学习激励机制

联邦学习是一种实现数据隐私保护的分布式机器学习范式,性能取决于数据源的质量和数据规模。客户端是理性个体,参与联邦学习将耗费计算、通信和隐私等成本,需要通过激励提高客户端的参与意愿。因此联邦学习能成功应用的关键之一是尽可能多地激励高质量数据客户端参与训练。多任务联邦学习环境下客户端拥有面向不同任务且质量不同的数据,并具有执行能力的约束。为提高多个学习任务的整体性能,在预算受限的条件下设计一种面向任务的客户选择和报酬机制。通过分析影响模型精度的重要因素,提出一种基于客户端数据样本分布特征的质量评估标准,并结合客户端成本信息,设计一种逆向拍卖的激励机制(EMD-MQMFL),实现客户端的任务指派和支付策略。从理论上分析和证明了该机制具有诚实性、个人理性以及预算可行性,并通过大量实验验证了该方法在联邦学习性能上的有效性。在MNIST、Fashion-MNIST、Cifar-10数据集上的实验结果表明,EMD-MQMFL在数据不平衡的情况下,平均模型精度比已有的机制至少提高5.6个百分点。

基于模型质量评分的联邦学习聚合算法优化

在联邦学习环境中,客户端数据的质量是决定模型性能的关键因素。传统的评估方法依赖于在中心节点的验证集上衡量客户端模型的损失,从而对数据质量进行评估。在缺乏有效验证集的情况下,数据质量的评估是困难的。为了解决上述问题,提出了一种根据同伴信息进行模型质量评分的方法。通过对客户端上传的模型参数进行裁剪处理,基于正确评分规则的相关理论设计模型质量评分机制,并在此基础上优化聚合算法,降低低质量客户端对全局模型的影响。在MNIST、Fashion-MNIST和CIFAR-10等数据集上的实验表明,提出的评分机制无须复杂的算法,且能有效辨别搭便车、噪声、错误标签三类低质量数据客户端,提高联邦学习性能的鲁棒性。

一种基于区块链和梯度压缩的去中心化联邦学习模型

联邦学习可在保护数据隐私的前提下完成模型的训练,但实际应用中存在的安全问题阻碍了联邦学习的发展。提出一种基于区块链和梯度压缩的去中心化联邦学习模型。首先,利用区块链存储训练数据,训练参与方通过全局模型本地更新的方式取代中心服务器并使用智能合约实现对链上数据的访问控制。其次,提出一种梯度压缩方法,对模型参数进行压缩以减少参与方与区块链之间的数据传输量且有效防止了梯度隐私泄露。最后,为减弱梯度压缩对全局模型收敛速度的影响,使用热身训练的方式提升全局模型的收敛速度以缩短整体训练时间。实验结果表明,该模型在减少传输数据量的情况下对全局模型准确率有较小影响且提升了联邦学习训练效率。

边缘计算网络中区块链赋能的异步联邦学习算法

由于数据量激增而引起的信息爆炸使得传统集中式云计算不堪重负,边缘计算网络(ECN)被提出以减轻云服务器的负担。此外,在ECN中启用联邦学习(FL),可以实现数据本地化处理,从而有效解决协同学习中边缘节点(ENs)的数据安全问题。然而在传统FL架构中,中央服务器容易受到单点攻击,导致系统性能下降,甚至任务失败。本文在ECN场景下,提出基于区块链技术的异步FL算法(AFLChain),该算法基于ENs算力动态分配训练任务,以提高学习效率。此外,基于ENs算力、模型训练进度以及历史信誉值,引入熵权信誉机制评估ENs积极性并对其分级,淘汰低质EN以进一步提高AFLChain的性能。最后,提出基于次梯度的最优资源分配(SORA)算法,通过联合优化传输功率和计算资源分配以最小化整体网络延迟。仿真结果展示了AFLChain的模型训练效率以及SORA算法的收敛情况,证明了所提算法的有效性。

在线异步联邦学习的客户优化选择与激励

联邦学习能够在保护用户隐私的前提下,使不同的客户端合作共同训练同一模型,如何激励高质量的客户端参与联邦学习是关键。在线联邦学习环境中,由于参与训练的客户端随机到达和离开,每轮参与报价的客户端动态变化,对客户端的在线质量评估与选择是一个难题。针对这一挑战提出了在线联邦学习激励算法,以优化在线客户端的选择和预算分配,提高预算约束下在线环境联邦学习的性能。该算法将预算按阶段划分并根据历史样本信息计算最优的质量密度阈值,其主要思想是对客户端模型质量进行动态评估,在此基础上采用质量阈值准入机制,同时对参与训练的客户端数量进行限制。从理论上证明了激励算法满足激励相容性、预算可行性和个体理性。实验结果表明,提出的在线激励算法在不同比例搭便车客户端的情况下都能有良好的性能,在预算充足且有搭便车和有误标标签的客户端情况下比已有方法在EMNIST-B和CIFAR-10两个数据集上分别提高约4%和10%。

基于本地差分隐私的异步横向联邦安全梯度聚合方案

联邦学习作为一种新兴的分布式机器学习框架,通过在用户私有数据不出域的情况下进行联合建模训练,有效地解决了传统机器学习中的数据孤岛和隐私泄露问题。然而,联邦学习存在着训练滞后的客户端拖累全局训练速度的问题,异步联邦学习允许用户在本地完成模型更新后立即上传到服务端并参与到聚合任务中,而无需等待其他用户训练完成。然而,异步联邦学习也存在着无法识别恶意用户上传的错误模型,以及泄露用户隐私的问题。针对这些问题,该文设计一种面向隐私保护的异步联邦的安全梯度聚合方案(SAFL)。用户采用本地差分隐私策略,对本地训练的模型添加扰动并上传到服务端,服务端通过投毒检测算法剔除恶意用户,以实现安全聚合(SA)。最后,理论分析和实验表明在异步联邦学习的场景下,提出的方案能够有效识别出恶意用户,保护用户的本地模型隐私,减少隐私泄露风险,并相对于其他方案在模型的准确率上有较大的提升。

美国联邦机构技术转移管理和运行机制研究

美国联邦机构技术转移为美国长期保持科技创新竞争力发挥了重要作用。本研究分别从法律支撑、政府协调机制和联邦部门技术转移年报三个角度,获得对美国联邦技术转移工作的组织管理和运行机制较为全面和系统的认知。通过对联邦技术转移趋势的进一步分析,发现传统的技术转移方式在推动新技术商业化方面显现出不适应,近年来美国联邦技术转移组织方式已悄然发生了许多新变化,文章简要阐述了这些变化的原因,并提出对推进中国公共科研机构技术转移改革工作的启示。

基于区块链共识激励机制的新型联邦学习系统

随着云存储、人工智能等技术的发展,数据的价值已获得显著增长。但由于昂贵的通信代价和难以承受的数据泄露风险迫使各机构间产生了“数据孤岛”问题,大量数据无法发挥它的经济价值。虽然将区块链作为承载联邦学习的平台能够在一定程度上解决该问题,但也带来了三个重要的缺陷:1)工作量证明(Proof of Work,POW)、权益证明(Proof of Stake,POS)等共识过程与联邦学习训练过程并无关联,共识将浪费大量算力和带宽;2)节点会因为利益的考量而拒绝或消极参与训练过程,甚至因竞争关系干扰训练过程;3)在公开的环境下,模型训练过程的数据难以溯源,也降低了攻击者的投毒成本。研究发现,不依靠工作量证明、权益证明等传统共识机制而将联邦学习与模型水印技术予以结合来构造全新的共识激励机制,能够很好地避免联邦学习在区块链平台上运用时所产生的算力浪费及奖励不均衡等情况。基于这种共识所设计的区块链系统不仅仍然满足不可篡改、去中心化、49%拜占庭容错等属性,还天然地拥有49%投毒攻击防御、数据非独立同分布(Not Identically and Independently Distributed,Non-IID)适应以及模型产权保护的能力。实验与论证结果都表明,本文所提出的方案非常适用于非信任的机构间利用大量本地数据进行商业联邦学习的场景,具有较高的实际价值。

跨机构联邦学习的激励机制综述

联邦学习作为一种分布式机器学习,有效地解决了大数据时代的数据共享难题。其中,跨机构联邦学习是机构之间互相合作的一种联邦学习类型。如何在跨机构合作的过程中设计合理的激励机制十分重要。文中从跨机构合作的角度,对现有的跨机构联邦学习的激励机制研究进行了综述。首先介绍跨机构合作过程中的3个基本问题,即高隐私性、数据异质性、公平性,然后分析了以全局模型为中心和以参与者为中心这两种不同的跨机构合作模式下的激励机制设计方法,最后总结了影响跨机构合作稳定发展的几个影响因素,即参与者的数据演变、参与者合作关系变动和参与者的负面行为,并展望了跨机构联邦合作的未来方向。

数字孪生辅助联邦学习中的边缘选择和资源分配联合优化

在基于联邦学习的智能驾驶中,智能网联汽车(ICV)的资源限制和可能出现的设备故障会导致联邦学习训练精度下降、时延和能耗增加等问题。为此该文提出数字孪生辅助联邦学习中的边缘选择和资源分配优化方案。该方案首先提出数字孪生辅助联邦学习机制,使得ICV能够选择在本地或利用其数字孪生体参与联邦学习。其次,通过构建数字孪生辅助联邦学习的计算和通信模型,建立以最小化累积训练时延和能耗为目标的边缘选择和资源分配联合优化问题,并将其转化为部分可观测的马尔可夫决策过程。最后,提出基于多智能体参数化Q网络(MPDQN)的边缘选择和资源分配算法,用于学习近似最优的边缘选择和资源分配策略,以实现联邦学习累积时延和能耗最小化。仿真结果表明,所提算法在保证模型精度的同时,有效降低联邦学习累积训练时延和能耗。

基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习(ACFL)算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习(CFL),从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法(IFCA),且具有更快的收敛速度。

双因子更新的车联网双层异步联邦学习研究

针对车联网(IoV)中节点资源异构、拓扑结构动态变化等特点,该文建立了一个双因子更新的双层异步联邦学习(TTAFL)框架。考虑到模型版本差和车辆参与联邦学习(FL)次数对局部模型更新的影响,提出基于陈旧因子和贡献因子的模型更新方案。同时,为了避免训练过程中,车辆移动带来路侧单元切换的问题,给出考虑驻留时间的节点选择方案。最后,为了减少精度损失与系统能耗,利用强化学习方法优化联邦学习的本地迭代次数与路侧单元局部模型更新次数。仿真结果表明,所提算法有效提高了联邦学习的训练效率和训练精度,降低了系统能耗。