非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

面向非独立同分布数据的联邦学习研究进展

在联邦学习中,因数据只需要在终端设备上进行训练而不需要上传到服务器端,从而有效的保证了数据的隐私性和安全性.目前关于联邦学习各方面的研究虽然取得了很大的进展,但是联邦学习中的非独立同分布数据问题仍然是一个难以攻克的难题.本文对联邦学习中非独立同分布数据方面的研究进行了大量的调研,发现现有的研究主要涉及以下几个方面:性能优化、算法优化、模型优化、通信成本、隐私保护和个性化联邦学习等.为了归纳整理联邦学习中关于非独立同分布数据的相关研究,本文从以上各个方面详细介绍了现阶段联邦学习中有关非独立同分布数据的研究方案;最后分析了联邦学习中非独立同分布数据未来的研究方向,为今后联邦学习的研究指明方向.

非独立同分布工业大数据下联邦动态加权学习方法

联邦学习在不交换本地数据的情况下可以完成多方协作训练,很好地解决了工业物联网领域数据隐私保护及共享问题。但是传统的联邦学习在面对非独立同分布的工业数据时,会因为局部模型更新导致模型的偏移。针对上述问题,提出非独立同分布工业大数据下联邦动态加权学习方法,该方法分为局部更新和全局聚合两个阶段。在局部更新阶段,利用联邦距离算法消除偏移程度过大的局部模型的影响;在全局聚合阶段,提出动态加权算法,动态的给对全局模型更有利的局部数据分配更大的训练权重。该方法既考虑了局部更新导致的模型偏移程度问题,又兼顾了偏移局部模型对全局模型的影响。通过实验验证了该方法在面对非独立同分布的工业数据时具有良好的效果。

面向非独立同分布数据的车联网多阶段联邦学习机制

车联网在智慧城市建设中扮演着不可或缺的角色,汽车不仅仅是交通工具,更是大数据时代信息采集和传输的重要载体.随着车辆采集的数据量飞速增长和人们隐私保护意识的增强,如何在车联网环境中确保用户数据安全,防止数据泄露,成为亟待解决的难题.联邦学习采用“数据不动模型动”的方式,为保护用户隐私和实现良好性能提供了可行方案.然而,受限于采集设备、地域环境、个人习惯的差异,多台车辆采集的数据通常表现为非独立同分布(non-independent and identically distributed,non-IID)数据,而传统的联邦学习算法在non-IID数据环境中,其模型收敛速度较慢.针对这一挑战,提出了一种面向non-IID数据的车联网多阶段联邦学习机制,称为FedWO.第1阶段采用联邦平均算法,使得全局模型快速达到一个基本的模型准确度;第2阶段采用联邦加权多方计算,依据各车辆的数据特性计算其在全局模型中的权重,聚合后得到性能更优的全局模型,同时采用传输控制策略,减少模型传输带来的通信开销;第3阶段为个性化计算阶段,车辆利用各自的数据进行个性化学习,微调本地模型获得与本地数据更匹配的模型.实验采用了驾驶行为数据集进行实验评估,结果表明相较于传统方法,在non-IID数据场景下,FedWO机制保护了数据隐私,同时提高了算法的准确度.

基于联邦学习的含不平衡样本数据电力变压器故障诊断

基于海量样本数据的深度神经网络可以显著提升电力变压器的故障诊断效果,但实际环境中各变压器本地数据被“数据孤岛”隔离,难以进行集中式深度训练。联邦学习可以实现多源数据的共同建模,但各变压器的非独立同分布不平衡数据会使算法性能严重下降。针对上述问题,提出一种基于联邦学习的含不平衡样本数据电力变压器故障诊断机制。与传统深度学习集中训练方式不同,文中采用多个参与者分布训练方式。每个参与者采用LeNet-5深度神经网络进行本地训练,中央服务器将本地模型进行聚合,同时引入改进的数据共享策略对云端共享数据进行选择性下发,以降低非独立同分布数据的不平衡性。实验结果证明,该机制实现了各变压器独立且不平衡数据的协同训练,对变压器故障类型的诊断精度可达到97%。

基于联邦学习的无线任务:数据非IID一定影响性能?

作为一种分布式训练框架,联邦学习在无线通信领域有着广阔的应用前景,也面临着多方面的技术挑战,其中之一源于参与训练用户数据集的非独立同分布(Independent and identically distributed,IID)。不少文献提出了解决方法,以减轻户数据集非IID造成的联邦学习性能损失。本文以平均信道增益预测、正交幅度调制信号的解调这两个无线任务以及两个图像分类任务为例,分析用户数据集非IID对联邦学习性能的影响,通过神经网络损失函数的可视化和对模型参数的偏移量进行分析,尝试解释非IID数据集对不同任务影响程度不同的原因。分析结果表明,用户数据集非IID未必导致联邦学习性能的下降。在不同数据集上通过联邦平均算法训练得到的模型参数偏移程度和损失函数形状有很大的差异,二者共同导致了不同任务受数据非IID影响程度的不同;在同一个回归问题中,数据集非IID是否影响联邦学习的性能与引起数据非IID的具体因素有关。

联合双维度用户调度的自适应联邦边缘学习

联邦边缘学习无需传输本地数据,在保护用户隐私的基础上,大大降低了上行链路压力。联邦边缘学习通过智能边缘设备,利用本地数据集训练局部模型后上传模型参数至中心服务器;中心服务器聚合本地上传的局部模型参数形成全局模型后进行更新,然后将更新后的模型下发给智能边缘设备开始新一轮迭代。但是局部模型精度以及局部模型训练时间,对全局模型聚合以及模型更新过程会产生重大影响。因此提出自适应动态批量梯度下降策略,在局部模型训练过程中自动调整梯度下降抽取的批量大小,优化联邦学习的局部模型精度及收敛速度。针对用户数据的非独立同分布特性,设计一种联合双维度用户调度策略的自适应动态批量梯度下降算法,通过收敛时间和数据多样性进行双维度约束。经MNIST数据集、fashion MNIST数据集和CIFAR-10数据集的训练测试,算法在有效降低聚合等待时间的同时能够进一步提高全局模型精度和收敛速度。与固定批量为64、128、256的梯度下降算法相比,该算法的全局模型精度在运行100 s时提升分别为32.4%、45.2%、87.5%。

异构边缘计算环境下异步联邦学习的节点分组与分时调度策略

为了克服异构边缘计算环境下联邦学习的3个关键挑战,边缘异构性、非独立同分布数据及通信资源约束,提出了一种分组异步联邦学习(FedGA)机制,将边缘节点分为多个组,各个分组间通过异步方式与全局模型聚合进行全局更新,每个分组内部节点通过分时方式与参数服务器通信。理论分析建立了FedGA的收敛界与分组间数据分布之间的定量关系。针对分组内节点的通信提出了分时调度策略魔镜法(MMM)优化模型单轮更新的完成时间。基于FedGA的理论分析和MMM,设计了一种有效的分组算法来最小化整体训练的完成时间。实验结果表明,FedGA和MMM相对于现有最先进的方法能降低30.1%~87.4%的模型训练时间。

基于隐私推断Non-IID联邦学习模型的后门攻击研究

联邦学习安全与隐私在现实场景中受数据异构性的影响很大,为了研究隐私推断攻击、后门攻击与数据异构性的相互作用机理,提出一种基于隐私推断的高隐蔽后门攻击方案。首先基于生成对抗网络进行客户端的多样化数据重建,生成用于改善攻击者本地数据分布的补充数据集;在此基础上,实现一种源类别定向的后门攻击策略,不仅允许使用隐蔽触发器控制后门是否生效,还允许攻击者任意指定后门针对的源类别数据。基于MNIST、CIFAR 10和YouTube Aligned Face三个公开数据集的仿真实验表明,所提方案在数据非独立同分布的联邦学习场景下有着较高的攻击成功率和隐蔽性。

一种基于CutMix的增强联邦学习框架

联邦学习(Federated Learning)的出现解决了传统机器学习中存在的“数据孤岛”问题,能够在保护客户端本地数据隐私的前提下进行集体模型的训练。当客户端数据为独立同分布(Independently Identically Distribution,IID)数据时,联邦学习能够达到近似于集中式机器学习的精确度。然而在现实场景下,由于客户端设备、地理位置等差异,往往存在客户端数据含有噪声数据以及非独立同分布(Non-IID)的情况。因此,提出了一种基于CutMix的联邦学习框架,即剪切增强联邦学习(CutMix Enhanced Federated Learning,CEFL)。首先通过数据清洗算法过滤掉噪声数据,再通过基于CutMix的数据增强方式进行训练,可以有效提高联邦学习模型在真实场景下的学习精度。在MNIST和CIFAR-10标准数据集上进行了实验,相比传统的联邦学习算法,剪切增强联邦学习在Non-IID数据下对模型的准确率分别提升了23%和19%。

动态聚合权重的隐私保护联邦学习框架

在非可信中心服务器下的隐私保护联邦学习框架中,存在以下两个问题。①在中心服务器上聚合分布式学习模型时使用固定的权重,通常是每个参与方的数据集大小。然而,不同参与方具有非独立同分布的数据,设置固定聚合权重会使全局模型的效用无法达到最优。②现有框架建立在中心服务器是诚实的假定下,没有考虑中央服务器不可信导致的参与方的数据隐私泄露问题。为了解决上述问题,基于比较流行的DP-FedAvg算法,提出了一种非可信中心服务器下的动态聚合权重的隐私保护联邦学习DP-DFL框架,其设定了一种动态的模型聚合权重,该方法从不同参与方的数据中直接学习联邦学习中的模型聚合权重,从而适用于非独立同分布的数据环境。此外,在本地模型隐私保护阶段注入噪声进行模型参数的隐私保护,满足不可信中心服务器的设定,从而降低本地参与方模型参数上传中的隐私泄露风险。在数据集CIFAR-10上的实验证明,DP-DFL框架不仅提供本地隐私保证,同时可以实现更高的准确率,相较DP-FedAvg算法模型的平均准确率提高了2.09%。

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型,保证数据留在客户端本地,从而保护用户隐私.由于参与训练的设备数目庞大,存在数据非独立同分布和通信带宽受限的情况.因此,降低通信成本是联邦学习的重要研究方向.梯度压缩是提升联邦学习通信效率的有效方法,然而目前常用的梯度压缩方法大多针对独立同分布的数据,未考虑联邦学习的特性.针对数据非独立同分布的联邦场景,本文提出了基于投影的稀疏三元压缩算法,通过在客户端和服务端进行梯度压缩,降低通信成本,并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响.实验结果表明,本文提出的算法不仅提升了通信效率,而且在收敛速度和准确率上均优于现有的梯度压缩算法.

算力网络环境下基于区块链的自适应联邦学习

算力网络旨在深度融合算力资源与网络资源,实现对泛在离散部署的海量数据和异构资源的高效利用。为了应对算力网络中复杂的多中心计算协同和数据隐私安全的要求,联邦学习在隐私保护和边缘算力资源利用等方面有着先天的优势。然而,基于算力边缘服务器的高度异构和广泛分布,算力网络环境下的联邦学习仍然存在一定的困难。一方面,算力网络中海量边缘服务器之间存在的数据异质性会引起非独立同分布问题,导致联邦学习中局部模型的更新偏离全局最优值。另一方面,由于不同边缘服务器的数据质量存在差异,生成低质量的局部模型会显著影响训练效果。为了解决上述问题,提出了基于区块链的自适应联邦学习(AWFL-BC,adaptiveweightfederatedlearning-blockchain)方案。通过智能合约计算不同边缘服务器的数据分布距离,生成相似度矩阵指导聚合。同时,设计了一种自适应权重聚合算法,以减轻由数据质量差异引起的模型性能和稳定性下降,从而提升模型的准确率,加速模型收敛。最后,结合区块链技术加强了安全保障机制,可有效防止投毒攻击与推理攻击。在3个公有标准数据集上进行的综合实验表明,与最先进的方法相比,AWFL-BC实现了更高的模型准确率,且模型收敛速度更快。