非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

I.I.D.随机变量部分和之随机和的极限定理

论文研究了部分和之随机和的大数律和中心极限定理 ,所得结果推广了文献[4 ]中部分和之和的大数律和中心极限定理 .此外 ,论文还研究了由部分和之和所定义的停时 。

基于联邦学习的船舶AIS轨迹预测算法

联邦学习是一种可以在弱通信环境下有效解决数据孤岛问题的分布式机器学习方法。针对海上船舶轨迹实时预测问题,提出基于Fedves联邦学习框架与卷积神经网络-门控循环单元(CNN-GRU)模型的船舶轨迹预测算法(E-FVTP)。根据Fedves联邦学习框架,通过规范客户端数据集规模以及客户端正则项,在保持原有客户端数据特征的前提下,减小数据非独立同分布特征对全局模型的影响,加快收敛速度。面向海洋通信资源短缺场景,建立基于船舶自动识别系统(AIS)数据的CNN-GRU船舶轨迹预测模型,解决了船舶终端设备计算能力不足的问题。在MarineCadastre开源和舟山海洋船舶航行AIS数据集上的实验结果表明,E-FVTP在预测误差比集中式训练降低40%的情况下,收敛速度提升67%、通信代价降低76.32%,可实现复杂海洋环境中船舶轨迹的精确预测,保障海上交通安全。

I.I.D.随机变量部分和之和的完全收敛性

用截尾等方法研究独立同分布(i.i.d.)随机变量序列部分和之和的完全收敛性,得到了与i.i.d.随机变量序列部分和完全收敛性相同的等价条件,补充了部分和之和的极限定理.

基于分布共识的联邦增量迁移学习

相同生产工艺的工业过程协同建模是解决工业难测参数在线软测量的有效方法,但因生产原料、设备等因素差异,所形成的分布式数据往往呈现非独立同分布特性(Nonindependent Identically Distribution,Non-IID).同时,受生产环境变化影响,数据分布特性会随时间发生变化.因此,工业建模场景对模型的个性化配置和自主调整能力提出了更高的要求.为此,本文提出一种结构与参数并行优化的联邦增量迁移学习方法(Federated Incremental Transfer Learning,FITL).所提方法在增量式联邦学习框架下,建立了基于模型输出信息的联邦共识组织,并利用横向联邦进行组内增强;进而,面向联邦共识组织,通过最小化组间共识差异增量迁移不同共识组织信息;最后,结合组内横向增强和跨组织迁移学习,构造增量迁移下的联邦学习模型.在工业数据集和基准数据集上的实验结果表明,与现有方法相比,所提模型能更好地实现不同工况Non-IID情况下的协同建模.在过程工业回归任务和公开数据集的分类任务中,FITL能在多工况环境下相较基线方法提升9%和16%的模型预测精度.

联合双维度用户调度的自适应联邦边缘学习

联邦边缘学习无需传输本地数据,在保护用户隐私的基础上,大大降低了上行链路压力。联邦边缘学习通过智能边缘设备,利用本地数据集训练局部模型后上传模型参数至中心服务器;中心服务器聚合本地上传的局部模型参数形成全局模型后进行更新,然后将更新后的模型下发给智能边缘设备开始新一轮迭代。但是局部模型精度以及局部模型训练时间,对全局模型聚合以及模型更新过程会产生重大影响。因此提出自适应动态批量梯度下降策略,在局部模型训练过程中自动调整梯度下降抽取的批量大小,优化联邦学习的局部模型精度及收敛速度。针对用户数据的非独立同分布特性,设计一种联合双维度用户调度策略的自适应动态批量梯度下降算法,通过收敛时间和数据多样性进行双维度约束。经MNIST数据集、fashion MNIST数据集和CIFAR-10数据集的训练测试,算法在有效降低聚合等待时间的同时能够进一步提高全局模型精度和收敛速度。与固定批量为64、128、256的梯度下降算法相比,该算法的全局模型精度在运行100 s时提升分别为32.4%、45.2%、87.5%。

基于异步分层联邦学习的数据异质性处理方法研究

在物联网设备遍布的时代,时刻都在产生大量数据,数据分布和数据量各不相同,因此数据异质性普遍存在。针对物联网环境中智能设备的联邦学习挑战,传统联邦学习的同步机制解决数据异质性(NON-IID)问题并不理想,且面临着单点故障和维护全局时钟的复杂性问题,而异步机制则可能带来额外的通信开销和NON-IID数据分布导致的过时性问题。分层联邦学习结合异步机制在应对数据异质性的问题时更加灵活,为此,提出了一种基于分层联邦学习的异步分层联邦学习方法。首先,使用BIRCH算法分析物联网中各节点的数据分布并进行簇的划分;然后,对簇中的数据进行拆分与验证,目的是找到数据质量高的节点,然后将数据质量高的簇中的节点打散,重组到其他数据质量低的簇中,形成新的簇;最后,进行簇内聚合和全局聚合的两阶段模型训练。此外,基于MNIST数据集,对提出的方法进行了评估。结果表明,与经典方法相比,所提方法在NON-IID数据集上收敛速度提高,而且在模型精度上提高了15%以上。

次线性期望空间下独立同分布序列的一个强大数定律

利用与概率空间不同的研究方法,研究次线性期望空间中独立同分布随机变量序列的加权和在某些条件下的一个强大数定律,从而将该定理从传统概率空间扩展到次线性期望空间.

基于AP聚类算法的联邦学习聚合算法

在传统的联邦学习中,多个客户端的本地模型由其隐私数据独立训练,中心服务器通过聚合本地模型生成共享的全局模型。然而,由于非独立同分布(Non-IID)数据等统计异质性,一个全局模型往往无法适应每个客户端。为了解决这个问题,本文提出一种针对Non-IID数据的基于AP聚类算法的联邦学习聚合算法(APFL)。在APFL中,服务器会根据客户端的数据特征,计算出每个客户端之间的相似度矩阵,再利用AP聚类算法对客户端划分不同的集群,构建多中心框架,为每个客户端计算出适合的个性化模型权重。将本文算法在FMINST数据集和CIFAR10数据集上进行实验,与传统联邦学习FedAvg相比,APFL在FMNIST数据集上提升了1.88个百分点,在CIFAR10数据集上提升了6.08个百分点。实验结果表明,本文所提出的APFL在Non-IID数据上可以提高联邦学习的精度性能。

分布差异感知的联邦学习方法

针对联邦学习中非独立同分布的样本导致模型出现收敛慢、训练不稳定等问题,采用琴生-香农(JS)散度衡量不同用户的数据分布差异,对联邦学习的分布差异最小化问题进行了数学建模,提出分布差异可感知的联邦学习方法,通过数值实验验证了该方法的有效性。实验表明,经过优化的数据分布,可有效加快联邦模型的训练准确率,使模型收敛到更稳定的状态。

I.I.D.随机变量部分和之和的极限定理

研究了独立同分布随机变量部分和之和的强大数律和中心极限定理 ,并且还得到了相应的 Berry-

基于结构感知的多图学习方法

多图学习是一种非常重要的学习范式.与多示例学习相比,在多图学习中包表示一个对象,包中的每一个图对应一个子对象.这种数据表示方法能够表达子对象的结构信息.但是,现有的多图学习方法不仅隐含假设包内的图满足独立同分布,而且多采用将多图学习问题转变为多示例学习问题的技术思路.这类多图学习方法容易损失图自身及图间的结构信息.针对上述问题,本文提出一种基于结构感知的多图学习方法,有效学习图自身和图间的结构信息.该方法利用图核,通过计算图之间的相似度保留图自身的结构信息,通过生成包级图表达图间的结构信息,并且设计包编码器有效学习图间的结构信息.在NCI(1)、NCI(109)和AIDB三个多图数据集上的实验结果表明,所提方法相较于现有方法在准确率、精确率、F1值和AUC上分别平均提高了5.97%、3.44%、4.48%和2.56%,在召回率上平均降低了2.12%.

基于稀疏正则双层优化的个性化联邦学习

个性化联邦学习侧重于为各客户端提供个性化模型,旨在提高对异构数据的处理性能,然而现有的个性化联邦学习算法大多以增加客户端参数量为代价提高个性化模型的性能,使计算变得复杂.为了解决此问题,文中提出基于稀疏正则双层优化的个性化联邦学习算法(Personalized Federated Learning Based on Sparsity Regularized Bi-level Optimization,pFedSRB),在客户端的个性化更新中引入l 1范数稀疏正则化,提升个性化模型的稀疏度,避免不必要的客户端参数更新,降低模型复杂度.将个性化联邦学习建模为双层优化问题,内层优化采用交替方向乘子法,可提高学习速度.在4个联邦学习基准数据集上的实验表明,pFedSRB在异构数据上表现出色,在提高模型性能的同时有效降低训练用时和空间成本.

基于相似度聚类和正则化的个性化联邦学习

联邦学习(FL)应用场景中,常面临客户端数据异质性和不同任务需求需要提供个性化模型的问题,但现有的部分个性化联邦学习(PFL)算法中存在个性化与全局泛化的权衡问题,并且这些算法大多采用传统FL中根据客户端数据量加权聚合的方法,导致数据分布差异大的客户端模型性能变差,缺乏个性化聚合策略。针对上述问题,提出一种基于相似度聚类和正则化的PFL算法pFedSCR。pFedSCR算法在客户端本地更新阶段训练个性化模型和局部模型,其中:个性化模型在交叉熵损失函数中引入L2范数正则化,动态调整参考全局模型的程度,在汲取全局知识的基础上实现个性化;在服务端聚合阶段,根据客户端模型更新的相似度聚类,构建聚合权重矩阵,动态调整聚合权重,为不同客户端聚合个性化模型,让参数聚合策略具有个性化的同时解决数据异构问题。在CIFAR-10、MNIST、Fashion-MNIST 3个数据集上通过狄利克雷(Dirichlet)分布模拟了多种非独立同分布(Non-IID)数据场景,结果表明:pFedSCR算法在各种场景下的准确度和通信效率都优于经典算法FedProx和最新个性化算法FedPCL(Federated Prototype-wise Contrastive Learning)等联邦学习算法,最高可达到99.03%准确度。

I.I.D.随机变量部分和之和重对数律的精确渐近性

为研究独立同分布(i.i.d.)随机变量序列部分和之和重对数律的精确渐近性质,在矩条件较弱的情形下,采用截断的方法,证明了ε→0时的几个精确渐近性质;在矩条件较强的情形下,利用Berry-Esseen不等式进行逼近,得到了ε→α+1(1/2)的精确渐近性质.研究结论表明,i.i.d.序列部分和之和重对数律的精确渐近性质与部分和的结论类似,这就将i.i.d.序列部分和精确渐近性的结果推广到部分和之和的情形,丰富了i.i.d.序列部分和之和精确渐近性的结果.

一种面向智联网的高效联邦学习算法

在智联网(AIoT)中引入联邦学习(FL)可以加强数据的隐私保护,然而分布式AIoT设备间的数据通常是非独立同分布的,标准的FL模型训练算法会使模型训练时出现客户机漂移的现象,导致收敛缓慢和不稳定。针对此问题,提出基于全局动量的联邦学习算法FedCNM。FedCNM将在AIoT服务器聚合的全局梯度信息发送至AIoT设备,让AIoT设备可以根据全局梯度信息来初始化本地模型,并标准化客户机模型的参数更新,以全局动量的方式平滑客户机模型的更新来缓解客户机漂移问题,加快模型的训练。在CIFAR-10和CIFAR-100数据集上模拟大规模设备、部分参与和不同数据分布场景进行仿真实验,结果表明,较对比方法,FedCNM在各种任务上训练的模型可以提高1.46%~11.12%的测试精度,且完成各种学习任务所需要的通信量最少。在CIFAR-10数据集上对比SGD+M、NAG、Adam和AMSGrad这4个本地优化器对算法的影响,实验结果表明,当本地使用基于动量的优化器SGD+M和NAG时,分别提高了10.53%和10.44%的测试精度。

基于联邦学习的含不平衡样本数据电力变压器故障诊断

基于海量样本数据的深度神经网络可以显著提升电力变压器的故障诊断效果,但实际环境中各变压器本地数据被“数据孤岛”隔离,难以进行集中式深度训练。联邦学习可以实现多源数据的共同建模,但各变压器的非独立同分布不平衡数据会使算法性能严重下降。针对上述问题,提出一种基于联邦学习的含不平衡样本数据电力变压器故障诊断机制。与传统深度学习集中训练方式不同,文中采用多个参与者分布训练方式。每个参与者采用LeNet-5深度神经网络进行本地训练,中央服务器将本地模型进行聚合,同时引入改进的数据共享策略对云端共享数据进行选择性下发,以降低非独立同分布数据的不平衡性。实验结果证明,该机制实现了各变压器独立且不平衡数据的协同训练,对变压器故障类型的诊断精度可达到97%。

面向非独立同分布数据的联邦学习研究进展

在联邦学习中,因数据只需要在终端设备上进行训练而不需要上传到服务器端,从而有效的保证了数据的隐私性和安全性.目前关于联邦学习各方面的研究虽然取得了很大的进展,但是联邦学习中的非独立同分布数据问题仍然是一个难以攻克的难题.本文对联邦学习中非独立同分布数据方面的研究进行了大量的调研,发现现有的研究主要涉及以下几个方面:性能优化、算法优化、模型优化、通信成本、隐私保护和个性化联邦学习等.为了归纳整理联邦学习中关于非独立同分布数据的相关研究,本文从以上各个方面详细介绍了现阶段联邦学习中有关非独立同分布数据的研究方案;最后分析了联邦学习中非独立同分布数据未来的研究方向,为今后联邦学习的研究指明方向.

面向非独立同分布数据的联邦学习架构

在超大规模边缘设备参与的联邦学习场景中,参与方本地数据为非独立同分布,导致总体训练数据不均衡且毒药攻击防御困难。有监督学习中增强数据均衡的多数方法所要求的先验知识与联邦学习的隐私保护原则发生冲突,而针对非独立同分布场景中的毒药攻击,现有的防御算法则过于复杂或侵害数据隐私。提出一种多服务器架构FedFog,其能在不泄露参与方本地数据分布的前提下,对数据分布相似的参与方进行聚类,将非独立同分布的训练数据转换成多个独立同分布的数据子集。基于各聚类中心,全局服务器计算出从各类别数据中提取的特征在全局模型更新时的权重,从而缓解总体训练数据不均衡的负面影响。同时,将毒药攻击防御任务从参与方全集分配至每个聚类内部,从而解决毒药攻击防御问题。实验结果表明:在总体训练数据不均衡的场景中,FedFog的全局模型精度相较FedSGD最多获得了4.2个百分点的提升;在总体数据均衡但1/3的参与方为毒药攻击者的场景中,FedFog的收敛性接近于无毒药攻击场景中的FedSGD。