非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

面向非独立同分布数据的车联网多阶段联邦学习机制

车联网在智慧城市建设中扮演着不可或缺的角色,汽车不仅仅是交通工具,更是大数据时代信息采集和传输的重要载体.随着车辆采集的数据量飞速增长和人们隐私保护意识的增强,如何在车联网环境中确保用户数据安全,防止数据泄露,成为亟待解决的难题.联邦学习采用“数据不动模型动”的方式,为保护用户隐私和实现良好性能提供了可行方案.然而,受限于采集设备、地域环境、个人习惯的差异,多台车辆采集的数据通常表现为非独立同分布(non-independent and identically distributed,non-IID)数据,而传统的联邦学习算法在non-IID数据环境中,其模型收敛速度较慢.针对这一挑战,提出了一种面向non-IID数据的车联网多阶段联邦学习机制,称为FedWO.第1阶段采用联邦平均算法,使得全局模型快速达到一个基本的模型准确度;第2阶段采用联邦加权多方计算,依据各车辆的数据特性计算其在全局模型中的权重,聚合后得到性能更优的全局模型,同时采用传输控制策略,减少模型传输带来的通信开销;第3阶段为个性化计算阶段,车辆利用各自的数据进行个性化学习,微调本地模型获得与本地数据更匹配的模型.实验采用了驾驶行为数据集进行实验评估,结果表明相较于传统方法,在non-IID数据场景下,FedWO机制保护了数据隐私,同时提高了算法的准确度.

次线性期望空间下独立同分布序列的一个强大数定律

利用与概率空间不同的研究方法,研究次线性期望空间中独立同分布随机变量序列的加权和在某些条件下的一个强大数定律,从而将该定理从传统概率空间扩展到次线性期望空间.

非独立同分布数据环境下的联邦学习激励机制设计

在联邦学习环境中,非独立同分布(Non-IID)数据的存在对模型性能和用户参与度提出了严峻挑战。为了应对这些挑战,文章提出了一种基于博弈论和深度强化学习的新型激励机制,以提升非IID数据环境下的联邦学习效果。通过设计中央服务器和用户的收益函数,综合考虑通信成本、计算成本和本地模型精度,公平衡量用户贡献,并利用博弈论模型和深度强化学习算法优化用户参与策略。实验结果表明,所提出的激励机制显著提升了模型的精度和用户的参与度,有效地缓解了非IID数据分布对联邦学习性能的负面影响,从而增强了整个系统的性能和稳定性。

次线性期望下独立同分布随机变量序列的完全收敛

概率空间下,随机变量和的期望等于随机变量期望的和,而在次线性期望空间,随机变量和的期望不再等于随机变量期望的和,经典概率空间中的结果无法直接运用于次线性期望空间。通过研究次线性期望空间下独立同分布(i.i.d.)的随机变量{X,X_(n),n≥1},在满足0<a_(n)/n↑以及0<a_(n)/n↑∞条件下随机变量序列的完全收敛关系,其中{a_(n),n≥1}是一个正的单调递增序列,文中将概率空间下的结果推广到次线性期望空间。

非独立同分布下的K-Modes算法

传统的K-Modes算法中,初始聚类中心是随机选取的,聚类结果过分依赖初始聚类中心的选择,影响聚类效果。在很多K-Modes算法的研究中假设数据是独立同分布的,在现实的数据中,数据对象和属性之间是根据某些耦合关系彼此关联的,是非独立同分布的。针对这两方面问题,通过基于层次聚类进行预聚类的方法改进选取初始中心的方法,引入非独立同分布思想计算相异度量,进行实验验证。实验结果表明,通过改进初始中心的选取方法和相异度量的计算方法很好改进了K-Modes算法,提高了算法的聚类精度。

面向非独立同分布数据的联邦学习架构

在超大规模边缘设备参与的联邦学习场景中,参与方本地数据为非独立同分布,导致总体训练数据不均衡且毒药攻击防御困难。有监督学习中增强数据均衡的多数方法所要求的先验知识与联邦学习的隐私保护原则发生冲突,而针对非独立同分布场景中的毒药攻击,现有的防御算法则过于复杂或侵害数据隐私。提出一种多服务器架构FedFog,其能在不泄露参与方本地数据分布的前提下,对数据分布相似的参与方进行聚类,将非独立同分布的训练数据转换成多个独立同分布的数据子集。基于各聚类中心,全局服务器计算出从各类别数据中提取的特征在全局模型更新时的权重,从而缓解总体训练数据不均衡的负面影响。同时,将毒药攻击防御任务从参与方全集分配至每个聚类内部,从而解决毒药攻击防御问题。实验结果表明:在总体训练数据不均衡的场景中,FedFog的全局模型精度相较FedSGD最多获得了4.2个百分点的提升;在总体数据均衡但1/3的参与方为毒药攻击者的场景中,FedFog的收敛性接近于无毒药攻击场景中的FedSGD。

面向非独立同分布数据的联邦学习研究进展

在联邦学习中,因数据只需要在终端设备上进行训练而不需要上传到服务器端,从而有效的保证了数据的隐私性和安全性.目前关于联邦学习各方面的研究虽然取得了很大的进展,但是联邦学习中的非独立同分布数据问题仍然是一个难以攻克的难题.本文对联邦学习中非独立同分布数据方面的研究进行了大量的调研,发现现有的研究主要涉及以下几个方面:性能优化、算法优化、模型优化、通信成本、隐私保护和个性化联邦学习等.为了归纳整理联邦学习中关于非独立同分布数据的相关研究,本文从以上各个方面详细介绍了现阶段联邦学习中有关非独立同分布数据的研究方案;最后分析了联邦学习中非独立同分布数据未来的研究方向,为今后联邦学习的研究指明方向.

面向非独立同分布数据的联邦梯度提升决策树

随着联邦学习的不断兴起,梯度提升决策树(GBDT)作为一种传统的机器学习方法,逐渐应用于联邦学习中以达到理想的分类效果。针对现有GBDT的横向联邦学习模型,存在精度受非独立同分布数据的影响较大、信息泄露和通信成本高等问题,提出了一种面向非独立同分布数据的联邦梯度提升决策树(federated GBDT for non-IID dataset,nFL-GBDT)。首先,采用局部敏感哈希(LSH)来计算各个参与方之间的相似样本,通过加权梯度来构建第一棵树。其次,由可靠第三方计算只需要一轮通信的全局叶权重来更新树模型。最后,实验分析表明了该算法能够实现对原始数据的隐私保护,并且通信成本低于simFL和FederBoost。同时,实验按照不平衡比率来划分三组公共的数据集,结果表明该算法与Individual、TFL及F-GBDT-G相比,准确率分别提升了3.53%、5.46%和4.43%。

针对非独立同分布的安全联邦学习算法

重点研究了数据分布不均衡引起的联邦学习性能问题,并对此进行了研究。实验发现,在数据分布不一致的情况下,经典的联邦学习算法存在降低收敛速度、降低模型精度等问题。通过深入分析,发现这些问题的主要原因是参与者的数据分布不一致,训练过程中发生参与者模型差异的累积。为了减少训练过程中参与者模式差异的累积,提出针对模型参数的惩罚机制方法FedWD。将提出的方法与经典的联邦学习算法相结合,使参与者在模型训练过程中受到制约,从而避免参与者模型的过度发散。这可以加快算法的收敛速度,提高模型在数据分布不一致情况下的准确性。对提出的算法优化方法在Mnist数据集进行实验对比及分析,实验验证文中提出方法的有效性,特别在数据分布不一致场景下,文中方法的提升效果更加明显。

面向非独立同分布数据的联邦学习数据增强方案

为了解决联邦学习节点间数据非独立同分布(non-IID)导致的模型精度不理想的问题,提出一种隐私保护的数据增强方案。首先,提出了面向联邦学习的数据增强框架,参与节点在本地生成虚拟样本并在节点间共享,有效缓解了训练过程中数据分布差异导致的模型偏移问题。其次,基于生成式对抗网络和差分隐私技术,设计了隐私保护的样本生成算法,在保证原数据隐私的前提下生成可用的虚拟样本。最后,提出了隐私保护的标签选取算法,保证虚拟样本的标签同样满足差分隐私。仿真结果表明,在多种non-IID数据划分策略下,所提方案均能有效提高模型精度并加快模型收敛,与基准方法相比,所提方案在极端non-IID场景下能取得25%以上的精度提升。

非独立同分布数据下的自正则化联邦学习优化方法

联邦学习(FL)是一种新的分布式机器学习范式,它在保护设备数据隐私的同时打破数据壁垒,从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而,如何处理不同客户端的非独立同分布(Non-IID)数据仍是FL面临的一个巨大挑战,目前提出的一些解决方案没有利用好本地模型和全局模型的隐含关系,无法简单而高效地解决问题。针对FL中不同客户端数据的Non-IID问题,提出新的FL优化算法——联邦自正则(FedSR)和动态联邦自正则(Dyn-FedSR)。FedSR在每一轮训练过程中引入自正则化惩罚项动态修改本地损失函数,并通过构建本地模型和全局模型的关系来让本地模型靠近聚合丰富知识的全局模型,从而缓解Non-IID数据带来的客户端偏移问题;Dyn-FedSR则在FedSR基础上通过计算本地模型和全局模型的相似度来动态确定自正则项系数。对不同任务进行的大量实验分析表明,FedSR和Dyn-FedSR这两个算法在各种场景下的表现都明显优于联邦平均(FedAvg)算法、联邦近端(FedProx)优化算法和随机控制平均算法(SCAFFOLD)等FL算法,能够实现高效通信,正确率较高,且对不平衡数据和不确定的本地更新具有鲁棒性。

非独立同分布工业大数据下联邦动态加权学习方法

联邦学习在不交换本地数据的情况下可以完成多方协作训练,很好地解决了工业物联网领域数据隐私保护及共享问题。但是传统的联邦学习在面对非独立同分布的工业数据时,会因为局部模型更新导致模型的偏移。针对上述问题,提出非独立同分布工业大数据下联邦动态加权学习方法,该方法分为局部更新和全局聚合两个阶段。在局部更新阶段,利用联邦距离算法消除偏移程度过大的局部模型的影响;在全局聚合阶段,提出动态加权算法,动态的给对全局模型更有利的局部数据分配更大的训练权重。该方法既考虑了局部更新导致的模型偏移程度问题,又兼顾了偏移局部模型对全局模型的影响。通过实验验证了该方法在面对非独立同分布的工业数据时具有良好的效果。

单变量独立同分布水文事件重现期的计算原理与方法

研究了单变量独立同分布水文事件的重现期的计算原理与方法。根据事件首次发生的期望等待试验次数与连续两次事件间期望间隔试验次数的两种重现期定义,采用数学期望值和概率母函数法,系统地推导了独立同分布水文事件重现期的计算公式。结果表明,单变量独立同分布水文事件在两种定义下的重现期相等。所得计算公式具有严格的数学基础,以期为我国现行水文频率的计算提供理论支撑。

独立同分布检验法在水保分界年确定中的运用

运用水文统计的方法对河龙区间的5条典型支流三川河、皇甫川、窟野河、无定河、延河的年径流量、年输沙量资料序列进行了独立同分布检验。通过离差平方和的计算,确定一个分割点,使分割前后的2个样本序列不同分布,由此确定水土保持效益生效前后的分界年:三川河为1970年、皇甫川为1974年、无定河为1970年、窟野河为1979年,延河尚需通过统计其他指标来确定。

均值误差的随机加权逼近的重对数律──非独立同分布情况

讨论了独立不同分布情况下均值误差的分布估计问题，用随机加权法给出了精度为Ｏ（／ｎ）的逼近分布．

有关独立同分布随机变量的推广

目的在已有结果和方法的基础上,研究一定相关性条件下可交换随机变量与独立同分布随机变量的结果之间的相似与不同.方法De Finetti定理仅对可交换无限列成立,存在可交换随机变量有限列,它不能嵌入到可交换随机变量无限列中去.利用逆鞅、截尾等方法,解决其渐近性质的问题.结果定理1中结论,并且利用概率不等式进行了证明.结论由于可交换随机变量的基本结构定理De Finetti定理—可交换随机变量无限序列以其尾δ代数为条件是独立同分布的,因此可交换随机变量应该具有类似于独立同分布随机变量的性质.

具有正则变化函数型随机足标的独立同分布序列最大值的极限分布

设X1,X2,…为独立同分布序列(i.i.d.s.),Mn=max1≤i≤nXi,实可测函数f(t)∈RVγ,γ>0,又设{N(n)}为一列取正整数的随机变量,满足N(n)npη>0,得出了M[f(N(n))]的极限分布.

复值独立同分布随机变量序列部分和的完全收敛性

利用概率不等式，研究了复值独立同分布随机变量序列部分和的完全收敛性，得到复值独立同分布随机变量序列部分和同完全收敛性有关的几个定理．