面向半异步协同场景的联邦学习数据共享方法

在半异步协同场景中,各单位采用联邦学习数据共享方法协同训练模型时存在频率不均衡的问题,原因是各单位的响应时间存在较大差异。响应时间较短的单位能以较快的训练频率更新模型,故半异步协同场景下难以从训练频率较慢的单位学习知识,导致其性能下降。针对此问题,提出了一种可感知响应时间分布的联邦学习算法,通过对参与训练的各单位进行分组,再利用有向非循环图对各个小组进行调度,以并行或串行的方式执行组内迭代训练,实现各单位训练频率均衡化。实验结果表明:该方法较传统的半异步联邦学习数据共享方法,在训练效率和模型预测性能上均有明显改善。

异步联邦学习中隔代模型泄露攻击及防治方法

联邦学习已成为数据孤岛背景下知识共享的成功方案。随着梯度逆向推理等新式攻击手段的问世,联邦学习的安全性再度面临新挑战。针对联邦学习可能存在参与者恶意窃取其它客户端梯度信息的风险,提出一种异步联邦学习框架下的隔代模型泄露攻击方式:利用中心服务器“接收则聚合”的特点,多名恶意客户端可按照特定更新顺序,通过隔代版本的全局模型差异逆向计算其他客户端的模型更新数据,从而窃取对方的模型。针对此问题,提出基于α-滑动平均的随机聚合算法。首先,中心服务器每次收到客户端的模型更新后,将其与从最近α次聚合中随机选出的全局模型进行聚合,打乱客户端的更新顺序;其次,随着全局迭代次数增加,中心服务器对最近α次聚合的全局模型进行滑动平均,计算出最终全局模型。实验结果表明,与异步联邦学习方法相比,FedAlpha方法有效降低隔代模型泄露攻击的可能性。

分布差异感知的联邦学习方法

针对联邦学习中非独立同分布的样本导致模型出现收敛慢、训练不稳定等问题,采用琴生-香农(JS)散度衡量不同用户的数据分布差异,对联邦学习的分布差异最小化问题进行了数学建模,提出分布差异可感知的联邦学习方法,通过数值实验验证了该方法的有效性。实验表明,经过优化的数据分布,可有效加快联邦模型的训练准确率,使模型收敛到更稳定的状态。

数据中心内Incast流量的网内聚合研究

MapReduce等分布式计算系统应用在数据中心内产生了严重的东西向流量,其中以incast和shuffle为代表的关联性流量占相当大的比重,进而严重影响到上层应用的性能.这促使研究者们考虑在这些关联性流量的网内传输阶段尽可能早而不是仅在流量的接收端进行流间数据聚合.首先以新型数据中心网络结构为背景讨论流间数据聚合的可行性和增益,为最大化该增益,为incast传输建立最小代价树模型.为解决该模型,提出了2种近似的incast树构造方法,其能够仅基于incast成员的位置和数据中心拓扑结构生成一个有效的incast树,进一步解决了incast树的动态和容错问题.最后,采用原型系统和大规模仿真的方法评估了incast流量的网内聚合方法,实验结果证明该方法能大幅降低incast流量造成的传输开销,能节约数据中心的网络资源.同时,提出的模型和解决方法也适用于其他类型的数据中心网络结构.

数据中心网络流调度技术前沿进展

数据中心网络流调度技术对数据中心网络的性能具有重要影响.它是指对数据中心应用产生的网络数据流,通过控制和调度这些网络流在数据中心网络中的传输链路、传输优先级、传输速率等,以优化网络流量的传输(包括减少数据流平均完成时间、降低加权的平均完成时间、降低数据流尾部完成时间、最大化满足有传输时限的数据流、提高网络资源利用率等),最终实现优化用户体验的目的.首先,对数据中心网络流调度问题及其面临的挑战进行简单介绍.流调度的关键挑战在于设计低开销、高效率的调度算法,以及在终端电脑或者网络交换机上实现调度算法.然后,从独立数据流调度方法和网络流组的调度方法进行综述.这2类流调度技术的区别在于应用的环境(如Web搜索和大数据分析)不同.最后,对未来流调度技术的发展方向进行展望,并且提出多个尚未解决、但仍值得研究的问题.