-
题名面向通信成本优化的联邦学习算法
被引量:1
- 1
-
-
作者
郑赛
李天瑞
黄维
-
机构
西南交通大学计算机与人工智能学院
云计算与智能技术四川省高校重点实验室(西南交通大学)
-
出处
《计算机应用》
CSCD
北大核心
2023年第1期1-7,共7页
-
基金
国家重点研发计划项目(2019YFB2101802)
国家自然科学基金资助项目(62176221)。
-
文摘
联邦学习是一种能够保护数据隐私的机器学习设置,然而高昂的通信成本和客户端的异质性问题阻碍了联邦学习的规模化落地。针对这两个问题,提出一种面向通信成本优化的联邦学习算法。首先,服务器接收来自客户端的生成模型并生成模拟数据;然后,服务器利用模拟数据训练全局模型并将其发送给客户端,客户端利用全局模型进行微调后得到最终模型。所提算法仅需要客户端与服务器之间的一轮通信,并且利用微调客户端模型来解决客户端异质性问题。在客户端数量为20个时,在MNIST和CIFAR-10这两个数据集上进行了实验。结果表明,所提算法能够在保证准确率的前提下,在MNIST数据集上将通信的数据量减少至联邦平均(FedAvg)算法的1/10,在CIFAR-10数据集上将通信数据量减少至FedAvg算法的1/100。
-
关键词
联邦学习
优化算法
通信成本
单轮通信
生成模型
-
Keywords
Federated Learning(FL)
optimization algorithm
communication cost
single-round communication
generative model
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于宽度网络架构的单模型主导联邦学习
- 2
-
-
作者
文家宝
陈泯融
-
机构
华南师范大学计算机学院
-
出处
《计算机系统应用》
2024年第1期1-10,共10页
-
基金
国家自然科学基金(61872153,61972288)。
-
文摘
联邦学习是一种分布式机器学习方法,它将数据保留在本地,仅将计算结果上传到客户端,从而提高了模型传递与聚合的效率和安全性.然而,联邦学习面临的一个重要挑战是,上传的模型大小日益增加,大量参数多次迭代,给通信能力不足的小型设备带来了困难.因此在本文中,客户端和服务器被设置为仅一次的互相通信机会.联邦学习中的另一个挑战是,客户端之间的数据规模并不相同.在不平衡数据场景下,服务器的模型聚合将变得低效.为了解决这些问题,本文提出了一个仅需一轮通信的轻量级联邦学习框架,在联邦宽度学习中设计了一种聚合策略算法,即FBL-LD.算法在单轮通信中收集可靠的模型并选出主导模型,通过验证集合理地调整其他模型的参与权重来泛化联邦模型.FBL-LD利用有限的通信资源保持了高效的聚合.实验结果表明,FBL-LD相比同类联邦宽度学习算法具有更小的开销和更高的精度,并且对不平衡数据问题具有鲁棒性.
-
关键词
联邦学习
宽度网络
单轮通信
隐私保护
机器学习
-
Keywords
federated learning
broad network
one-shot communication
privacy protection
machine learning
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-