基于D2D网络的去中心化学习系统关键技术研究

终端直通(Device-to-Device,D2D)网络承载的去中心化学习系统可以在不依赖中心服务器的情况下,利用分布式的数据与算力完成常见的神经网络模型训练,以支撑如车联网、工业互联网等场景的边缘智能应用。然而,系统中终端算力、数据和信道等资源的异构性及D2D网络通信资源的局限性给模型训练的性能带来较大的挑战。为此,从中继选择、网络拓扑优化、簇头选择及广播速率优化等方面阐述了可以解决上述问题的关键技术,并对未来的研究方向进行了概述,如新型的模型汇聚算法及动态资源管理算法等。最后,总结指出需要在上述的研究方向上进一步探索,以提高基于D2D网络的去中心化学习的效率。

结合元学习的去中心化联邦增量学习方法

针对联邦增量场景中持续学习和数据安全的问题,构建了结合元学习的去中心化联邦增量学习框架。首先,为解决增量场景中持续学习带来的灾难性遗忘问题,提出了结合最近类均值样本回放的增量元学习方法NMR-cMAML,利用元训练对不同任务流的快速适应进行元更新,得到适用于新旧样本的模型。然后,为解决联邦增量场景中的数据安全问题,设计了基于对等网络架构的去中心化联邦增量学习框架,对等架构中每个客户端采用NMR-cMAML对私有的持续任务流进行增量学习。不同于传统的基于服务器-客户端的中心化架构,该去中心化架构采用客户端间通信的策略,消除了传统中央服务器易被攻击的隐患;同时,在联邦通信过程中,通过共享元学习的模型参数实现客户端间知识的有效迁移。最后在图像数据集(Cifar100和Imagenet50)上进行了不同任务场景的实验,结果表明所提方法能在提高系统的数据安全性的同时提升客户端本地性能。

基于无线D2D网络的分层联邦学习

为了解决在无线网络中部署联邦学习面临的通信资源消耗大和设备计算资源有限的问题,提出一种基于无线设备直通(D2D)网络的分层联邦学习框架.与传统架构不同,模型训练采用分层聚合.该框架通过D2D网络进行簇内聚合,各个簇同时进行去中心化训练,从每个簇中选择一个簇头上传模型至服务器进行全局聚合.通过将去中心化学习与分层联邦学习结合,降低了中央节点网络流量.使用D2D网络中节点的度来衡量模型收敛性能,通过最大化所有簇头的度之和,对簇头选择与带宽分配问题进行联合优化,并且设计一种基于动态规划的算法求出最优解.仿真结果表明,与基线算法相比,该框架不仅能够有效地降低全局聚合的频率和减少训练时间,而且能够提高最终训练得到的模型性能.

基于数字孪生的多自动驾驶车辆分布式协同路径规划算法

针对多辆自动驾驶车辆(AVs)在进行路径规划过程中存在的车辆之间协作难、协作训练出来的模型质量低以及所求结果直接应用到物理车辆的效果较差的问题,该文提出一种基于数字孪生(DT)的多AVs分布式协同路径规划算法,基于可信度加权去中心化的联邦强化学习方法(CWDFRL)来实现多AVs的路径规划。首先将单个AVs的路径规划问题建模成在驾驶行为约束下的最小化平均任务完成时间问题,并将其转化成马尔可夫决策过程(MDP),使用深度确定性策略梯度算法(DDPG)进行求解;然后使用联邦学习(FL)保证车辆之间的协同合作,针对集中式的FL中存在的全局模型更新质量低的问题,使用基于可信度的动态节点选择的去中心化FL训练方法改善了全局模型聚合质量低的问题;最后使用DT辅助去中心化联邦强化学习(DFRL)模型的训练,利用孪生体可以从DT环境中学习的优点,快速将训练好的模型直接部署到现实世界的AVs上。仿真结果表明,与现有的方法相比,所提训练框架可以得到一个较高的奖励,有效地提高了车辆对其本身速度的利用率,与此同时还降低了车辆群体的平均任务完成时间和碰撞概率。

基于模型准确率的链上去中心化联邦学习模型

现有的联邦学习存在恶意中央服务器和恶意参与者发布虚假数据毒害模型等问题。针对此情况,该文提出了一种去中心化的联邦学习模型,该模型将聚合工作由中央服务器移至参与者本地,各个参与者依据聚合算法将训练之后的模型参数写入交易,生成区块发布到区块链网络中。采用一种基于模型准确率的Byzantine容错共识算法构建共识小组,通过建立节点信息表实现节点动态加入。对所提的链上去中心化联邦学习模型的吞吐量、时延等性能进行了相关测试,结果表明:在相同条件下,基于模型准确率的高性能Byzantine容错共识算法相较于传统的Byzantine容错共识算法,吞吐量提升60%,系统平均时延从6 s减少到1 s。

智媒时代大数据技术融入高校思想政治理论课教学的功能探析

随着大数据技术与高校思政课教学融合的不断深入,高校思政课的教学理念、教学方法和教学内容不断地被“拆解”和“重构”。在教学理念上,大数据技术使得高校思政课教学出现去中心化现象,促进多元主体学习模式的回归;在教学内容上,大数据技术促进高校思政课碎片化学习和个性化学习的生成;在教学方法上,大数据技术助力实现了学情分析的精准画像、教学内容的精准供给,以及教学对象的精准滴灌。

异构网络环境下最大化谱间距的拓扑设计

分布式平均共识和去中心化机器学习是具有广泛应用的去中心化计算方法.两种方法的收敛率主要由拓扑的谱间距所决定.节点网络环境的异构性包括节点带宽和节点间连接可用性的不同.异构网络环境对去中心化计算的效率提出了挑战.本文研究异构网络环境下最大化谱间距的拓扑设计问题,推导了谱间距针对拓扑任一条边的梯度,并设计了基于该梯度的增删边算法来构建目标拓扑.构建的拓扑具有更大谱间距,且各节点的数据通信时间相近.拓扑构建算法的性能在不同程度的异构网络环境下能够保持稳定,且生成的拓扑在分布式共识中以更快的收敛率和更短的时间达到收敛.基于该算法,本文进一步验证了最新发现的谱间距与去中心化机器学习收敛率的弱相关性.