基于Gossip的异步分布式训练算法

因此基于Gossip协议并结合SGD(Stochastic Gradient Descent)提出了一种用于深度学习的通信框架GR-SGD(Gossip Ring SGD),该通信框架是非中心化且异步的,解决了通信等待时间较长的问题。实验使用ImageNet数据集,ResNet模型验证了该算法的可行并与Ring AllReduce和D-PSGD(Decentralized parallel SGD)进行了比较,GR-SGD在更短的时间内完成了训练。

分布环境下的Gossip算法综述

Gossip算法简单、高效,同时具有很好的可扩展性和鲁棒性,很好地适应了无中心、大规模、高度动态的分布式网络环境。近些年在分布计算领域中涌现出了大量Gossip相关的研究成果。介绍了Gossip算法发展的历史;总结提出了Gossip算法的衡量标准和影响因素;对Gossip算法在分布环境下的应用进行了综述;最后指出Gossip算法研究存在的挑战。

基于改进Gossip算法的多微网孤岛系统分布式电力交易策略

多微网系统的去中心化是微电网的重要发展趋势。关注多微网系统的分布式控制策略,将Gossip算法应用于由多个微电网组成的组合孤岛系统中;给出零售市场的电力交易模型,追求使多微网系统全局目标函数最小化的电价;基于双向平衡Gossip算法实现多微电网的电价决策;为保证安全隐私,设计一种具有隐私保护功能改进Gossip算法,以增加迭代次数为代价,避免成本函数共享。最后,通过算例仿真验证了采用Gossip算法的电力交易策略对孤岛运行状态下的分布式多微网系统的有效性。

基于Gossip算法的无线传感器网络时间同步

将Gossip算法用于实现无线传感网络的分布式时间同步,提出单Gossip同步算法和多Gossip同步算法,解决传统无线传感器网络时间同步算法中存在的计算复杂度高和同步收敛速度慢等问题.单Gossip同步算法首先利用构造生成树算法得到一个生成树,然后,依次对生成树每条边的两节点时钟信息进行Gossip运算,反复循环,最终可使网络各节点的时钟信息收敛于它们初始时钟信息的平均值.多Gossip同步算法对生成树进行边染色,相同染色的边可以同时进行Gossip运算.这2种同步算法减小了消息交换数,降低了计算复杂度,提高了同步的收敛速度.用随机矩阵理论和图论进行了理论证明,通过计算机仿真对理论分析进行了数据验证.

基于Gossip的自适应成员关系管理协议

提出了面向动态异质环境的P2P成员关系管理协议。该协议能根据节点能力度大小动态调整节点连接个数,从而使得节点连接数分布和节点能力度分布相匹配,有利于提高P2P网络的资源利用率和负载均衡。协议基本操作包括:节点加入、节点退出、节点失效恢复、节点能力度汇聚和节点关系更新。实验结果表明,和不考虑节点能力度的相关协议相比,与节点能力度动态适应的节点成员关系管理协议具有更高的资源利用率。

使用Gossip算法实现可靠的基于内容的发布订阅系统

分布式基于内容的发布订阅系统正受到日益广泛的重视,然而大多数研究都忽略了可靠性保证,这限制了该系统在动态和不可靠场合下的应用.本文首先介绍了基于内容的发布订阅系统和gossip算法,然后提出了一个轻量级的称为PReliabili-ty的协议,它通过引入gossip算法保证事件传输的可靠性.仿真实验表明该协议适合于大规模、可靠性低的环境,具有很强的扩展性和健壮性,并且具有简单、易于实现的优势.

Chord网络环境下的Gossip算法

本文研究和分析Gossip算法在Chord网络中的适用性,并根据Chord网络的特点对基于Push&Pull模式的Gossip算法提出一种改进算法Mod-Gossip。实验表明,Push&Pull模式的Gossip算法可以很好地适应Chord网络,在Chord网络中将任意节点上的信息传播到整个网络中需要的周期数与在全连通网络中相当;本文所提出的Mod-Gossip算法则可以减少大约两个周期;在动态网络中,节点的加入不会对Push&Pull模式的Gossip算法以及Mod-Gossip算法的执行产生影响。

P2P网络中基于Gossip算法的信任模型

为了解决P2P网络开放性和自治性带来的信任问题,提出一种基于Gossip算法的信任模型。该模型在估计节点的信任关系时引入时间退化因子,使用基于网络拓扑结构的Gossip算法传递消息、聚集信誉。模拟实验结果表明,该模型能更有效地评估节点间的信任关系,提高查询效率,减少网络拥塞。

基于Gossip协议的流媒体播放机制的研究与改进

针对Gossip协议数据传播随机性与不确定性问题,提出了一种混合结构方式。该方式将非结构化P2P网络和结构化P2P网络相结合,通过增加数据片预取调度算法,弥补了Gossip协议数据传输的随意性。实验结果表明,此方式提高了节点成功播放率,降低了系统开销。

混合型P2P网络中的基于Gossip的动态自适应算法

为了提高搜索的性能,出现了混合P2P网络搜索方法。在混合P2P网络中,关键的问题在于确定资源的流行程度。针对该问题,该文提出了一种基于Gossip的动态自适应算法(DAHG),通过抛硬币操作估计节点加入和离开P2P网络时所带入和带走的文档副本数;并通过Gossips传递估计值,获得资源的流行程度。仿真结果表明,该算法具有良好的适应性,能够反映P2P网络中节点和资源的动态性,从而选择出正确的资源搜索方法,减少搜索响应时间和提高资源的命中率。

一种基于移动P2P改进的Gossip算法

随着移动智能终端设备的普及,移动对等网络的研究不断走向深入。经典的Gossip算法虽然可以用于移动对等网络中的数据分发,但不能很好地适应移动网络的要求,尤其是对扰动的适应性。因此,为了实现拓扑控制信息的有效传播并保持节点资源列表的副本一致性,提出了一种基于特定拓扑结构改进的Gossip算法,其通过动态调节邻居节点数据分发概率来实现同k-派系内所有节点的资源列表更新。模拟实验表明,采用此算法的数据分发效率较经典Gossip算法有明显改善,在保证网络负载较低的同时达到了泛洪数据分发策略的效率。

自适应选择gossiping概率的多跳网络数据广播

移动Ad Hoc无线网络节点在广播报文信息时占用大量的网络资源,且广播信息的能量开销较大。为了解决这些问题,提出一种基于自适应选择gossiping概率的多跳网络数据广播协议。该协议首先基于网络节点密度分布情况及节点平均邻居数量来定义gossiping概率,减少广播信息的开销,再为自适应gossiping概率加入选择能力,从候选邻居节点中排除会带来传输中断情况的节点,避免能量损失。实验仿真结果表明,该协议相比较gossiping路由协议、传输感知的机会Ad Hoc路由协议和轻量级的移动Ad Hoc网络主动源路由协议,网络总能耗分别减少了32.5%、14.6%和2.1%,并且在降低数据包丢失率和减少数据包传输延迟上表现出较好的效果。

基于Gossip协议的P2P流媒体算法优化

通过分析具有代表性的P2P流媒体系统中所使用的Gossip协议,针对其没有考虑节点和网络的动态异质性等因素,提出动态自适应Gossip协议,该协议采取对节点的能力度进行排序的方式,充分利用能力强的节点,具有良好的适应性,能够反映P2P网络中节点和资源的动态性,在一定程度上提高了系统的整体效率。

网格环境下一种改进的Gossip资源聚集算法

网格计算和对等计算有很多可以融合的特征.首先提出了一种集成P2P模式的网格资源管理模型,然后针对传统的Gossip资源聚集算法的弊端,利用小世界理论,提出了一种改进的Gossip资源聚集算法.理论分析和仿真证明了改进的Gossip算法能够有效地聚集资源信息,从而提高P2PGrid环境下的资源聚集性能.

基于改进Gossip协议的数据同步设计

为了解决客户端/服务器(C/S)架构信息系统采用的中心化数据同步模式导致的服务器性能下降,并影响信息系统整体性能的问题,改进了Gossip协议,提出了基于改进Gossip协议的数据同步方法。该方法可提高数据同步效率,减少数据同步对系统整体性能的影响。最后,通过对比试验验证了该方法的有效性。

二进制指数退避的Gossip算法研究

为减少Gossip算法进行信息传播的通信开销,该文提出一个将二进制指数退避算法与经典Gossip算法相结合的二进制指数退避的Gossip算法(BEBG),其信息传播策略是一个节点收到同一信息的次数越多,继续传播该信息的概率就越低。理论分析与仿真实验表明,BEBG能够有效减少信息传播冗余,网络中有104个节点时比经典Gossip算法减少了约61%网络负载。为解决BEBG存在的边缘节点问题,进一步提出了两个BEBG改进算法,引入Pull的PBEBG和引入向邻居节点Push的NBEBG。实验结果表明,两个算法能够消除边缘节点,当网络中有104个节点时,它们与相应的分别引入相同Pull和Push的经典Gossip算法相比,分别减少了约34%和37%的网络负载。

基于Gossip协议的P2P流媒体系统

在分析P2P(peer-to-peer)流媒体系统的典型模型的基础上,设计一种基于Gossip协议的P2P网络流媒体直播系统.该系统可以为每个节点独立地选择良好的伙伴节点,节点的自组织能力能够有效地减轻服务器的压力.实验表明,该系统能够充分利用自身节点的剩余带宽,动态适应网络拓扑的变化,提高流媒体直播的服务质量.

基于gossip的信任值收集算法

目前,信任管理模型大多利用洪泛算法收集信任值,此方法容易产生大量冗余消息,造成网络拥塞。本文提出了一种高效收集节点信任值的算法,能够有效减少冗余消息。利用小世界理论,增加选择带有远程连接的节点转发查询消息的概率,提高了算法的性能;与信任管理的特点相结合,适当的限制收集路径的长度、生存时间和信任连接强度,有效减少冗余消息。实验表明,该算法具有良好的性能,能够高效收集节点的信任值。

非均匀选择概率下异步随机Gossip共识算法及优化

异步随机Gossip算法大都采用以均匀选择概率为基础的时间模型,并未充分考虑网络拓扑结构对智能体获取信息的影响,为此本文提出了一种更为合理的基于非均匀选择概率的异步随机Gossip算法.首先给出了非均匀选择概率下的异步时间模型,在概率意义下分析了算法的收敛性.算法的收敛速度取决于概率化权重矩阵的第2大特征值,并利用投影次梯度算法给出了选择概率优化方法.仿真分析表明,在非均匀选择概率下可通过对各智能体选择概率的优化,改善算法的收敛速度,并且弥补了传统的通信概率矩阵优化方法受制于网络拓扑结构的不足.

一种新型的结构化Gossip消息扩散算法

在动态的网格环境中分布着大量不同类型的服务和资源,能否快速、准确地进行资源与服务发现,是影响网格计算性能的关键.建立一种基于消息扩散的网格服务发现机制,提出一种新型的结构化Gossip消息扩散算法(简称S-Gossip),该算法具有良好的冗余性和完备性.给出该算法及其协议的实现,并在此基础上建立了层次化的服务发现模型.