减少Hadoop集群中网络队头阻塞的调度算法

大数据分析系统的用户希望任务的执行时间尽可能短。然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈。通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务。基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成。通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30%~76.16%。

队头阻塞优化的EDF可重构任务调度算法

针对最早截止时刻优先(earliest deadline first,EDF)调度算法队头阻塞任务导致资源利用率和配置端口复用率低下的问题,提出一种队头阻塞优化的EDF实时调度算法.通过定义无效阻塞任务并引入无效阻塞任务丢弃策略,提前判定和丢弃无法调度成功的任务,以利于后续任务调度;通过定义队头阻塞任务最早布局成功时刻,引入匹配任务提前配置策略和次队头任务提前配置策略,使阻塞过程中的部分空闲可重构资源和空闲配置端口得到有效利用.仿真结果表明,与EDF调度算法相比,采用文中调度算法有效地提高了调度成功率和可重构资源利用率.

ATM网络中的输入排队信元调度研究

ATM交换单元采用的输入排队由于存在队头阻塞严重影响了吞吐率,并且信元丢失率也很大。该文使用神经网络对队列中的信元进行合理调度,大大提高了吞吐率并减少了信元丢失。

算法和数据结构——队列

在上一期中,我们谈到了“栈”的应用。下面再来谈谈队列。队列是限定在一端进行插入,另一端进行删除的特殊线性表。就好比排队买东西,排在前面的人买完东西后离开队伍(删除),而最后来的人总是排在队伍末尾(插入)。通常把队列的删除和插入分别称为出队和入队。允许出队的一端称为队头。

基于直接拥塞通告的数据中心无损网络传输控制机制

数据中心网络广泛采用基于优先级的流量控制(Priority-based Flow Control,PFC)机制来避免因缓存溢出而丢包.然而,PFC机制在保证无损传输的同时带来了队头阻塞和拥塞扩散等负面影响.近年来,一些具备端到端拥塞感知能力的传输控制协议被提出来,有效缓解了网络拥塞,减少了PFC的触发.但是在突发流量造成的瞬时拥塞场景下,这些研究工作仍会使得PFC频繁触发而导致严重的队头阻塞和拥塞扩散.针对该问题,在端到端拥塞控制基础上,提出了一种实现于交换机上的直接拥塞通告解决方案(Direct COngestion Notification,DCON),该方案在突发拥塞场景下能及时识别出与非拥塞流(与造成拥塞无关的流)共享入端口的拥塞流(真正造成拥塞的流),并从交换机直接通告发送端对该拥塞流精确地降速.实验结果表明,相比于现有的端到端拥塞控制传输协议,DCON有效避免了PFC的队头阻塞和拥塞扩散,平均流完成时间的最大降幅达到55%.

一种高效的移动自组网MAC协议

目前移动自组网媒体访问控制(MAC)协议采用的先入先出(FIFO)队列容易出现队头阻塞现象,影响后续到其他目的地的分组的发送.本文在功率控制多址接入协议(PCMA)的基础上,提出了消除队头阻塞的PCMA+协议.大量仿真结果表明,PCMA+协议相对于采用FIFO队列的PCMA协议在性能上有较大的提高.

一种新的以太网流量控制算法研究

本文对用于千兆位以太网的流量控制算法做了介绍,对市场上应用比较成功的流量控制算法进行了分析,给出了一种新的流量控制算法。硬件实现和VCS仿真的结果证明本文提出的流量控制算法不仅硬件实现简单而且能有效地防止队头阻塞。

基于同波长光纤延迟线集光突发交换结构及其性能分析

由于光突发交换机制本身就避免了光缓存的使用,但是现实中,光突发包之间竞争以及提供优先级服务又依靠光纤延迟线来解决。为此,我们设计了应用光纤延迟线的光突发交换网络核心节点结构。为了避免光纤延迟线色散引起的突发包输入排队缓存偏移,在该结构中设计了同波长光纤延迟线集。采用了空分交换矩阵,避免了波长转换的需要。为了有效运行该交换结构,我们提出了输入排队与自适应光缓存调度算法,而该算法不仅仅适用于光突发交换,也适合于光纤延迟线得到普遍应用的光分组交换。该调度算法能够提供优先级服务,避免队头阻塞,对该调度算法建立了严格的理论分析模型,并进行了仿真。仿真结果表明,与传统的延迟线竞争解决方案相比,这一调度算法能够改善交换性能1到2个数量级,是利用光纤延迟线解决光突发交换中竞争问题的一个较佳方案。

基于隐式Flow Splitter的负载均衡交换结构

为解决Byte-Focal结构存在的计算复杂度较高及"伪队头阻塞"等问题,提出一种基于隐式Flow Splitter的负载均衡交换结构(load balanced switch based on implicit flow splitter,LB-IFS).LB-IFS在输入端引入双缓冲模式和两步调度策略,较好地解决了"伪队头阻塞"问题且能使信元以不失序的状态离开第1级crossbar,同时输入端设置隐式Flow Splitter为每个信元分配一个理论转发路径;输出端利用VIQ(virtual input queuing)结构的重排序缓存,结合理论转发路径,方便地实现信元的有序转发.理论分析和仿真都表明:LB-IFS能保证全流程计算复杂度均为O(1)且其时延性能优于Byte-Focal.

弹性分组环带宽管理机制的研究

本文在综合参考各种RPR(弹性分组环)网络带宽管理标准提案的基础上 ,研究了RPR网络的带宽管理机制并提出了实现方案 。

Ad hoc网络中基于拥塞的机会调度算法

无线多跳Ad hoc网络中的节点在业务发送过程中需要竞争共享信道,容易发生局部拥塞导致网络性能下降,而且节点内部采用的先入先出(FIFO)队列容易使队头出现阻塞现象,影响队列中后续分组的发送。为此提出了一种基于拥塞的机会调度算法,发送节点发送RTS帧时目标指向多个下一跳接收节点,这些节点在正确解码RTS帧后根据自身拥塞程度按一定概率依照调度优先级顺序发送CTS帧。仿真结果表明,该算法提高了网络端到端的饱和吞吐量和信道利用率,也提高了业务流之间的公平性。

一种新的基于CNN调度信元的输入缓冲ATM交换结构

提出了基于细胞神经网络 (CNN)调度信元的输入缓冲ASF方案 ,该方案消除了队头阻塞造成的输入缓冲ASF性能恶化。计算机仿真表明 ,该方案非常有效 ,其性能接近于输出缓冲ASF。

基于SCTP多数据流特性的WEB传输

SCTP是为了在IP网络中传输基于消息的SS7信令而开发的传输层协议,它是可靠的,面向消息的协议。SCTP具有很多新的特点,在对SCTP的多数据流特性研究的基础上,提出使用多数据流特性进行WEB传输的机制,仿真结果的分析表明,使用SCTP来进行WEB的传输比TCP更加可靠,速度更快。

一种动态权值输入缓存Crossbar多播调度算法

针对输入缓存Crossbar结构,提出一种权值动态计算的多播调度算法.该算法使用地址拷贝的方法将多播信元按照目的端口区分存储,以达到减少队头阻塞的目的.在调度多播信元时,与现有调度算法每次迭代时多播信元的权值都保持固定不同,新算法在每轮迭代中根据多播信元的扇出分割情况动态地为信元计算权值,以确保为扇出分割小的信元提供更多优先输出机会.减少多播信元的扇出分割,可以有效地防止路由器在多播业务量大时的输入端口拥塞.为了验证新算法的性能,提出一种只存在少数最佳匹配的多播业务模式.仿真结果表明,新算法在这种苛刻的业务模式以及其他常见的业务模式下都有很好的吞吐率.

非对称交叉开关优化与设计

高阶路由器设计面临的主要挑战之一是队头阻塞。提出了一种有效缓解队头阻塞的高阶路由器组织结构OE-ASC。OE-ASC使用两种技术来解决队头阻塞,一是采用非对称交叉开关的交换结构ASC,N×N交叉开关可以使用N/m个小型的m×N交叉开关来实现,降低输入端口间发生冲突的概率;二是奇偶队列机制,高效地利用存储资源,降低输入端口内冲突的概率,从而获得很高的吞吐率。对异构交叉开关的吞吐率模型进行了理论分析和模拟验证,给出了OE-ASC交叉开关的逻辑结构和瓦片化微结构。模拟结果表明,OE-ASC基本消除了队头阻塞,在有限输入队列长度时吞吐率可以达到98.6%。与采用队列长度为16的ASC相比,吞吐率提高了7.9%,使用一半的缓冲区即可达到与ASC相近的性能。

K-窗口输入缓存ATM交换网的仿真

针对N×N端口内部无阻塞输入缓存ATM交换网络的队头(HOLHeadofLine)阻塞现象,该文采用称为K窗口输入缓存交换方式,并且对该交换方法进行了仿真分析.该方法在每一时隙内,依次检测输入缓存队列中前K个信元的目的地址,从中选择满足无阻塞交换条件的信元作为该时隙的交换信元,以减少HOL阻塞,从而提高互联网中该类ATM交换网络的信元通过率.当网络端口数N=512、窗口宽度K=14时,其信元通过率将达到90%以上.

利用Hopfield网络改善ATM交换单元的性能

本文给出了用Hopfeild网络实现输入排队方式下按最大输出准则调度信元的方案 ,消除了队头(HOL)阻塞造成的交换单元性能恶化。计算机模拟显示 ,采用本文方法后 。

基于虫洞路由的无HoL阻塞环形架构

提出一种基于虫洞路由的无HoL阻塞环形片上互联网络架构,实现了在不消耗太多资源的前提下,用一级流水线以类虚拟输出队列的方式完全消除队头阻塞和死锁。评估不同参数下该环形架构的性能,与CELL EIB等环形实现相比,该架构以单数据包仅11周期最小延时的性能明显优于其他环形架构,同时最大吞吐率达到25.6 Gb/s。

一种带阈值的EPON动态带宽分配算法

文章提出一种适用于千兆以太网无源光网络(EPON)的支持多业务的动态带宽分配(DBA)算法,该算法采用单阈值整帧上报和阈值动态调整解决了EPON中存在的时隙碎片和队头阻塞问题。同时,文章对算法中的关键参数——设定周期的大小与算法性能的关系进行了深入的研究分析,以指导算法设定周期的确定。

流控制传输协议与TCP协议的比较

通过SCTP与TCP协议的比较,分析了SCTP的优缺点,并且给出了仿真结果。