基于异构算力节点协同的高效视频分发

算力网络通过网络连接计算节点以突破单点算力限制,近年来正快速发展应用于越来越多的业务领域.当前流行的视频直播依赖于大量视频帧传输和转码处理,探索算力网络实现高效视频分发具有重要的现实意义.相比于传统的大规模数据处理,视频类应用对于传输时延和带宽的保障有更高要求.然而当前各云服务提供的节点算力各不相同,同时节点间网络链路状态经常变化不定,使选择传输和转码综合性能最优节点实现低时延、高带宽的视频分发面临很大挑战.为此,设计基于异构算力节点协同的高效视频分发方案,包括通过强化学习规划视频传输路径并合理选取处理转码节点;对不同视频分发任务采用优先级排队调度同时自适应调整资源以降低对节点资源的突发竞争;采用分层日志同步容错机制在节点故障后快速恢复数据一致性,最终部署多云服务分布式节点实现一个完整的视频分发系统.大量超高清视频直播实验表明,该方案性能相比现有视频分发方法有明显改进.

异构多核处理器多发射动态调度技术研究

随着多核处理器片上集成核数的不断增多,并行任务的调度能力越来越成为制约性能提升的关键因素。文章设计一种面向异构多核计算系统的动态任务调度控制器,主要实现动态监控处理单元的负载情况、动态任务唤醒、乱序任务发射、任务写回安全管理等功能;研究一种降低计算任务结果数据回写双倍数据速率(double data rate,DDR)外存储器次数的方法,大幅节省了访存开销,进一步提升了计算性能。仿真及性能测试显示,在典型应用场景下,与已有的无动态调度功能的任务发射控制器相比,实现了显示并行化编程向任务并行的自动化控制过渡,编程友好度显著提高,在不同类型的测试案例中,分别提升了11.3%~37.9%的计算性能。

基于YARN集群的计算加速部件扩展支持

以GPU和Intel MIC为代表的计算加速部件已在科学计算、图形图像处理等领域得到了广泛的应用,其在基于云平台的高性能计算及大数据处理等方向也具有广泛的应用前景.YARN是新一代Hadoop分布式计算框架,其对计算资源的分配调度主要针对CPU,缺少对计算加速部件的支持.在YARN中添加计算加速部件需要解决多个难点,分别是计算加速部件资源如何调度以及异构节点间如何共享问题、多个任务同时调用计算加速部件而引起的资源争用问题和集群中对计算加速部件的状态监控与管理问题.为了解决这些问题,提出了动态节点捆绑策略、流水线式的计算加速部件任务调度等,实现了YARN对计算加速部件的支持,并通过实验验证了其有效性.

资源不均衡Spark环境任务调度优化算法研究

由于硬件资源的更新换代,集群中各个节点的计算能力会变得不一致。集群异构的出现导致集群计算资源不均衡。目前Spark大数据平台在任务调度时未考虑集群的异构性以及节点资源的利用情况,影响了系统性能的发挥。构建了集群节点的评价指标体系,提出利用节点的优先级来表示其计算能力。提出的节点优先级调整算法能够根据任务执行过程中节点的状态动态调整各个节点的优先级。基于节点优先级的Spark动态自适应调度算法(SDASA)则根据实时的节点优先级值完成任务的分配。实验表明,SDASA能够缩短任务在集群中的执行时间,从而提升集群整体计算性能。

异构环境下平滑加权轮询Reduce任务调度算法研究

传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。

动态自由节点滞后的任务调度算法

任务调度是异构计算系统的核心问题之一。调度问题是一个NP完全问题,为获得次优解,出现了很多启发式的算法。分析表调度的典型算法,发现存在一些不足,提出一种新的方法——动态自由节点滞后调度算法,采用动态判断自由节点并对它们滞后调度,让对任务图调度长度影响更大的节点被优先调度,从而缩短调度长度,分析和实验结果表明该算法要优于ETF,MCP和BDCP算法。

异构分布式系统中一种新型主副版本调度算法

针对异构分布式系统中处理器数量相对较少时优先级约束条件带来的副版本调度易失败问题,提出一种新型高可靠性主副版本调度算法(HRPB)。任务模型以有向无环图(DAG)表示,该算法共计调度主、副两个版本的任务。在任务优先级排序阶段,根据任务执行时间及截止时限来制定新指标平均最晚开始时间(ALST)进行排序;在任务处理器分配阶段,采取多一重备份策略以解决处理器数量相对较少时优先级约束条件带来的副版本调度易失败问题,并且改进了副版本调度时的可靠性指标计算方法。通过随机生成DAG图进行算法仿真测试,实验结果表明,HRPB比eFRD具有更优的副版本调度成功率、更高的系统可靠性。

无线传感器网络节点任务调度与功耗管理算法研究

针对有能量采集系统的无线传感器网络节点异质多核So C平台,从提高能量利用效率的角度,提出了一种任务调度与功耗管理算法。该算法处理实时有截止时间并有相互依赖关系的任务,任务执行在多个电压可调的处理单元上。通过对节点系统能量采集行为和应用情况进行分析建立了问题模型,并运用运筹学软件LINGO对模型做了求解。利用多组随机输入的任务流图对模型与算法进行了验证,该算法在功耗与时间约束范围内确实能有效提高系统的能量利用效率。

基于异构型结点的任务均衡调度研究

该文以实现时间最短为目标，全面考虑影响任务集实现开销的各种因素，建立了异构型结点集中带偏序关系的任务集的均衡调度模型及其随机搜索算法。调度模型将任务集实现过程分成：执行、传递和等待，强调执行和传递的并行性，降低因等待而发生的费用。算法在统计意义下为多项式时间复杂度。这一模型在工作时限要求较高的领域应用前景广泛。

异构环境下MapReduce动态任务调度技术研究

针对MapReduce在异构环境下各节点性能不均衡,导致整体计算效率低下的问题进行了研究,从节点与任务两方面入手,提出了一种将节点性能量化并排序与将任务按相似度划分相结合的算法。该方法根据历史日志以及实时回传的日志信息将节点按照性能高低排序;根据任务执行完成的信息,将其与新任务进行比对得到相似度,从而推测出新任务的执行时间,执行时间长的认为是复杂的任务;最后进行动态调度,使高性能节点处理更复杂的任务。在随机生成的数据集上的实验结果表明,所提出的动态调度算法与默认调度算法相比,数据集为20 GB大小时执行速度提高27.4%,数据集为100 GB大小时执行速度提高了74.1%。

无线传感器节点SoC事务级功耗仿真器设计

针对无线传感器节点系统设计中,异质多核架构使得系统功耗优化越来越复杂的问题,提出了利用仿真器对系统功耗模拟建模,建立了利用SystemC搭建的一个异质多核传感节点SoC仿真器。该仿真器可以对系统的任务运行时间和功耗行为进行事务级模拟,考虑了模块在不同的工作电压和频率下的功耗差异、互连网络的影响,通过叠加各个模块的功耗信息得到整个系统的功耗随时间变化的信息,实例结果表明了仿真器对系统功耗和性能的优化,为能够评估片上系统不同组合、不同架构、不同任务调度方案以及功耗管理方法下的功耗情况提供了依据。