期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
一种分布式异构带宽环境下的高效数据分区方法 被引量:6
1
作者 马卿云 季航旭 +2 位作者 赵宇海 毛克明 王国仁 《计算机研究与发展》 EI CSCD 北大核心 2020年第12期2683-2693,共11页
在分布式大数据处理框架的作业运行过程中,会有大量的数据通过网络传输,数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下,因为带宽瓶颈节点的存在,传统的数据分区方法效率低下.针对这个问题,建立... 在分布式大数据处理框架的作业运行过程中,会有大量的数据通过网络传输,数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下,因为带宽瓶颈节点的存在,传统的数据分区方法效率低下.针对这个问题,建立了节点间的数据传输模型,该模型以降低数据传输时间为目标,根据各节点的上下行带宽和初始数据量大小,计算出各节点的最优数据分发比例.以该模型为基础,设计了基于带宽的数据分区方法,该数据分区方法使得各节点按最优数据分发比例来分配数据.最后在Apache Flink框架中将基于带宽的数据分区方法进行了实现,并通过实验进行了验证.实验结果表明:异构带宽条件下,基于带宽的数据分区方法可以有效减少数据分区所需的时间. 展开更多
关键词 数据分区 Apache Flink 负载均衡 异构带宽 分布式系统
下载PDF
面向GPU集群的动态资源调度方法 被引量:3
2
作者 傅懋钟 胡海洋 李忠金 《计算机研究与发展》 EI CSCD 北大核心 2023年第6期1308-1321,共14页
深度神经网络(deep neural network,DNN)已广泛应用于人类社会的许多领域.大规模的DNN模型可显著提高识别精度,然而在单个GPU设备上训练大规模的DNN模型需要耗费大量的时间.因此,如何借助分布式深度学习(distributed deep learning,DDL... 深度神经网络(deep neural network,DNN)已广泛应用于人类社会的许多领域.大规模的DNN模型可显著提高识别精度,然而在单个GPU设备上训练大规模的DNN模型需要耗费大量的时间.因此,如何借助分布式深度学习(distributed deep learning,DDL)技术,在GPU集群上并行地训练多DNN模型已受到工业界和学术界的广泛关注.基于此,提出一种面向GPU集群的动态资源调度(dynamic resource scheduling,DRS)方法,解决异构带宽环境下具有截止时间要求的多DNN任务调度问题.具体来说,首先基于Ring-AllReduce通信方式构建资源-时间模型,以衡量DDL任务在不同资源方案下的运行时间;然后基于截止时间需求构建了资源-性能模型,以实现高效的资源利用;最后,结合上述资源-时间和资源-性能模型设计了DRS算法,为多DNN任务训练实现资源方案决策.在DRS算法中融入最近截止时间原则进行实际资源分配,并利用资源迁移机制减少调度过程中出现的资源碎片场景的影响.在4个NVIDIA GeForce RTX 2080 Ti的GPU集群上的异构带宽的实验表明,DRS相较于对比算法提升了39.53%的截止时间保证率,并在调度过程中GPU集群节点的资源利用率达到了91.27%. 展开更多
关键词 资源调度 GPU集群 分布式深度学习 异构带宽 资源迁移
下载PDF
A Resource Scheduling Scheme for Spectrum Aggregation in Cognitive Radio Based Heterogeneous Networks 被引量:1
3
作者 Fu Yunhai Ma Lin Xu Yubin 《China Communications》 SCIE CSCD 2015年第9期100-111,共12页
In spectrum aggregation(SA), two or more component carriers(CCs) of different bandwidths in different bands can be aggregated to support wider transmission bandwidth. The current resource scheduling schemes for spectr... In spectrum aggregation(SA), two or more component carriers(CCs) of different bandwidths in different bands can be aggregated to support wider transmission bandwidth. The current resource scheduling schemes for spectrum aggregation are not optimal or suitable for CR based heterogeneous networks(Het Nets). Consequently, the authors propose a novel resource scheduling scheme for spectrum aggregation in CR based Het Nets, termed as cognitive radio based resource scheduling(CR-RS) scheme. CR-RS has a three-level structure. Under a dynamic traffic model, an equivalent throughput of the CCs based on the knowledge of primary users(PUs) is given. On this basis, the CR users data transmission time of each CC is equal in CR-RS. The simulation results show that CR-RS has the better performance than the current resource scheduling schemes in the CR based Het Nets. Meanwhile, CR-RS is also effective in other spectrum aggregation systems which are not CR based HetNets. 展开更多
关键词 CR-RS spectrum aggregation resource scheduling cognitive radio heterogeneous networks
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部