Hadoop平台中一种Reduce负载均衡贪心算法

MapReduce是目前广泛应用的并行计算框架,是Hadoop平台的重要组成部分。主要包括Map和Reduce函数,Map函数输出key-value键值对作为Reduce的输入。由于输入的动态性,不同主机上的Reduce处理的输入量存在不均衡性。如何解决Reduce的负载均衡是优化MapReduce的一个重要研究方向。对整体数据进行抽样,通过适量的样本分析数据,达到较小的代价获得可靠的key分布,提出贪心算法代替Hadoop平台默认的Hash算法来划分数据,实现Reduce负载均衡。提出的贪心算法主要思想是根据抽样数据,求取所有key频次的和对于Reduce节点数量的平均值,然后依次为每一个Reduce分配一个接近平均值的负载,从而达到整体的负载均衡。模拟实验表明,所提算法与默认的hash分区算法相比,运行时间节约10.6%,达到更好的负载均衡。

非合作通信中OFDM系统盲均衡的方法

针对传统的正交频分复用（OFDM）系统盲均衡方法中存在接收数据短、收敛速度慢的问题，提出了一种基于符号间干扰变步长迭代的多模混合算法的 OFDM 系统盲均衡新方法。该方法首先将接收数据进行了分段复用，然后将修正的恒模算法与判决引导算法进行多模混合，并在均衡过程中采用了基于符号间干扰的变步长迭代方式。仿真结果表明，在非合作通信中，该方法不但加快了收敛速度并且保证了稳态收敛性能。