Spark DAG优化MapReduce协同过滤算法

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,高效率低成本的大数据处理技术成为学术界及工业界的研究热点。为提高协同过滤算法的执行效率,对MapReduce架构下的算法执行步骤进行了分解,并对算法执行缺陷进行了分析。结合Spark适于迭代型及交互型任务的特点,提出将算法从MapReduce平台移植Spark平台的改进思路。设计了算法在Spark中的实现流程,并通过参数调整、内存优化等方法进一步提高算法效率。实验结果表明:与MapReduce平台中的算法相比,基于Spark DAG调度的算法能够减少65%以上的HDFS重复I/O操作,执行效率与能耗效率分别提升近200%及50%。

600MW锅炉一次风系统节能改造试验研究

针对电站锅炉一次风系统运行方式选择的不合理,导致磨煤机入口风量及一次风机电耗存在偏差,进行了一次风系统风量标定和运行方式优化试验,以现场试验的试验结果作为依据,提出了合理的调整方式。现场运行表明,所提出的调整方式能有效的降低风机电耗,提供准确的一次风量,对制粉系统安全运行、保持炉内良好的燃烧工况和提高锅炉效率有重要意义。