SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的"块典型分布"和"块非典型分布"的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.

基于HDFS的校园云存储平台的优化

为了提高当前校园信息管理系统效率的目的,本研究在构建校园云存储服务系统用户层的基础上,开发设计了基于HDFS体系的校园云存储平台及各个功能模块。利用了Mybatis的开源持久层框架对HDFS体系进行改进,并且DAO层实现校园云端网络的可变动态操作。实践应用结果表明:优化后的HDFS方案能够有效地减少名称节点内存的损耗,扩展了HDFS集群的命名空间,并且能够有效地提升读取文件元数据信息的速度。有效地提升了校园云存储平台的管理效率和数据访问效率,缓解了对数据库的压力。

满足辐射状约束的编码和遗传算子及其在配电网重构中的应用

针对现有配电网络重构智能算法因编码和求解方法无法保证网络满足辐射状约束而造成的寻优效率低、难以适用于大规模复杂网络的问题,引入了一种被称为"节点的名称-深度-度数"表示法(node-depth_degree representation,NDDR)的数据结构对配电网络进行编码,并基于NDDR编码构建了有明确物理意义的遗传算子.所提出的方法能够保证初始种群及遗传操作生成的所有染色体对应的网络都满足辐射状约束,避免了现有方法为满足网络辐射状约束而需要反复校验和修复网络的问题,计算负担大为减轻.3个经典测试系统和3个大型实际配电系统的测试结果表明:所提方法收敛速度快、稳定性好,能够高概率地得到问题的最优解;与环路编码的遗传算法相比,求解大规模实际复杂网络的计算时间大幅减少,能在短时间内得到高质量的解,具有良好的实用价值.