阶段感知的跨域数据分析作业保障机制

为缓解边缘计算的不稳定性,设计了适用于跨域规模的任务复制与分配机制以保障作业各阶段的完成(Geo-distributed job Insurance Mechanism,GIM)。为满足并行任务执行特征和资源限制,先将问题形式化为MinMax多项式整数规划问题,再放松整数约束并采用feasible-point算法快速地收敛到最优解,最后基于高危任务优先原则对最优解进行取整,得到满足原问题约束的高质量任务复制与分配方案。模拟实验表明,在不同的系统负载下,相比于当前的冗余执行策略,GIM至少能够减少22%的作业平均完成时间。

Hadoop中改进的共享式存储设备设计

针对将Hadoop迁移到虚拟化环境中不能充分发挥其性能优势这一问题,设计一种共享式存储设备StoreApp。StoreApp主机将映射任务生成的中间数据放到存储节点中,实现存储与计算相分离;设计HDFS预取算法来处理数据读取失准现象;StoreApp采用一种集群规模自动调整技术确定不同作业的最优集群规模,通过动态改变每个主机上计算节点的数量实现作业完成时间的最小化。仿真结果表明,与传统的未将计算和存储相分离的Hadoop方案和典型的Themis方案相比,StoreApp可显著提升HDFS吞吐量并降低作业完成时间。

Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。