基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。

基于网格计算池模型的作业调度策略研究

在现阶段,网格的计算池模型是一种较实用的网格实现方式,其资源的查找和分配机制也相对简单。文章根据计算池模型的特点,参照织女星网格的体系结构,将基于最短路由转发的资源发现机制与任务调度算法相结合,提出了一种新的网格任务调度策略,并给出了简化模型清晰地描述了任务在此策略下全部的执行过程。

三维全波形反演高效异构并行计算

全波形反演(FWI)每次迭代都需要进行若干次地震波正演,计算量非常大,尤其在三维情况下,提高并行计算的效率和稳健性至关重要。引入随机边界来反传、重建震源波场,可充分发挥GPU的计算能力,从而实现反演梯度的高效计算,相比监测点(checkpoint)和有效边界技术,大幅减少了数据存储和数据交换的开销,具有计算效率高和存储量小的优点;开发了作业池并行作业管理机制,与常规消息传递接口(message passing interface,MPI)并行机制相比,可动态增减节点,具有近似线性的加速比,更适应大规模异构并行。采用三维SEG/EAGE推覆体模型进行了速度反演测试,结果证明该技术高效且可靠。

多核处理器中改进的动态缓存优化技术

为提高多核处理器中缓存资源池效率并降低芯片总面积,设计三维多核结构,同时给出在线应用感知作业分配和缓存共享策略。通过分析应用程序性能特征预测资源需求量,将相邻层中具有不同缓存特点的作业分配给三维多核结构内核,使应用程序与缓存用途相匹配,同时根据应用程序对缓存需求度分配缓存资源,实现缓存资源利用率的最大化。实验结果表明,该策略可提高系统性能,降低能耗和芯片面积,与基于静态缓存的三维多核存储器相比,该三维多核结构的能量延迟乘积和能量延迟面积乘积分别提高了36.9%和57.2%。

Oracle共享池自动冲洗的一种方法

Oracle系统中,客户和服务器进程通过共享池进行自身对话或与其他进程之间的通信,在系统长期运行的过程中,共享池中因大量进程的调入调出操作而产生大量内存碎片,导致系统运行出错。本文给出了一种利用动态SQL及DBMS＿JOB包来实现自动冲洗共享池的方法。

新常态下校企共同建立企业认证人才资源库的探索

校企共同建立企业认证人才资源库是当前人才培养的一种重要模式,输出的人才即综合型人才,既掌握专业的理论知识,又具备较强的实践能力,为企业构建了定向人才培养机制,对企业、高校及整个社会发展均有利。本文分析了当前校企共同建立企业认证人才资源库的建设策略,构建校企合作的长效沟通机制,构建系统的专业课程理论体系,构建兼职教师的动态管理机制及长效发展机制,以学生就业为导向进行人才培养,构建校企一体化发展平台,改善传统的单一人才培养模式,转变为多场所、多主体的人才培养模式。采用阶梯递进式人才培养机制,提升学生的岗位职业能力,丰富学生课程理论体系,通过产学互动、学训结合,使得学生更好地符合企业用人需求,实现人才培养的价值与目的。