-
题名基于Hadoop的三队列作业调度算法
被引量:3
- 1
-
-
作者
朱洁
赵红
李雯睿
-
机构
南京晓庄学院数学与信息技术学院
-
出处
《计算机应用》
CSCD
北大核心
2014年第11期3227-3230,3240,共5页
-
基金
国家自然科学基金资助项目(61202136)
江苏省高校自然科学研究项目(13KJD520007)
+1 种基金
南京晓庄学院科学研究项目(2012NXY14
2013NXY99)
-
文摘
Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。
-
关键词
HADOOP
作业调度
三队列
共享资源池
作业抢占
-
Keywords
Hadoop
job scheduling
three-queue
shared resource pool
job preemption
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
TP393.027
[自动化与计算机技术—计算机应用技术]
-
-
题名基于网格计算池模型的作业调度策略研究
被引量:2
- 2
-
-
作者
高连军
张颖超
孙瑞嘉
-
机构
南京信息工程大学信息与通信系
-
出处
《计算机工程与应用》
CSCD
北大核心
2005年第28期114-116,共3页
-
基金
江苏省科技发展计划重点项目(编号:BR2004012)资助
-
文摘
在现阶段,网格的计算池模型是一种较实用的网格实现方式,其资源的查找和分配机制也相对简单。文章根据计算池模型的特点,参照织女星网格的体系结构,将基于最短路由转发的资源发现机制与任务调度算法相结合,提出了一种新的网格任务调度策略,并给出了简化模型清晰地描述了任务在此策略下全部的执行过程。
-
关键词
网格
网格计算池
任务调度
织女星网格
SDRT算法
-
Keywords
grid,computing pool,job scheduling,Vega grid,SDRT
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名三维全波形反演高效异构并行计算
被引量:3
- 3
-
-
作者
魏哲枫
朱成宏
陈业全
-
机构
中国石油化工股份有限公司石油勘探开发研究院
-
出处
《石油物探》
EI
CSCD
北大核心
2017年第1期89-98,125,共11页
-
基金
国家科技重大专项(2011ZX05031-001-04)资助~~
-
文摘
全波形反演(FWI)每次迭代都需要进行若干次地震波正演,计算量非常大,尤其在三维情况下,提高并行计算的效率和稳健性至关重要。引入随机边界来反传、重建震源波场,可充分发挥GPU的计算能力,从而实现反演梯度的高效计算,相比监测点(checkpoint)和有效边界技术,大幅减少了数据存储和数据交换的开销,具有计算效率高和存储量小的优点;开发了作业池并行作业管理机制,与常规消息传递接口(message passing interface,MPI)并行机制相比,可动态增减节点,具有近似线性的加速比,更适应大规模异构并行。采用三维SEG/EAGE推覆体模型进行了速度反演测试,结果证明该技术高效且可靠。
-
关键词
全波形反演
随机边界
异构并行
作业池
速度反演
-
Keywords
full waveform inversion
random boundary
heterogeneous parallel
job pool
velocity modeling
-
分类号
P631
[天文地球—地质矿产勘探]
-
-
题名多核处理器中改进的动态缓存优化技术
- 4
-
-
作者
田进华
魏长宝
-
机构
黄淮学院信息工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2015年第8期46-51,共6页
-
基金
河南省科技攻关计划基金资助项目(122102210430)
河南省教育厅科学技术研究基金资助重点项目(14B520036)
-
文摘
为提高多核处理器中缓存资源池效率并降低芯片总面积,设计三维多核结构,同时给出在线应用感知作业分配和缓存共享策略。通过分析应用程序性能特征预测资源需求量,将相邻层中具有不同缓存特点的作业分配给三维多核结构内核,使应用程序与缓存用途相匹配,同时根据应用程序对缓存需求度分配缓存资源,实现缓存资源利用率的最大化。实验结果表明,该策略可提高系统性能,降低能耗和芯片面积,与基于静态缓存的三维多核存储器相比,该三维多核结构的能量延迟乘积和能量延迟面积乘积分别提高了36.9%和57.2%。
-
关键词
缓存资源池
缓存共享
多核处理器
三维多核结构
作业分配
-
Keywords
cache resource pool
cache sharing
multicore processor
3D multicore structure
job allocation
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
-
题名Oracle共享池自动冲洗的一种方法
- 5
-
-
作者
牟莉
王纪川
-
机构
西安工程科技学院计算机科学学院
-
出处
《航空计算技术》
2003年第3期66-68,共3页
-
文摘
Oracle系统中,客户和服务器进程通过共享池进行自身对话或与其他进程之间的通信,在系统长期运行的过程中,共享池中因大量进程的调入调出操作而产生大量内存碎片,导致系统运行出错。本文给出了一种利用动态SQL及DBMS_JOB包来实现自动冲洗共享池的方法。
-
关键词
ORACLE数据库
自动冲冼
共享池
工作原理
内存碎片
社会保险
管理信息系统
-
Keywords
shared pool
memory fragment
automatic flushing
job
dynamic SQL
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
TP315
[自动化与计算机技术—计算机软件与理论]
-
-
题名新常态下校企共同建立企业认证人才资源库的探索
被引量:1
- 6
-
-
作者
吴斌
-
机构
浙江邮电职业技术学院
-
出处
《中国商论》
2021年第19期175-177,共3页
-
基金
2019年浙江省高等教育“十三五”第二批教学改革研究项目高职院校“2+1”人才培养模式下顶岗实习方式及管理一体化模式研究(jg20191010)
浙江省高等教育学会2020年度课题高职院校兼职教师认证体系构建及资源库管理研究(KT2020310)。
-
文摘
校企共同建立企业认证人才资源库是当前人才培养的一种重要模式,输出的人才即综合型人才,既掌握专业的理论知识,又具备较强的实践能力,为企业构建了定向人才培养机制,对企业、高校及整个社会发展均有利。本文分析了当前校企共同建立企业认证人才资源库的建设策略,构建校企合作的长效沟通机制,构建系统的专业课程理论体系,构建兼职教师的动态管理机制及长效发展机制,以学生就业为导向进行人才培养,构建校企一体化发展平台,改善传统的单一人才培养模式,转变为多场所、多主体的人才培养模式。采用阶梯递进式人才培养机制,提升学生的岗位职业能力,丰富学生课程理论体系,通过产学互动、学训结合,使得学生更好地符合企业用人需求,实现人才培养的价值与目的。
-
关键词
企业认证人才资源库
岗位职业能力
理论体系
产学互动
-
Keywords
enterprise certification talent pool
job vocational ability
theoretical system
industry-university interaction
-
分类号
F241
[经济管理—劳动经济]
-