Hadoop MapReduce短作业执行性能优化

Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在处理对短作业响应性能有较高要求的查询应用时,Hadoop MapReduce并行计算框架存在明显不足.为了提升Hadoop对于短作业的执行效率,对原有的Hadoop MapReduce作出以下3点优化:1)通过优化原有的setup和cleanup任务的执行方式,成功地缩短了作业初始化环境准备和作业结束环境清理的时间;2)将首次任务分配从"拉"模式转变为"推"模式;3)将作业执行过程中JobTracker和TaskTrackers之间的控制消息通信从现有的周期性心跳机制中分离出来,采用即时传递机制.最后,采用一种典型的基于MapReduce并行化的查询应用BLAST,对优化工作进行了评估.各种不同类型BLAST作业的测试实验表明,与现有的标准Hadoop相比,优化后的Hadoop平均执行性能提升约23%.

一种短作业环境下的延迟调度算法

针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度,根据节点上任务的完成进度和作业未处理数据在集群中的分布状况预估作业的本地性资源信息,从而判断是否需要进行等待以提高系统性能,实现了对本地性资源的合理等待。实验结果表明:在短作业场景下,LRFD算法的性能和稳定性均优于已有的延迟算法,作业性能平均提升约10%,最大加速比可达3倍以上。

用于减少网络响应时间的最短作业优先分组调度算法

提出了一种最短作业优先的分组调度算法,用于减少交互式网络应用的平均响应时间. 新的分组调度算法将最短作业优先准则在一定程度上应用于分组交换网络中. 分析与模拟显示,该算法明显地减少了网络上信息检索的平均响应时间. 算法对交互式WWW应用的执行效率有较好的实用价值.

公平性考虑的短作业优先内存调度策略

针对片上多核平台下多线程访问共享内存资源的不公平性、低效性问题,提出公平性考虑的短作业优先内存调度策略,采用设置请求最大等待时间保证线程访问公平性,短作业优先策略缩小请求平均等待时间,关注线程本身固有的并行性。实验结果证明,该策略在多线程访问时IPC性能提升明显,最高性能提升达到43%。

基于短作业优先调度算法的智能RGV动态调度策略

根据RGV的智能动态调动机制,利用短作业优先调度算法、遗传算法及轮盘赌算法,抽象出相关数据模型,将有关的变量和相关数学函数相结合,遵循最优化的模型建立思想,构建了一个具有针对性的系统算法和数学模型,进而给出RGV的调度策略,从而提高系统的作业效率.

先来先服务与短作业优先调度算法的比较

为了打破处理机等资源限制,通过不同的调度算法,按照一定规律,允许不同的进程占用处理机,分配资源。依据系统资源分配策略分配资源的算法是调度算法。调度算法也可用于进程调度和作业调度。当系统性能和系统目标不同时,要选择不同的调度算法。基于此,针对调度算法中最简单的两种算法——先来先服务调度算法和短作业优先调度算法,分别介绍并比较。

短作业线直接无捻粗纱拉丝工艺研究

对短作业线(3m以下)条件下直接无捻粗纱生产工艺进行了研究探讨,从中找出了适合坩埚及通道拉丝条件下直接无捻粗纱比较合理的拉丝及烘干工艺。

绝缘斗臂车短杆作业法配网带电作业技术应用研究

绝缘斗臂车短杆作业法是以绝缘斗臂车的绝缘斗为作业平台,结合绝缘手套、操作杆等作业工具来实现带电作业,与绝缘手套作业法区别在于增加了绝缘短杆作业工器具,等同于增加了绝缘电阻和安全距离,提高了作业安全系数。鉴于厦门地区10kV配网线路的杆型和线路分布方式,本文分析了常规作业法与新型绝缘斗臂车短杆作业法,在10kV配网带电作业的断、接引流线项目中应用的优劣势,为后续同杆型作业提供作业参考。

基于Plant Simulation的混合流水线作业序列优化

为了完成某公司的智能制造转型计划,对该公司车间的生产流程、生产布局以及产品的生产工艺进行了调研,根据该车间的生产特点,将其归类为混合流水线车间调度(HFSP)这一典型的NP-hard问题。以最短作业时间(SPT)调度为优化目标,使用遗传算法去解决这一问题。具体方法上使用Plant Sim-ulation仿真软件,结合现场生产实际情况,搭建起车间流水线生产模型,应用遗传算法实现最优排序,得到近似最优解。经过遗传算法计算后的生产作业序列,理论上按此指导进行生产,总的作业时间可以缩短15%左右,从而提高企业生产效率;另外,厂家只需要导入即将执行的产品数量及工艺信息到模型,经过模型计算即可获得推荐排序。因此,此方式具有一定的实际应用价值和指导意义。

短段掘砌混合作业技术在大井径井筒施工中的应用

介绍了短段掘砌混合作业法及其配套施工设备在宁东矿区石槽村煤矿9m井径副立井施工中的实践,同时,采用综合治水干井,加强施工组织与管理是立井快速施工的有效途径。应用该项技术,实现快速成井,日成井最高7.2m,月成井112m,取得了优质、快速、经济、高效的结果。

配网不停电作业旁路技术研究

为了进一步提升配网不停电作业的开展范围和作业安全性,对旁路作业技术进行了分析。结果表明,只要开发出电气连接可靠且绝缘性能满足带电作业要求的作业工具,就可以消除旁路作业中操作架空线路过程的电压和电流安全风险,提高作业效率和供电可靠性。无停电配电网运行已逐渐成为今后配电网建设的趋势,配电网投资逐年增加,对无停电配电网运行进行分析研究,分析无停电配电网运行的效益,为今后配电网运行成本精益管理提供建议具有重要意义。本文在对配电网非停电运行进行技术分析的基础上,结合非停电运行的社会效益,对加强非停电运行的管理提出了一些建议。

常用作业调度算法的分析

作业管理、作业调度是操作系统的重要课题,该文讨论了先来先服务作业调度算法、短作业优先调度算法、最高响应比优先调度算法等常用作业调度算法的基本思想,并结合实例进行了分析和评价。

作业调度算法研究

作业管理是操作系统的重要课题,同时也是很多实际应用领域中十分重视的课题。在操作系统作业管理中关于作业调度有两种基本的算法:先来先服务算法和短作业优先算法。在具体的应用中有不同的评价标准。比较常用的是以平均带权周转时间作为评价的标准,通过推理,证明短作业优先算法优于先来先服务算法。

单元作业整合:为学生发挥创造力提供时间与空间

单元作业整合是指以结构化形态构建作业体系,呈现具有整体性的单元作业。它可以破解当前作业内容割裂、作业形式单一的困局。进行单元作业整合设计时,教师需要从点状、割裂的课时作业视角转向整体单元视角,以统整理念整合设计。单元作业整合有利于加强知识勾连、加强内容整合、控制作业数量、提升作业品质。它能让学生在每一次作业中都有所收获。

不压井带压作业装置在锦州采油厂的应用

油水井检修作业中通常采用放喷和压井两种作业方式,这两种方式存在污染环境、堵塞地层渗流通道等缺点。为不伤害地层,保持地层能量,缩短作业周期,减少环境污染,提出了不压井带压作业技术。介绍了主要由井口带压设备、修井机及配套设备三部分组成的短冲程带压作业装置的工作原理,现场应用89井次取得了很好的应用效果,施工一次性成功率、合格率达100%,平均施工周期为15d,最高施工压力为5.6MPa。作业过程中能有效控制井口压力,防止井喷事故,实现安全作业,取得了显著的经济效益和环保效益。

双减背景下基于创客教育理念重建中学信息技术课程作业体系

作业改进是“双减”政策关注研究的重要环节。对基于创客教育理念重建作业体系进行可行性研究,分析总结作业设计原则,尝试构建创客教育理念下的中学信息技术课程作业体系,以期减轻中学生长期以来的作业负担,有助于学生锻炼创新能力,从而推动学生的全面发展。

10 kV配网不停电作业旁路技术分析

为了进一步提升配网不停电作业的开展范围和作业安全性,对10 kV旁路作业技术进行了分析。研究了配网不停电小旁路作业时的电磁暂态过程和机械受力情况,提出了基于斗臂车内绝缘短杆作业法的新型小旁路作业方法。理论分析和试验结果表明,只要开发出电气连接可靠且绝缘性能满足带电作业要求的作业工具,就可以消除旁路作业中操作架空线路过程的电压和电流安全风险,提高作业效率和供电可靠性。

沁城井田回风立井施工方案及机械化作业线

介绍了沁城井田回风立井施工方案的选择原则及方案优化,阐述了机械化作业线的工序及其优化,提出了立井短段掘砌快速施工机械化作业线的3种配置及其应用范围。

立井短段掘砌大段高模板之改进

立井施工采用短段掘砌混合作业方式,是自鸡西建井处施工杏花立井和七煤集团公司建设工程总公司施工桃山、新兴立风井后逐步发展成熟起来的一项立井施工新技术。此种技术的应用与推广,有效地提高了立井施工的速度和经济效益。同时,我们也发现了一些缺点和问题,针对这些缺点和问题,我们在施工中对大段高模板进行了逐步改进,改进后的使用效果证明了我们的改进工作是合理有效的,现将我们主要的改进工作总结如下:

海上过驳卸载系统驳运任务规划问题研究

海上过驳卸载系统是多个作业环节相互衔接、相互影响的复杂作业系统,其中驳运环节涉及多种类型的被运装备和驳运船艇。探究如何利用现有驳运船艇资源,科学规划驳运方案,在最短时间内完成卸载,达到系统最大卸载效能,对于部队实践有着参考意义。分析了海上过驳卸载系统运行流程,提出一种驳运任务规划方法,利用LINGO编程求解,可以估算海上过驳卸载系统运行的最短时间,实现最快速的卸载。