基于OpenPBS的机群作业管理系统的设计与实现

机群作业管理系统直接关系到机群性能的发挥和使用率的提高,是机群的一个重要组成部分。该文主要介绍了当前比较流行的作业管理系统OpenPBS的结构及工作过程,以及在其基础上开发的好用的web方式的作业提交系统。基于web的使用策略增加了系统的好用性。

基于PBS的勘探数据处理作业管理

高性能集群不具备作业自动调度和负载均衡的功能。采用开源的作业管理系统定制开发集群管理系统,解决集群"难用难管"的问题。作为一种开源的队列管理和作业调度系统,PBS目前已经广泛应用于集群管理当中。通过Shell脚本应用开发,将不同类型的应用作业转换为相应的PBS作业脚本纳入系统管理。利用PBS系统进行必要的定制开发工作,在较少改变科研人员工作习惯的前提下,实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理。

基于PB的FPSS系统的设计及其开发

如何在多品种小批量的生产环境下快速经济地得出生产作业调度方案是目前研究的热点。文章围绕一个机械加工公司展开,利用启发式算法来解决生产排序调度问题,并讨论了调度规则库的构建。FPSS系统运行表明:能快速得出生产作业排序调度方案,能根据内外环境的变化快速做出有效的资源调整。

便携式XRF仪现场快速测定土壤中Pb的可行性研究

便携式XRF分析仪具有轻便、快速和可测对象较多与测量元素较广等特点而广泛应用于矿石、土壤等方面快速检测,但土壤的现场快速测定结果的准确性有待进一步研究与探讨。以安宁河谷平原土壤中Pb为研究对象,通过对便携式XRF仪现场快速检测结果与实验室分析结果的对比和影响因素的分析,建立基于安宁河谷平原表层土壤快速测定结果的线性函数为y=1.170 9x-17.326 0(R^2=0.992 9,x为现场检测结果),探讨其影响因素,为该区域表层土壤中Pb快速检测结果提供依据。

校园网格作业调度系统的研究与实现

针对校园高性能计算资源和存储资源负载不均衡、管理模式不统一的问题,提出了校园网格作业调度系统的解决方案。通过对网格和网格体系结构的分析,设计了校园网格作业调度系统的分层结构模型,总结了调度系统的实现目标,指出了作业服务的重要作用,并对校园网格作业服务的功能、作业调度的模型及作业调度的策略进行了研究。校园网格作业调度系统的实现,极大地提高了系统的利用率,实现了校园网络中资源的共享,平衡了校园资源的负载。

并行计算机群的节能调控

针对并行计算机群空闲费电的问题,提出了一种利用作业排队调度系统(OpenPBS)来调控并行计算机群的方案。采用脚本文件控制的方法,实现了计算节点的自动开、关机功能,达到了任务计算和节约电能的动态平衡。

基于AMD PC的机群计算系统的设计与实现

文章介绍了一个基于AMDPC的机群计算系统,它由30个计算节点、1个数据服务器及1个登录服务器组成,总共64个CPU,数据服务器使用千兆网络的连接。这个计算系统是用于LHC(LargeHadronCollider)的MonteCarlo模拟以及羊八井中日合作项目的数据分析、MonteCarlo模拟等。由于MonteCarlo模拟部分对计算能力的要求很高,而数据分析部分则对I/O能力的要求很高,因此系统必须兼顾这两个方面的要求。由于物理数据的产生和物理数据的分析是事例间无关的,所以系统使用批作业处理方式。该文选择NASA开发的自由软件PBS作为批作业管理系统。测试结果表明,系统SPEC2000的SPECint和SPECfp值分别为38976和35008,I/O的读写能力分别为62.34MB/s和56.50MB/s,具有很好的性能价格比。

原子荧光光谱法测定色母粒中铅含量

建立了原子荧光光谱仪测定色母粒中铅的方法。将色母粒样品置于电炉中炭化，然后以HNO3-HClO4洗涤样品残渣，再加热使余酸挥发，通过控制余酸的量使试样溶液的酸度保持在0.8%~1.3%之间，用原子荧光光谱仪对样品消解液进行检测。该方法测定结果的相对标准偏差在3.66%～7.52%之间，加标回收率在82%～120%之间。与电感耦合等离子体光谱法、原子吸收光谱法和电感耦合等离子体质谱法等进行比对检测，检测结果在允许误差之内。

基于双向匹配模型的任务调度策略的研究

一个好的任务调度策略直接影响和决定着整个集群系统的运行效率,首先介绍两种调度模型,即面向任务分配处理机和面向处理机分配任务,从而提出了一种融合这两种调度模型的双向匹配任务调度模型,并通过改进Open-PBS(Portable Batch System)原有的单向任务调度模型,运用双向匹配模型使其整个系统的资源使用效率得到了很大的提高。

多集群作业调度系统MCJSS的设计与实现

研究多集群的管理模式,设计支持多集群的用户决策和系统决策两种调度方式,提出基于PBS的多集群作业调度MCJSS架构。利用PBS的扩展接口,实现MCJSS的核心模块,管理多集群作业提交、作业转发和负载信息收集。给出了多集群间基于预测最轻负载转发的调度策略。运用两层负载信息收集策略服务于转发机制,利用组合单项负载的阈值来判断转发时机和目的集群。实验证明,相同的作业在相同规模但是不同组织形式的多集群和单集群组织模式下,多集群的系统吞吐量大于单集群组织模式。

一种数据本地化存储与处理系统

简述了当前大型数据中心普遍采用的计算节点集群与存储系统模块化设计的系统结构,说明了部署在各模块上的主要集群系统。分析了具有独立性的结构化数据本地化存储于计算节点的可能性,给出了系统基本框架,从总体拥有成本(TCO)的角度分析了其价值。结合高能物理研究的原始数据特点,认为数据本地化存储在节点上,有利于提高整体利用率,指出了关键部件——文件元数据管理系统的设计要点,分析了PBS作业批处理系统集成文件元数据管理系统的三种方案,给出第一种方案的详细设计,相应的用户提交作业方式的改变。在测试环境下,初步部署了文件元数据管理系统,测试了三种集成方案,给出了简要的分析比较。

面向批量化小卫星的便携式快速巡检系统研究

为解决批量化小卫星在贮存阶段测试周期长、自动化程度低、测试设备多等问题,提出了一种面向批量化小卫星的快速巡检方法,设计并开发了针对小卫星多种测试模式下的便携式快速巡检系统;该系统具有适用性广、稳定性好、效率高、成本低、便于携带和操作简便等优点,已在某小卫星的批量巡检中得到应用验证;通过参数配置、巡检序列设置、程序上注更新和巡检模式重组,可满足不同小卫星快速批量巡检,特别是用于小卫星外场巡检时优势明显;经实验结果表明,单颗小卫星的巡检时间从2天缩小到2小时,明显提高了巡检效率,大幅降低了时间成本和人力成本,对小卫星的批量巡检效果更加显著。

分布式文件元数据管理系统设计

简述了分布式文件元数据管理系统的应用环境和设计目标。目标系统设定应用于高能物理数据分析,关联Torque作业批处理系统;在这些条件的限制下,详细分析了各种限制因素,并以此为基础给出了目标系统的总体结构及模块化设计。详细阐述了目标系统的数据库设计、访问接口设计以及数据同步要点,给出了设计思路,并结合目标系统的记录新增操作、查询操作的测试性能,讨论了进一步的工作。

网格计算池模型实现的一些关键技术研究

网格计算池是近年来针对传统“累加”式网格计算模型中网络带宽受限制、通信延迟、通用性不强等缺陷提出的一种新型网格模型。并行计算环境与任务调度管理作为超级计算资源中的重要组成部分,由于其专业性与普及度的影响,长期以来应用的侧重点都更多地在于计算的速度与效率上,在系统开放性上并不注重,对于其二次开发如在网格计算池中的应用更是不多见。就并行计算环境的优化、针对于网格计算池模型应用中的配置和任务调度管理软件以及利用IFL实现网格计算池模型接口中的一些关键问题进行了研究。

网络化测试系统中并行数据处理架构的实现

网络化测试系统通常由智能仪器组成,采用传统的集中式数据处理结构一方面造成仪器内部计算资源的浪费,同时也对网络带宽带来较大的压力。为解决上述问题,提出了一种利用智能仪器内部计算资源进行并行数据处理的计算架构。提出了一种双层计算资源模型,在顶层使用PBS(portable batch system)作业管理系统,实现在网络化测试系统中的物理资源管理和计算节点分配;在底层使用隔离技术,基于Linux的Cgroups内核特性构建资源容器,实现节点内部的计算资源有效隔离。并行任务基于MPI非虚拟化并行计算平台实现,利用并行FFT算法对该计算模式进行了验证。实验结果表明,该计算架构具有良好的可行性和实用性。作为并行计算在网络化自动测试领域的拓展,具有很好的研究前景及实用价值。

大规模单核苷酸多态性位点验证的集群解决方案

随着高通量的单核苷酸多态性(Single Nucleotide Polymorphism,SNP)检测技术的发展,世界各地的实验研究积累了大量的SNP数据,但是目前尚无一个全面综合的SNP数据库。SNP在致病基因发现、司法鉴定、个体化医疗等方面的应用得到了极大的关注和发展,因此有必要建立一个整合的人类SNP数据库。在整合中需要进行大规模的单核苷酸多态性位点的验证,该工作通过一个自主开发的、健壮的、用户友好的生物信息学集群计算工具包EasyC luster在集群系统上得以高效完成。

PETSc库在网格环境下的应用研究

网格计算的推广应用,需要各种资源和服务的支持。在自强2000集群系统上,采用基于OGSI的GT3网格技术,实现PETSc的网格服务,提供PETSc源程序的编译及PETSc并行作业的管理功能,用于在网格环境下为远程用户解决各种复杂的科学计算问题。

X射线荧光光谱法测定内墙合成树脂乳液涂料墙面中铅、镉、铬和砷的含量

用手持式能量色散型X射线荧光光谱仪直接快速测定内墙合成树脂乳液涂料墙面中铅、镉、铬、砷等4种有害元素的含量,用外标法定量。以模拟样品为基体制作上述4种元素的工作曲线,4种元素的质量分数在120 mg·kg-1范围内与其荧光强度呈线性关系。实样测定结果表明:上述4种元素含量大于10mg·kg-1时,本方法的结果与电感耦合等离子体原子发射光谱法的测定结果相符。

提高铅钙合金质量的措施

针对铅钙合金使用时存在的质量问题,分析了产生问题的原因,从原料、配料、操作和服务等方面着手,提出了解决问题的措施。经整改后,铅钙合金质量得到了提高,取得了较好的效果。

便携式测量臂在白车身尺寸监控中的应用

利用便携式三坐标测量臂和光学激光扫描测量头对白车身前端装配尺寸进行批量测量,并将测量结果与悬臂式三坐标进行对比,研究便携式三坐标测量仪用于白车身前端尺寸批量监控的可行性和可靠性。试验结果发现,便携式三坐标测量臂和激光扫描测量头的测量结果与悬臂式三坐标基本保持一致(误差能有效控制在0.2 mm以内),且在编写好测量程序后,整个测量过程便于操作,能方便地应用于整车制造厂的白车身批量尺寸监控中。