面向数据生产的跨计算引擎数据调度技术研究

随着数据处理任务的日渐复杂,传统的数据计算引擎面临着存储管理和计算资源调度的挑战。本文深入探讨了如何提升跨计算引擎数据资源调度的性能和降低其复杂性。研究聚焦于数据生产任务,通过结合实际应用场景,重点研究了数据资源在不同计算引擎间的存储和调度优化技术,提出了超级调度器设计、多维度细粒度资源分配以及基于任务优先级的资源调度等技术方案。实现不同计算任务在多个计算引擎间的高效协作,从而最大化计算资源的利用率和处理速度,为解决大规模数据生产中的资源调度问题提供了有效的技术方案。

一种基于异步协同调度的互联网推荐引擎架构设计

作为互联网信息分发最核心业务,搜索和推荐引擎遵从用户体验优先,以实时响应用户需求构建在线架构,做到秒级响应需求,然而这一设计造就的“召回-粗排-精排”三级漏斗也引入了明显的漏斗损失。文章从推荐引擎差异化场景出发,提出一种基于异步协同调度的新型架构设计,突破性能约束,在用户体验无损前提下做到漏斗精简,显著拉高推荐引擎效率天花板。

基于游戏引擎的工厂模型优化与调度方法研究

引言随着各类引擎越来越广泛地被工业行业使用,融合了前沿计算机图形学技术的游戏引擎越发受到具有海量模型数据的工厂用户所青睐。例如,数字工厂三维总图系统、三维管网“一张图”数字工厂数字孪生、数字工厂超低排管理与智能管网系统等数字工厂应用都在广泛地使用游戏引擎~([1])。

一种跨异构引擎的大数据生产任务调度框架

行业数据资源往往分布在技术体制异构的物理数据中心,有多种类型的计算引擎,导致应用系统基于每类计算引擎进行大数据生产任务时,存在开发适配复杂、与特定平台紧耦合、生产任务工作流无法支持多类型计算引擎混合编排等问题。提出一种跨异构引擎的大数据生产任务调度框架,通过构建任务工作流统一描述模型、任务工作流可视化编排、任务工作流解析、分布式任务调度管理等,屏蔽大数据底层引擎差异性和复杂性,使用户专注于业务逻辑本身,提高工作效率。应用案例验证了该框架在实际项目中的有效性。

基于云服务的企业移动应用研发及调度管理平台

随着数字化移动技术不断在企业推广应用,早期由于缺少技术手段统筹管理,各专业自行开展建设产生的“多、杂、乱”问题日趋明显,建设成本居高不下。文章提出了一种基于云服务的企业移动应用研发及调度管理平台,采用云服务方式设计并部署了开发平台层、应用管理层、调度控制层。开发平台层通过提供Hybrid研发引擎、组件库、模版库和模拟器等组件,提高了企业研发支撑能力;应用管理层通过提供用户管理、设备管理、应用商店、内容管理等模块,实现了规范化、集约化管理;调度控制层通过设计移动应用调度算法,实现了任务按匹配的资源进行科学合理调度,提高了资源利用率。试点应用情况表明,文章提出的平台框架满足了设计预期。

多引擎协作体系结构下引擎调度机制的研究与实现

随着Internet应用的发展,支持分布式应用已成为应用体系结构的基本特征,为了加快系统的开发效率,开发模式和开发过程的研究成为研究热点,利用组件和中间件技术的多引擎协作体系结构可以加快应用系统的开发过程。多引擎协作体系结构中的多引擎调度机制是多引擎协作体系结构的核心问题。该文研究、分析了多主体协作理论,以及分布式使用组件的需求,同时定义了多引擎调度机制的功能,并设计了多引擎调度机制的体系结构。在多引擎协作体系结构下多引擎调度系统中,可以灵活地定义各种分布式操作服务引擎,同时定制需要实现的功能,引擎调度机制就可以根据这些定制内容,调用已定义的分布式操作服务引擎,来实现定制的功能。通过定制可以显著地提高系统的开发效率。

超算环境科学工作流应用平台的引擎设计和资源调度

围绕超算资源的易用性和多类软件的集成以及协作需求,开发了超算环境下的科学工作流应用平台,设计了异步并发的流程执行引擎,采取调度算法和调度器、引擎相分离的设计策略,给出了资源调度方案。提出了局部资源池化技术和资源预约算法,并比较分析了五种常用调度算法的性能,给出了算法选择的建议。实际应用表明设计的引擎能够支撑复杂工作流的灵活执行方式,给出的资源调度方案能够满足超算环境下工作流应用的高效执行。

基于引擎成员的仿真调度问题

仿真引擎作为仿真系统的核心,是HLA仿真联邦中的特殊联邦成员。论述了基于实体、成员和引擎的层次式仿真调度概念结构,及其采用的基于时间序和事件序的仿真调度方案,将作战实体的时间推进和交战处理都归入仿真引擎,确保了全局时间统一性、实体同步性和交战事件的有序性,而且各种参量的设置灵活,便于控制。介绍了仿真引擎成员的设计与实现。该引擎成员在某指挥自动化作战效能仿真与评估系统中得以应用。

基于分类评价的元搜索引擎调度策略

元搜索引擎的调度策略研究如何选择贴近需求的成员搜索引擎组合,以较小的资源耗费,帮助用户获得较高的查询质量。提出了一种基于检索术语分类的评价方法,根据成员搜索引擎的查全率、查准率和平均响应时间,量化其查询性能,然后根据评分高低,为每个分类的查询请求分配合适的成员搜索引擎组合。为该调度策略设计了实验系统,并对实验结果进行了分析与对比,结果表明,该调度策略有效地提高了查准率。

基于搜索引擎的电力调度知识管理系统设计

针对大数据背景下电力企业数据的复杂性、数据量大的问题,提出了基于搜索引擎的电力调度知识管理系统的设计。对知识搜索引擎的工作原理进行分析,提出向量空间检索算法,实现电力调度知识管理系统的设计。使用稳定、成熟且可靠的开源搜索引擎平台自动收集外部指定网站、内部专业文件系统等,从而提供方便的搜索服务,使用户能够轻松地得到需要的专业信息。利用系统对电力调度专业知识进行提炼,通过用户的实际需求实现多样化展现。通过实际分析,系统具备咨询搜索、集成、知识分类等功能,还能够使信息资源可用性得到提高。

基于AHP方法的成员搜索引擎调度策略

为满足用户在信息搜索中快速且准确地获取有价值信息的需求,在元搜索引擎基础上提出了一种基于AHP(Analytic Hierarchy process)方法的成员搜索引擎调度策略。该策略从成员搜索引擎对查询内容的相关度、平均响应时间和负载量3个指标来评价成员搜索引擎的性能,并根据指标权重的不同采用AHP层次分析法选择性能最佳的若干成员引擎进行调度。实验结果表明,该策略在提高查准率、缩短查询时间方面比传统的成员搜索引擎调度策略有较大改进。

元搜索引擎个性化调度策略的研究与设计

为满足用户在信息搜索过程中的个性化需求,本文根据成员搜索引擎的性能、响应时间、链接数及用户经验等特征对元搜索引擎的调度策略的影响,设计了相关的选择策略及算法。实验表明,该策略在实际中具有一定的价值。

基于有效反馈结果的元搜索引擎调度策略

本文给出了有效反馈结果的定义,根据该定义提出了一种元搜索引擎的调度策略,该策略是根据用户提交查询的有效查询结果和成员引擎的响应性能,计算出各成员引擎的权值,调整元搜索引擎系统调用成员引擎的序列,并通过实验仿真证明该策略是有效的。

基于J2EE的工作流引擎调度器的分析与设计

工作流技术是计算机应用领域的一个较新的研究方向,引擎调度器是工作流管理系统的核心。文中以某通信公司的办公自动化系统为背景,从体系结构、系统功能和关键类的设计思想等方面对其中的引擎调度器进行分析,并给出了引擎调度器的核心算法。

基于搜索引擎的电力调度知识管理系统

采用成熟、稳定、可靠的开源搜索引擎平台,实现对外部(Internet)指定相关网站、内部网站和内部专业文件系统的自动收集,提供方便的搜索服务,使用户轻松的获取所需专业信息。采用相关分析、模糊搜索、分类聚类等技术,提炼出电力调度专业知识,并根据用户的需求,提供多样的展现方式。系统具有相关搜索、资讯集成、知识分类等功能,使信息资源上升为专业知识并得到更充分的利用。

基于规则引擎的通讯卫星应急任务调度

为降低调度规则变动对独占资源通讯卫星应急任务调度系统的影响,提高系统的灵活性、可扩展性及易维护性,提出一种基于规则引擎的独占资源通讯卫星应急任务调度方法,运用规则引擎技术实现调度规则与业务逻辑代码的解耦。通过研究独占资源通讯卫星应急任务调度策略,设计应急任务调度规则,结合Drools规则语法建立调度规则库。在Rete算法节点共享机制研究的基础上,设计基于权重的节点连接方法,改进推理网的构建过程,优化推理网的结构。实验结果表明,基于改进后的规则引擎的调度系统拥有更好的运行效率。

Activiti引擎的无状态云工作流调度算法

业务流程请求的执行需要工作流引擎解析流程定义文档,构建内存流程模型,而当前无状态云工作流调度没有考虑流程模型在引擎内存上的分布,导致引擎重复解析流程文档,造成系统性能下降。鉴于此,以无状态工作流引擎Activiti为研究对象,根据Activiti引擎流程模型缓存机制,提出一种无状态云工作流流程实例任务请求的调度算法,使得同一流程定义下的请求尽量分配到少数引擎。仿真对比实验结果表明,该算法在实现了引擎实例负载均衡的前提下,通过提高引擎的缓存命中率,减少了数据库查询次数和流程定义文档解析次数,从而减少了请求响应时间,节约了云上资源。

基于语义搜索引擎的云资源调度

针对现有云资源调度存在的非自动调度、云资源的非优化使用等问题,提出了采用语义搜索引擎(semantic search engine,SSE)实现云资源调度的有效方法。SSE是由美国加州大学欧文分校与电子科技大学联合开发的,它利用云资源与云用户请求的语义信息构造相应本体,进行资源的较优匹配,自动、快速地为云用户需求建立一个优化的解决方案。首先,给出了基于SSE的云资源调度体系结构;其次,给出了SSE的体系结构、SQDL&SCDL匹配器的本体构造方法。仿真实验表明,基于SSE的云资源调度比传统的云资源调度的点对点通信性能提高了约15%,子任务执行时间减少了约18%,表明它是一种可行且高效的云资源调度方法。

基于规则引擎的生产调度系统设计

在制造企业,存在大量的业务规则,导致生产调度系统难以实施。业务规则的频繁变化使生产调度系统的维护变得力不从心。基于规则引擎知识,设计和描述一个生产调度系统,成功实现业务规则与主体程序的分离,提高了系统的灵活性和适应性。

元搜索引擎的个性化调度算法

元搜索引擎的调度算法是研究如何从庞杂的独立搜索引擎中选择出与查询字串相关度最高、与用户的查询需求最贴近的合适数量的独立搜索引擎。现在,在原有的元搜索引擎调度算法基础上,提出了一种个性化调度算法。该算法根据用户兴趣类对所有独立搜索引擎进行文档分类,然后根据用户查询串所属的兴趣分类,计算出查询串与该分类下文档的相关度这一调度算法的主要影响因素,再结合成员搜索引擎的平均响应时间性能评价,返回结果数量,以及以用户反馈为基础的用户兴趣度经验,计算出独立搜索引擎的排序,从而实现个性化的调度。