基于工作流的无服务边缘计算框架设计与实现

边缘计算具有高性能、体积小、计算力超强等优点。但云设计的边缘计算函数链存在调用时延较长的问题,导致大规模部署和存储能力以及云端和设备端协同困难、无缝对接效果较差。为解决上述问题,基于开源无服务平台OpenFaaS设计了一个无服务边缘计算框架(SECP),为边缘侧提供基于无状态函数的计算服务。对计算服务调用过程采用建模分析,采用了工作流模型对为云设计的无服务计算在边缘侧存在的函数链式调用时延放大的问题改进。性能测试结果表明,SECP在边缘计算场景下有良好的性能表现,降低了边缘计算平台中服务请求的响应时间,解决了无服务计算函数功能单一问题,提高了边缘侧资源的利用率,并改善了边缘侧计算服务部署、维护繁杂的问题。

面向工业互联网数据分析的机器学习工作流推荐方法

工业大数据具有多模态和强关联等特性,这给数据分析与应用带来了新的挑战。如何根据工业应用需求的特点实施有效的数据分析过程通常是一项非常复杂、耗时耗力的任务。针对该问题,提出一种面向工业互联网数据分析的机器学习工作流推荐方法。该方法以已有解决方案为起点,将其所使用的数据集和机器学习工作流作为推荐参考,基于Doc2vec模型与最大平均差异方法计算文本描述相似度与数据分布特征相似度,可根据当前数据分析任务需求,推荐合适的已有解决方案中的机器学习工作流。仿真实验说明了该方法的有效性。

时间约束下的云工作流动态混合资源调度

随着云计算的出现和云基础设施的快速部署,越来越多的大型工作流应用正在积极向云迁移.同时,如何在满足任务时间约束的前提下优化执行成本,提高资源利用率成为新的挑战.本文提出一种云工作流动态混合资源调度算法DHRS,不仅满足任务的时间约束而且在混合资源租用时取得较低的成本.首先,根据任务的优先级关系对任务进行预处理,基于概率升序对任务进行排序,并为子任务分配子截止日期;然后,依据顺序为工作流选择满足截止日期且成本较低的服务;最后,对每个服务动态选择预留资源和按需资源,基于预留资源的空闲时间段调度,进一步降低成本.在随机生成的不同的科学工作流上进行实验,并通过与现有算法对比,DHRS在满足时间约束并且降低执行成本方面具有一定的优势.

执行时间预测驱动的工作流作业调度

针对工作流作业调度问题,提出使用关键路径法进行工作流的执行时间预测和资源分配。工作流执行时间预测算法使用并行应用有向无环图描述工作流中子作业的执行顺序。基于此顺序,为子作业进行系统资源的逻辑分配。根据子作业的特征和资源分配信息,使用梯度提升决策树进行子作业执行时间预测,并计算工作流的关键路径。关键路径上所有子作业的完成时间之和即为工作流的执行时间。若预测的工作流执行时间满足用户要求,则根据子作业执行顺序和资源分配方案进行作业调度,执行工作流。对比实验表明,两个工作流的执行时间预测误差分别为5.72%和1.57%。与Spark默认调度算法相比,工作流调度算法将两个工作流的完成时间分别缩短了15.71%和15.44%。

基于工作流的高校科研管理系统设计与实现研究

高校在信息化过程中使用传统的Office办公软件来处理科研管理相关工作,已不能满足目前学校的需求及发展,各高校需改变科研管理工作方式及模式。文章以陕西能源职业技术学院为例,对科研管理工作现状进行了调查研究后,成功搭建了高校科研管理系统,为全校科研人员提供便利的同时,也更好地便利了高校科研管理工作。在已搭建的系统上进一步深入完善系统建设、贴合科研管理工作流程,在此基础上,对科研管理系统常规固定模块进行修改,使科研管理系统更为贴合高校实际,助推高校科研发展。

基于KNIME工作流机器学习预测室分天线外打故障

室内分布系统天线外打故障因难以快速准确定位,对用户体验和网络运维带来了严重挑战。基于KNIME工作流的机器学习算法预测模型,提出了一种新方法。这种方法能够及时发现并提前解决室内分布系统天线外打故障,实现了从“事后发现”到“事先预测”以及从“全面排查”到“精准定位”的转变,确保室外分布系统天线故障的全面精准定位。

云边协同环境下基于局部关键路径的工作流应用调度策略

针对不确定性云边协同环境下工作流应用调度问题,考虑服务器的负载压力、网络拥塞等计算环境因素造成计算性能和传输带宽的不稳定性,采用三角模糊数表示模糊云边协同环境中服务器的计算性能和传输带宽.对于泊松到达的多工作流应用,提出一种基于局部关键路径的多工作流应用调度策略,将局部关键路径作为调度单元进行统一调度,充分避免任务之间的数据传输,旨在满足多工作流应用截止日期约束的前提下,降低其模糊执行代价.仿真结果表明,与其他基准策略相比,在不同的截止时间约束下,该策略都能获得多工作流应用最优的可行调度方案,同时实现了模糊执行代价的有效优化.

基于高性能计算环境的科学应用平台工作流设计与实现

【目的】为了有效解决领域科学应用计算中的复杂多步计算及高通量计算流程繁琐、低效的问题,本文研究科学应用平台工作流的关键技术。【应用背景】本文将基于高性能计算环境的科学应用平台与工作流的理念相结合,同时适用于多领域、多体系的科学计算软件,为相关高性能计算应用的科学研究与工程研发提供有力支撑。【方法】针对不同领域应用需求,本文设计实现了多任务连用工作流和高通量应用计算工作流。多任务连用工作流不仅在服务端和客户端设计了一套通用自定义工作流的逻辑方案,让用户能够自主设计多任务连用,还在高性能计算环境中封装领域特色工作流,满足更特殊专有的需求;高通量应用计算工作流在任务间相互独立的情况下,采用多进程并发以及异步上传文件流的方法提高并发程度,在任务间相互关联的情况下,编写脚本生成批量文件后仅与高性能计算环境交互一次,在申请的计算资源下采用了两层主从模式的负载均衡方案实现子任务间的协同并发。【结果】相较于平台普通提交任务方式,多任务连用工作流可以使用户节省接近10倍的时间,高通量应用计算工作流可以在耗时、易用性和自动化程度等方面展现出显著优势。【结论】本文设计实现的科学应用平台工作流能够更加高效、自动化地解决众多复杂的应用需求,为广大科研人员带来更优质的高性能计算应用服务。

工作流驱动的城市人口与就业空间模拟

城市人口与就业分布的空间耦合与互动机制研究的瓶颈问题之一在于城市空间的多情景模拟。工作流技术能在异构环境中处理复杂事务,同时具有易分享、可执行、任务自动化等特征,是实现可重复、可拓展执行地理分析功能的有效途径。该文将工作流技术引入城市人口与就业分布多情景模拟,基于KNIME平台开发Garin-Lowry模型工作流系统,该系统包括数据查询与输入输出、模型计算和结果分析3个模块;根据Garin-Lowry模型的核心变量设置多种基础就业及交通网络情景,比较同心圆、矩形网格和蜂窝状3种理想城市形态下,不同基础就业中心格局下城市人口与就业的空间结构特征,同时模拟路网局部与整体提速的城市人口与就业分布变化。结果表明,城市形态对城市职住格局影响微弱,但就业中心格局和路网条件对城市人口与就业空间分布影响显著,就业中心越分散、距离摩擦系数越小,人口的空间扩散效应越显著,进一步证实了城市科学中提出的“甜甜圈效应”“丝带假说”,也为城市规划提供了政策模拟工具。

混合云环境面向安全科学工作流数据布局策略

为解决混合云环境下科学工作流数据布局问题,在考虑数据的安全需求的前提下,以优化跨数据中心传输时延为目标,提出了一种混合云环境下面向安全的科学工作流布局策略。分析数据集的安全需求以及数据中心所能提供的安全服务,提出安全等级分级规则;设计并提出基于遗传算法和模拟退火算法的自适应粒子群优化算法(adaptive particle swarm optimization algorithm based on SA and GA,SAGA-PSO),避免算法陷入局部极值,有效提高种群多样性;与其它经典布局算法对比,基于SAGA-PSO的数据布局策略在满足数据安全需求的同时能够大大降低传输时延。

基于合并分配的云工作流低能耗调度方法

现有云工作流调度方法往往少有在降低执行能耗和缩短完成时间之间取得有效平衡。为此,提出基于合并分配的工作流低能耗调度方法。在考虑工作流结构的基础上将若干相关任务合并为可统一分配至同一服务器的任务串,将各任务串优化调度至尽可能少的服务器,求取各服务器可用时间槽并基于DVFS技术对任务进行松弛。相关实例和仿真实验验证了该调度方法的可行性和有效性,针对经典科学工作流和随机生成工作流两类输入,对比数据表明该方法可以在缩短工作流完成时间的同时有效降低执行能耗。

基于科学工作流的通用卫星数据处理调度系统

天文卫星产生的海量观测数据下传至地面后,需要经过一系列的处理流程生成可供科学研究人员的数据产品。传统数据处理方式需要耗费大量的时间和人力成本,同时存在缺乏灵活性、任务管理困难及执行效率低下等缺陷。基于上述问题,为实现卫星数据产品生成的自动化和规范化,该文研究并设计了一种基于科学工作流的通用卫星数据处理调度系统。通过封装卫星数据处理算法,结合科学工作流、可视化编辑等相关技术,实现卫星数据处理的自动化和可配置,用户更新需求时无需修改代码,只需重新配置参数;利用可拔插组件设计机制实现系统的通用性,满足不断扩增的卫星的不同数据处理需求。根据已有卫星的数据处理需求进行应用测试,应用实例表明,该系统能够实现卫星数据的自动化处理,并且能够极大地提高处理流程的灵活性、可维护性和执行效率,有利于科学研究人员根据自己的需求获取卫星数据产品。

面向矢量地图数据的时空对象生成工作流技术

针对目前存在的由矢量地图数据生成时空对象的方法通用性、灵活性、可复用性不足等问题,本研究提出一种面向矢量地图数据生成时空对象的工作流技术框架。首先,将由矢量地图数据生成时空对象的流程划分为文件解析层、时空对象构建层和数据持久层三个层次;在文件解析层进行矢量地图数据的多要素解析以获取原始属性信息,在时空对象构建层将各几何要素进一步封装为时空对象,在数据持久层将时空对象及其关联的映射集进行批量入库,各层之间基于工作流引擎变量进行功能连接和信息传递;其次,在Camunda工作流引擎外部任务模式下实现了上述框架,在三个层次设计了五个功能节点和六个引擎变量,可分别针对不同任务需求进行功能节点的模块化拼接;最后,以重庆市大德镇6852份农田矢量数据和某出租车3306条轨迹数据为例,分别测试了各节点的独立功能、多节点拼接和全功能的时空对象批量生成任务。结果表明,研究成果可以在进行少量人工干预的情况下,实现从矢量地图数据生成时空对象的各项自定义任务,提高了时空对象生成的灵活性和复用性。

考虑带宽和电力费用的数据中心工作流负载分配优化模型研究

针对数据中心处理工作流负载时产生的运行费用问题,首先,分析并建立了考虑带宽和电力费用的工作流负载分配模型优化数据中心运营商支付的经济成本。然后,针对优化模型的特点,设计了启发式算法求解最小运行费用和工作流子任务在各个数据中心的分配方案。最后,采用真实的工作流负载拓扑和参数设置进行算例分析,对比3种不同类型的工作流负载拓扑和常见的两种工作流负载分配方法,结果验证了综合考虑带宽流量费用和电力费用模型对降低数据中心总运行费用的作用。

基于LDA主题模型的GitHub Actions工作流项目推荐算法

在CI/CD实践中,自动化已成为软件开发实践中的一种规范。GitHub引入GitHub Actions为软件维护者提供自动化的持续集成工作流方案,尽管其为开发者提供了诸多便利,GitHub社区也提供了许多第三方的GitHub Actions服务,但仍然只有极少的项目在使用。为了满足开发人员对工作流自动化的需求,减少非开发任务工作量,提出一种基于隐含狄利克雷分布(LDA)主题模型和Jensen-Shannon距离的GitHub Actions工作流项目推荐算法。通过对GitHub Actions存储库的README文件进行主题建模,将GitHub的事件描述文本和用户输入作为模型输入,为正在开发的代码仓库推荐GitHub Actions服务。将该推荐模型与标准的基于余弦相似度的方法进行比较的实验结果表明,该方法能有效改善开源软件仓库的推荐精度。

基于遗传算法的建筑布局中工作流的构建与优化研究——以沈阳市沈河区硫酸厂旧址更新设计为例

遗传算法是一种模拟自然进化的计算模型,在数学和计算机科学等多个领域有着广泛的应用,在建筑设计中同样具有重要的应用价值。文章提出了一种基于遗传算法的逆向优化方法,并构建了设计工作流,为前期批量生成合理的建筑布局方案提供了一套解决方法。此工作流通过参数化形态建模和遗传算法对建筑性能进行优化分析,并以增加建筑冬至日采光时间作为优化目的,在冬至日平均采光时间由最小的0.59 h提高到1.12 h,结果表明该工作流可用于批量生成优化布局方案,为建筑布局优化提供了一种有效的解决思路。

通信计算联合优化的图分割工作流部署方法

为提高计算效率,将复杂的大规模任务分解为简单任务并建模为工作流,交由并行分布式计算集群来完成,已成为云中心处理持续增长的计算和网络任务的重要手段。然而,分布式计算的任务间数据传输所带来的通信带宽占用却容易造成云中心的网络拥塞。如何兼顾计算效率和通信开销,科学地部署工作流意义重大。两类典型的工作流部署算法为基于列表的部署算法和基于分簇的部署算法。然而,前者致力于提高计算效率,未关注工作流中任务之间的通信开销,大规模工作流的部署易带来较重的网络负荷;后者关注通信开销的最小化,但牺牲了工作流中任务的并行计算效率,导致工作流完成时间较长。文中从图论的角度出发,充分挖掘工作流中各任务之间的依赖性和并行性,通过对经典图分割算法进行改进,实现了工作流任务分区过程中通信开销最小化和计算并行性最大化之间的平衡。仿真结果表明,在不同的工作流规模下,所提算法的通信开销比列表部署算法平均减少约35%~50%,工作流完成时间比分簇部署算法平均降低约50%~65%,且对于具有不同通信计算比的工作流均具有良好的稳定性。

多维QoS约束的云计算工作流调度算法

为有效解决云计算异构系统中工作流调度问题,提出一种多维QoS约束下的改进遗传算法(QoS-IGA)。建立工作流任务调度模型、多维QoS约束模型和考虑任务完成时间、完成费用及虚拟资源可靠性和负载均衡度的多目标优化函数;提出种群初始化原则,以及不破坏任务间依赖关系的交叉与变异算子,引入模拟退火算法的Metropolis准则避免遗传算法的早熟收敛问题。实验结果表明,QoS-IGA算法有效可行,其收敛速度快,调度效率高。

改进哈里斯鹰算法求解云计算工作流任务调度

为解决哈里斯鹰优化算法在处理异构云计算系统中的工作流任务调度时,寻优精度低,迭代速度慢和易陷入局部最优等缺点,提出一种改进哈里斯鹰优化算法(improved Harris hawks optimization,IHHO)。以任务完成时间、完成成本及虚拟机负载均衡度构建多目标函数;通过引入动态反向学习、精英等级、非线性逃逸能量更新策略和黄金正弦算法改进哈里斯鹰优化算法;在CloudSim上,使用IHHO、HHO、IPSO和OAWOA算法进行性能测试对比。仿真结果表明,IHHO在求解大规模任务调度时,具有一定的有效性和优越性。

基于自定义工作流技术的项目管理系统设计

针对传统工作流对流程的定义过于严格,且无法解决企业项目管理中业务流程变更繁多、多层级任务分配等问题,采用了一种三层结构的流程步骤设计方案,该方案保证了流程层级清晰且易灵活配置。同时结合项目管理的前导图法(PDM),提出了一种改进的控制模式。经验证,系统在24小时内完成审批总数量为1157条,在0~4小时内完成485条,0~4小时内处理审批数量占比高达42%。该方案与线下审批处理相比,明显节约了审批时间,为采用自定义工作流技术进行项目管理系统设计提供了新思路。