面向空间分布式计算的动态任务分解及长时保障机制

低轨卫星具有覆盖范围广、离地面近等优势,随着在轨处理能力的不断增强,未来将成为地面网络的重要补充。然而,随着用户对网络服务实时性的需求日益增长,如何在资源有限的条件下,基于低轨卫星为用户提供计算密集型服务,已成为一个急需解决的问题。尤其是在低轨卫星高速移动、星间链路动态切换的情况下,如何保证空间计算能力能持续稳定地驻留在用户区域并提供稳定可靠的服务,无疑是一项巨大的挑战。为了解决上述问题,提出一种动态任务分解聚合的分布式计算策略,通过卫星分布式计算解决单星算力不足的问题。在进行任务分解与调度时,充分考虑卫星网络的资源占用情况以及子任务之间的关联关系,对任务进行灵活的分解聚合。此外,为将低轨卫星算力驻留在用户区域,解决低轨卫星服务周期短的问题,研究并设计了一种长时保障机制。根据实时卫星网络拓扑及任务分解调度图,结合任务间的关联关系进行迁移决策,对卫星迁移过程进行模块化设计,根据实时网络状况调整迁移过程中的数据压缩率以及服务切换方式,降低迁移过程中服务的中断时间。仿真实验结果表明,提出的策略可保障长时分布式计算,能提供服务的平均时长延长了110%,用户满意度提高了约20%,迁移开销以及任务间的传输开销均降低了约15%。

面向广域分布式计算环境的任务与资源动态双向匹配方法

广域分布式计算环境可提供大规模的计算和存储资源,是支持算力互联和数据流转的重要基础设施。在广域分布式计算环境中,任务与资源的匹配对于提高系统性能具有重要意义。然而,任务与资源的多样性、地理位置分散的资源会增加二者匹配的复杂性。针对响应延迟高、匹配效率低等问题,提出了面向广域分布式计算环境的任务与资源动态匹配方法,通过建立统一的任务需求模型和资源能力模型来简化匹配过程,降低响应延迟。此外,定义了任务向匹配度和资源向匹配度以刻画任务视角和资源视角的偏好,并权衡二者;定义了任务和资源的双向综合匹配度以量化任务需求和资源能力的适配程度。最后通过动态计算每一组任务与资源间的双向综合匹配度以优化匹配效果。实验结果表明,与现有的方法相比,该方法可提升匹配效果,并大幅降低平均响应延迟。

面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

一种基于分布式计算的芯片仿真加速设计

随着芯片设计规模和复杂度越来越大,传统的芯片EDA(Electronic Design Automation)验证方法在子系统和SoC(System on Chip)全芯片级别越来越受限于仿真速度限制。如何高效收敛RTL(Register Transfer Level)设计,确保及时高质量交付,成为芯片研发领域急需解决的重要问题。介绍了一种自研的利用分布式计算方法来加速大型芯片仿真效率的DVA(Distributed Verification Acceleration)系统架构和实现。系统基于UVM(Universal Verification Methodology)验证方法学,采用底层原生的Linux socket组件进行通信,设计了一套包括控制面、数据流和会话的三平面通信同步机制,充分利用分布式验证平台可以并行计算的特点来加速芯片整体仿真速度。系统在超大规模通信SoC部署并且取得显著效果,相比于传统分立验证平台,DVA系统仿真速度可以达到5~10倍的加速比。系统还可以应用于多个芯片套片组网、多Chiplet(芯粒)互联等SIP(System in Package)验证场景,以及EMU(EMUlator,硬件加速仿真)和EDA联合等多种混合仿真场景。

基于分布式计算的轨道车辆制动系统异常检测

轨道车辆制动输出数据量较大,难以实现统一分析与计算,导致制动系统异常检测的检出率降低,误报率升高。为了解决该问题,提出基于分布式计算的轨道车辆制动系统异常检测方法。通过数据采集系统、处理中心系统搭建轨道车辆制动系统异常检测架构。将数据采集器布置在指令通信器和动力制动器中,采集对应的车辆制动输出数据,处理中心系统对采集到的数据进行初步处理,通过数据预处理、数据聚类、基于分布式计算的异常检测完成轨道车辆制动系统异常检测。实验结果表明,基于分布式计算的轨道车辆制动系统异常检测方法的检出率达到99%,误报率低于0.56%,实际应用效果好。

基于分布式计算总线的计费系统实践

计费系统是通信运营商业务支撑系统中的核心系统之一。针对旧计费系统存在性能瓶颈、不支持容器化和微服务化扩展等问题,本文提出了基于分布式计算总线的解决方案,对系统架构、MDB、文件负载均衡等进行了升级,同时也进行了国产化操作系统的适配改造,接入统一PaaS平台,进一步增强国产化自主可控能力。实施后,相关应用数据表明新计费系统更加易用、高效和安全,系统水平扩展能力得到提升,满足了海量数据高并发访问的需求,可较好地灵活支撑业务发展和业务运维。

基于分布式计算技术理念的初中化学课堂教学案例分析

将分布式计算技术理念应用于初中化学课堂教学中,能提升学生的主体性,让学生形成学习共同体。这一新型教学模式能突破时间和空间的限制,促进学生之间的互动,培养学生的创新思维和协作能力。主要阐述了分布式计算技术理念的内容,分析了基于分布式计算技术理念的初中化学课堂教学的实施要点,并探讨了相应的教学案例。

CCF分布式计算与系统专委会首届算力战略研讨会暨产学研政系列活动在贵州遵义举办

2024年4月13日-14日,中国计算机学会(CCF)分布式计算与系统专委算力战略研讨会(CCF DCSS 2024)在贵州省遵义市成功举办。本次大会由中国计算机学会主办,分布式计算与系统专委、遵义师范学院联合承办。大会以“算力分布互联,数据智赋产业”为主题,聚焦算力设施建设在新时代的发展机遇与挑战,包含4场特邀报告、5场青年报告及1场产学研政交流活动。120余位专家学者与企业代表参会,聚焦新时代的算力战略统筹与算力设施建设,畅谈国际前沿学术观点、研讨西部工业城市数字化转型思路。

智慧配电网辅助规划平台分布式计算数据通信实现方法

大数据的出现为智慧配电网的规划和管理注入了新的活力,对配电网中海量异构的信息进行充分整合、分析和挖掘,可解决智慧化配电网规划业务带来的各种问题和挑战;与此同时,这也需要强大的算力作支撑。随着分布式技术和计算技术日益成为加速大数据分析最有效的解决方案,研究如何在集群环境中配置分布式计算的通信实现方法,使得各任务得以可靠、灵活、快速地执行是本文的研究内容。本文介绍了RabbitMQ通信技术,并基于RabbitMQ中间件开展了通信架构设计、通信模式选择和消息格式设计,然后阐述了系统的可伸缩性和健壮性的实现途径。通过对实际电网规划数据进行计算用时分析,验证了所提分布式快速计算架构和通信架构设计的可行性和实用性。

一种基于分布式计算的网络空间拓扑描绘方法

针对网络空间难以清晰地表示空间目标邻近关系的问题,提出了一种基于分布式计算的网络空间拓扑描绘方法。先根据网络空间的连通性,对网络空间拓扑节点实施相似度计算,以此消除节点冗余;然后通过计算结果采用分布式计算方法确定网络空间拓扑节点位置,实现网络空间拓扑节点定位;最后依据定位结果,利用维度扩展法对确定的网络空间拓扑目标节点描绘,完成网络空间拓扑结构描绘研究。实验结果表明,该方法网络空间节点定位精准度较高,描绘时耗时较短,验证了该方法具有较高的网络空间拓扑描绘可行性。

域控制器分布式并行计算模型研究

随着汽车域集中式架构诞生,搭载智能芯片的汽车域控制器成为新一代电子电气架构的主控单元。域集中式架构依靠车载以太网相连接,计算节点广泛分布在多个域控制器的智能芯片内,需要一套面向服务架构的分布式并行计算模型将计算节点性能充分释放出来。本文开发了一套面向服务架构的轻量级通信中间件,并基于该服务通信中间件实现了分布式并行计算模型,得出了分布式计算分割系数计算表达式,研究了计算节点负载阶跃波动时对分布式并行计算模型的影响。结果表明:域控制器面向服务架构的分布式计算模型具备负载自平衡能力,能够对智能芯片运行时阶跃负载实现快速任务重分配,保证循环任务的计算开销耗时最小,计算周期最短。研究结果为汽车域控架构下分布式计算框架设计与开发提供了重要参考依据。

分布式存储与计算方法在水利地理空间大数据中的应用

为高效存储管理水利地理空间大数据,本文提出一种基于Hadoop和Spark的分布式存储与计算架构,同时合理运用Spark的内存与缓存机制,设计实现了针对空间大数据的分布式存储与计算方法。利用某水电站库区DEM数据进行库容计算分析,验证了本文所提出的分布式存储和计算方法具有更高的计算效率,,并具有良好的可扩展性。

基于动态分区的网格水文模型分布式计算

考虑到传统的水文模型串行计算方法无法满足当前复杂的水文模拟预报需求,为提高网格水文模型的计算效率,分析网格化水文模型计算中网格汇流特点,提出基于网格汇流流向的动态数据分区方法,不同分区数据可以并行计算,基于该方法提出基于Spark的网格水文模型分布式计算模型。通过在屯溪流域使用该模型与传统模型进行水文预报计算,验证了模型的高效性。

基于分布式计算框架Spark的语义相关度计算方法

该文利用了分布式方法构建分布式语义相关度计算框架,提出了分布式语义分析的新方法,构建巨大的语义空间。该方法通过构建一系列的概念向量以及与其相关的维基百科中的词构成概念向量的维数,从而构建概念-词语矩阵。然后,通过提取概念-词语矩阵的两个词语向量,根据它们的余弦测度计算两个词语的语义相关度。该方法建立在开源分布式计算框架Spark上。对比已有的显式语义分析(Explicit Semantic Analysis Method)方法,该文提出的方法在构建概念-词语向量空间时,明显地减少了计算时间。同时,实验结果表明,数据量足够大时,本方法的Spearman相关系数达到0.797。

分布式嵌入式计算系统关键技术研究

随着物联网、人工智能、云计算等技术的快速发展,分布式嵌入式计算系统在各个领域的应用越来越广泛。分布式嵌入式计算系统是一种将计算任务分布在多个嵌入式设备上,通过网络进行通信和协作的计算系统,具有灵活性强、可靠性高、可扩展性好等优点,是当前计算机领域的研究热点。因此,本文围绕分布式嵌入式计算系统的关键技术进行研究,为该领域的发展提供理论支持。

基于Spark分布式框架的海量星表数据时序重构方法研究

时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join策略从理论和实验两个角度进行了研究并提出了免Join策略。最后通过基于Spark分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

考虑压缩机不同运行状态的IES气网潮流分布式计算方法

压缩机运行状态的改变会造成气网工况变化,进而对电-气-热综合能源系统的稳态潮流产生影响。为求解压缩机不同运行状态下的综合能源系统气网潮流,文中分别对综合能源系统各子网络和能量耦合环节建模。考虑压缩机5种工作模式和2种驱动方式,针对含有多台不同运行状态压缩机的天然气网络,基于牛顿-拉夫逊法,提出保留压缩机管道整体求解的气网潮流计算方法,并拓展一种分离压缩机管道等效求解方法,以分布式计算方法顺序求解综合能源系统潮流。通过2个算例,验证了所提保留压缩机管道整体求解方法的精确性和有效性,弥补了现有气网潮流计算模型无法处理复杂气网工况且收敛性、通用性差的缺点,揭示了压缩机运行状态的改变对综合能源系统潮流的影响。

战术级分布式计算框架

随着智能化装备的发展,战术场景中出现大量智能终端,使得战场数据采集和交换大大增加,如果将这些计算资源通过分布式计算框架整合起来,就能更好地发挥人工智能和大数据分析算法的作用,进一步增强终端的感知能力和自主决策能力。提出一种名为魔捷的轻量级分布式计算框架,包含执行器、本地调度器和全局调度器等模块,在调度效率、容灾能力和安全性能等方面做了针对性的设计,具有跨平台和多语言支持能力,程序实现上具有高内聚、低耦合和易扩展的特点,更加适用于无人化战术场景,能够灵活分配或汇聚战场末端的算力,从而提升智能化装备的战术性能。

分布式3D打印服务的实时多任务调度研究

针对分布式3D打印机(3DPs)在工业物联网(IIoT)中共享、协作、生产全球化的定制产品过程中,3D打印任务(3DPTs)在分布式3D打印机上分配工作量不平衡,以及提交的每个模型的定制属性和实时性等问题,文章提出了用于IIoT中个性化3D打印的实时绿色感知多任务调度架构,给出了一种稳健的在线分配算法,使得每个3D打印任务能够精确地满足用户定义属性,并且平衡了分布式3D打印机之间工作负荷,同时开发了一种基于优先级的自适应实时多任务调度(ARMPS)算法,实时调度每一个3D打印任务,满足3D打印任务的实时性以及动态性要求。在高负载下进行仿真实验,经性能评估测试,表明所提出的算法具有稳健性,调度架构具有鲁棒性和可扩展性。

CCF分布式计算与系统专委走进昆明学院

2023年12月4日,由中国计算机学会(CCF)分布式计算与系统专业委员会主办、昆明学院信息工程学院承办的“CCF-MM走进高校活动”之走进昆明学院活动成功举办。