在线教育系统中的分布式云计算技术应用及平台设计

为了提高在线教育系统的经济效益和教学效率,此次研究提出了一种基于分布式云计算技术的在线教育系统,并详细介绍了各模块的功能和实现方法。研究结果表明,基于分布式云计算技术的在线教育系统的响应时间和平均吞吐量分别为79.8ms和4.8Mb/s,显著优于传统在线教育系统,且用户对该在线教育系统各方面性能的评级均在良好以上。研究提出的在线教育系统可以有效地实现教育资源的优化配置和高效利用,具有广泛的应用前景和重要的研究价值。

分布式电源对配电网潮流计算的影响研究

配电中接入的分布式电源的增多,潮流计算时,传统的前推回代法无法满足精度要求。对系统研究发现,分布式电源的出力和接入位置对配电网的网损有不同的影响,阐述了分布式电源潮流计算模型,并引入了一种带有PV节点无功修正的分布式电源配电网潮流计算方法。通过对IEEE14节点系统进行仿真验证,证明了所提算法的有效性和收敛性。研究结果显示:新提出的方案和技术能够更加高效地解决带有分布式电源的配电网潮流问题。

基于GPU加速的分布式水文模型并行计算性能

针对具有物理机制的分布式水文模型对大流域、长序列模拟计算时间长、模拟速度慢的问题,引入基于GPU的并行计算技术,实现分布式水文模型WEP-L(water and energy transfer processes in large river basins)产流过程的并行化。选择鄱阳湖流域为实验区,采用计算能力为8.6的NVIDIA RTX A4000对算法性能进行测试。研究表明:提出的基于GPU的分布式水文模型并行算法具有良好的加速效果,当线程总数越接近划分的子流域个数(计算任务量)时,并行性能越好,在实验流域WEP-L模型子流域单元为8712个时,加速比最大达到2.5左右;随着计算任务量的增加,加速比逐渐增大,当实验流域WEP-L模型子流域单元增加到24897个时,加速比能达到3.5,表明GPU并行算法在大尺度流域分布式水文模型计算中具有良好的发展潜力。

分布式量子计算研究进展

量子比特的高效拓展是量子计算获取量子加速优势需要解决的基本问题,分布式量子计算(DQC)因其高度可行性和灵活性,成为解决量子比特拓展问题的关键技术之一。根据芯片间通信方式的不同,分布式量子计算可以分为基于量子隐形传态和基于量子线路拆分的分布式量子计算两种类型,前者主要面向容错量子计算,而后者被认为可在中等规模含噪声量子(NISQ)时代有效提升量子计算机算力。从长远角度来看,作为量子网络的主要应用之一,分布式量子计算可以更好地整合接入量子网络的海量量子计算机以解决高难度问题。首先介绍了分布式量子计算的来源和类型,在此基础上,给出了两类分布式量子计算的基本原理和发展状况,以及关注度较高的应用算法和编译优化方法。

Gloo+:利用在网计算技术加速分布式深度学习训练

在分布式深度学习训练中,聚合通信是主要的通信方式。在聚合通信优化的研究中,有软件层面的优化和硬件层面的优化。SHARP是Mellanox提出来的一种聚合通信网络卸载协议,是针对聚合通信在硬件上的优化,其将聚合操作卸载到网络中的交换机,进而缩短了聚合通信时间。在Gloo的基础上集成了SHARP技术,设计并实现了一个能够利用在网计算技术来加速分布式深度学习训练的聚合通信库——Gloo+。评估并比较了Gloo+、Gloo以及MPI中聚合操作的性能,并将Gloo+应用于分布式深度学习训练中,以此来检验其实战能力。对Gloo+的实验评估结果显示,在基准测试时,在消息大小较小的情况下,Gloo+相对于Gloo的加速比最高能达到100以上;相比于以太网模式下的MPI,其加速比最高也能达到50以上;相比于IB网模式下的MPI,其加速比在10以内。在分布式深度学习训练的实际应用中,Gloo+相比于Gloo加速比最高能达到1.1,相比于以太网模式下的MPI加速比最高有1.3,相比于IB网模式下的MPI加速比最高有0.5。

视觉机器人自动加球的分布式计算机控制系统

为克服传统球磨机自动加球系统磨球堵塞或卡住的问题,设计了视觉机器人自动加球系统,由磨球补充系统、磨球识别系统、磨球抓取系统、磨球输送系统等组成。为确保按现场工艺需求实现自动加球,基于以太网设计了可以进行数据传送的分布式计算机控制系统,由可编程序控制器和工控机组成。运行实践表明,分布式计算机控制系统的控制功能完全满足生产工艺对视觉机器人自动加球的要求,运行稳定可靠。

面向空间分布式计算的动态任务分解及长时保障机制

低轨卫星具有覆盖范围广、离地面近等优势,随着在轨处理能力的不断增强,未来将成为地面网络的重要补充。然而,随着用户对网络服务实时性的需求日益增长,如何在资源有限的条件下,基于低轨卫星为用户提供计算密集型服务,已成为一个急需解决的问题。尤其是在低轨卫星高速移动、星间链路动态切换的情况下,如何保证空间计算能力能持续稳定地驻留在用户区域并提供稳定可靠的服务,无疑是一项巨大的挑战。为了解决上述问题,提出一种动态任务分解聚合的分布式计算策略,通过卫星分布式计算解决单星算力不足的问题。在进行任务分解与调度时,充分考虑卫星网络的资源占用情况以及子任务之间的关联关系,对任务进行灵活的分解聚合。此外,为将低轨卫星算力驻留在用户区域,解决低轨卫星服务周期短的问题,研究并设计了一种长时保障机制。根据实时卫星网络拓扑及任务分解调度图,结合任务间的关联关系进行迁移决策,对卫星迁移过程进行模块化设计,根据实时网络状况调整迁移过程中的数据压缩率以及服务切换方式,降低迁移过程中服务的中断时间。仿真实验结果表明,提出的策略可保障长时分布式计算,能提供服务的平均时长延长了110%,用户满意度提高了约20%,迁移开销以及任务间的传输开销均降低了约15%。

面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

构网型分布式电源渗透率高的微电网潮流计算及优化控制

随着微电网(microgrid,MG)中构网型分布式电源(distributed generator,DG)渗透率的提高,传统的潮流计算和优化方法不再适用。基于下垂控制的数学模型,改进传统牛顿拉夫逊法;应用虚拟阻抗松弛DG的无功与电压约束,改进下垂控制;应用改进粒子群优化算法,得到使网损最小的MG优化潮流;通过仿真和实验,验证了该方法的有效性。该文有助于指导构网型DG渗透率高的末端电网或MG的规划与控制。

面向广域分布式计算环境的任务与资源动态双向匹配方法

广域分布式计算环境可提供大规模的计算和存储资源,是支持算力互联和数据流转的重要基础设施。在广域分布式计算环境中,任务与资源的匹配对于提高系统性能具有重要意义。然而,任务与资源的多样性、地理位置分散的资源会增加二者匹配的复杂性。针对响应延迟高、匹配效率低等问题,提出了面向广域分布式计算环境的任务与资源动态匹配方法,通过建立统一的任务需求模型和资源能力模型来简化匹配过程,降低响应延迟。此外,定义了任务向匹配度和资源向匹配度以刻画任务视角和资源视角的偏好,并权衡二者;定义了任务和资源的双向综合匹配度以量化任务需求和资源能力的适配程度。最后通过动态计算每一组任务与资源间的双向综合匹配度以优化匹配效果。实验结果表明,与现有的方法相比,该方法可提升匹配效果,并大幅降低平均响应延迟。

基于计算特征的分布式空三计算任务调度研究

该文从倾斜摄影测量的现状出发,整理主流空三算法的计算流程,通过分析其算法特性,结合计算过程中使用的硬件资源,为提升计算过程中的任务调度效率,设计基于计算特征的分布式空三计算任务调度规则。并针对设计的调度规则开展一系列对比实验。实验结果表明,在梯度分布的计算节点上,使用基于计算特征的分布式空三计算任务调度规则的调度方式与不使用调度规则的方式相比,由于高性能主机在任务派送的优先级较高,因而任务包的周转度更高,使用调度规则的分布式集群在计算时长的表现上更好,在空三计算效率的提升方向及提升手段上具有一定的参考意义。

基于分布式边缘计算的智能配电网规划策略研究

配电网规划、调度能有效提升能源的经济效益,但传统ADMM算法在求解规划问题时易陷入局部最优,造成目标收益差、系统成本高的不良后果。为解决上述问题,基于边缘节点并行更迭决策量的优化,提出一种EN-ADMM改进交替方向乘子法最优求解算法。首先需保证调度的稳定性与安全性,将柔性负荷、分布式源与电网总和作为配电网的稳定约束条件;然后构建配电网最低运行成本目标函数,并对目标函数进行优化,构建出32节点分布式电网模型;最后分别采用传统ADMM算法与EN-ADMM算法对配电网模型进行性能参数与经济参数的最优求解。实验结果显示出,较传统ADMM算法相比,EN-ADMM算法的计算耗时降低了41.9%,且目标成本降低了4.21%,即EN-ADMM算法通过边缘节点优化提升了收敛时效性与聚拢性,同时提高了配电网目标经济效益。综上,EN-ADMM算法在智能配电网规划中具有较为重要的仿真价值。

基于计算机技术的遥感大数据分布式管理与训练云平台设计

随着遥感技术的发展,遥感数据类型从数据量小、处理周期短的数据发展到大容量、处理周期长的数据,对大数据技术的依赖日益突出。近年来,基于云计算的分布式计算技术逐渐应用于大数据领域,将其与云存储、云服务器、云应用系统有机结合起来,实现了在资源池中动态分配和调度大数据计算任务。在遥感大数据的处理中,通过分布式计算技术,将计算任务分散到各个计算节点上,实现对遥感数据的分布式处理和管理。同时,通过训练云计算平台中的大数据应用框架以及机器学习算法等技术来提高训练效率。

分布式计算中基于机器学习聚类的人力资源管理推荐

由于受到特征维度及数据规模的影响,人力资源精准推荐难度提升。为了提高人力资源管理平台的自适应推荐精准度,采用机器学习聚类推荐策略,将AP聚类算法应用于大规模人力资源推荐,并借助于Storm计算框架提高推荐效率。首先,根据人力资源平台的用户行为记录进行特征提取并初始化,并借助PCA算法进行特征提取,构建求职者和岗位的评分函数。然后,采用AP聚类算法对求职者—岗位特征进行聚类分析,根据聚类结果获得候选岗位推荐序列。AP聚类的所有过程均在Storm分布式节点中完成。通过对4家大型网络招聘平台的仿真分析,分别从不同推荐序列、不同聚类数目及不同特征数的角度下展开人力资源推荐性能分析。结果表明,AP聚类在4家平台的人力资源推荐中获得较高的Recall和F1性能,而分布式计算则有效提升了推荐加速比。

一种基于分布式计算的网络空间拓扑描绘方法

针对网络空间难以清晰地表示空间目标邻近关系的问题,提出了一种基于分布式计算的网络空间拓扑描绘方法。先根据网络空间的连通性,对网络空间拓扑节点实施相似度计算,以此消除节点冗余;然后通过计算结果采用分布式计算方法确定网络空间拓扑节点位置,实现网络空间拓扑节点定位;最后依据定位结果,利用维度扩展法对确定的网络空间拓扑目标节点描绘,完成网络空间拓扑结构描绘研究。实验结果表明,该方法网络空间节点定位精准度较高,描绘时耗时较短,验证了该方法具有较高的网络空间拓扑描绘可行性。

基于边缘计算的分布式光伏双极故障的主动防护技术研究

光发电具有强随机性,强波动性,弱支撑性等显著特点。分布式光伏单元发电系统在运行中,因外部自然条件波动或内部故障等原因将造成正负极之间实时功率不平衡。为此,本文研究了一种基于边缘计算的分布式光伏双极故障的主动防护技术,将边缘计算应用到布式光伏发电管理中,对光伏发电完成实时、主动的监测,并通过边缘计算设备中的处理模块和运算模块,完成光伏发电信息的存储和处理;基于历史数据,识别出光伏系统中发生故障的可能性和位置,提前预测并预防双极故障的发生。基于此,为了为双极故障实现主动防护,本研究以故障检测和响应作为目标,构建双目标分布式光伏发电双极故障主动防护模型。为了验证分布式光伏双极故障的主动防护技术的有效性,以IEEE33节点分布式光伏发电场景作为实验场景。结果表明,本文方法能在双极故障发生时完成主动防护。

智慧配电网辅助规划平台分布式计算数据通信实现方法

大数据的出现为智慧配电网的规划和管理注入了新的活力,对配电网中海量异构的信息进行充分整合、分析和挖掘,可解决智慧化配电网规划业务带来的各种问题和挑战;与此同时,这也需要强大的算力作支撑。随着分布式技术和计算技术日益成为加速大数据分析最有效的解决方案,研究如何在集群环境中配置分布式计算的通信实现方法,使得各任务得以可靠、灵活、快速地执行是本文的研究内容。本文介绍了RabbitMQ通信技术,并基于RabbitMQ中间件开展了通信架构设计、通信模式选择和消息格式设计,然后阐述了系统的可伸缩性和健壮性的实现途径。通过对实际电网规划数据进行计算用时分析,验证了所提分布式快速计算架构和通信架构设计的可行性和实用性。

基于LT码的分布式矩阵计算研究

在如今大数据和机器学习应用范围不断扩大的背景下,分布式计算系统成为处理庞大数据的必要工具。对于具有一定规模的计算集群,其性能会不可避免地受到系统噪声的影响,应考虑在分布式计算系统中借助编码技术来增强系统的鲁棒性。现有应用于分布式矩阵计算的编码方案多为固定速率编码,无法适应节点数量动态变化的实际情况。同时,由于部分任务有截止期限制,应在保证任务顺利完成的前提下尽可能地减少平均开销从而降低时延。针对上述问题,提出将LT码应用于雾计算场景下的分布式矩阵计算,设计Remo2算法。依托LT码的无速率特性自适应信道状态变化,通过合适的度分布函数设计以及双向切割、因子化度数的方法达到降低时延、增强分布式计算系统鲁棒性的预期效果。令k_(1)为A矩阵被切分后的子矩阵行值,k_(2)为B矩阵被切分后的子矩阵列值,实验结果表明,在k_(1)值固定的前置条件下,与FLT码及BDC-LT算法相比,Remo2算法的平均开销相对于前者稳定降低了33.3%,相对于后者减少了7.7%的冗余。此外,当k_(1)k_(2)大小的码长固定时,k_(1)、k_(2)的离散化程度越低,即limk_(1)-k_(2)→0,会带来更小的平均开销。

域控制器分布式并行计算模型研究

随着汽车域集中式架构诞生,搭载智能芯片的汽车域控制器成为新一代电子电气架构的主控单元。域集中式架构依靠车载以太网相连接,计算节点广泛分布在多个域控制器的智能芯片内,需要一套面向服务架构的分布式并行计算模型将计算节点性能充分释放出来。本文开发了一套面向服务架构的轻量级通信中间件,并基于该服务通信中间件实现了分布式并行计算模型,得出了分布式计算分割系数计算表达式,研究了计算节点负载阶跃波动时对分布式并行计算模型的影响。结果表明:域控制器面向服务架构的分布式计算模型具备负载自平衡能力,能够对智能芯片运行时阶跃负载实现快速任务重分配,保证循环任务的计算开销耗时最小,计算周期最短。研究结果为汽车域控架构下分布式计算框架设计与开发提供了重要参考依据。

一种基于分布式计算的芯片仿真加速设计

随着芯片设计规模和复杂度越来越大,传统的芯片EDA(Electronic Design Automation)验证方法在子系统和SoC(System on Chip)全芯片级别越来越受限于仿真速度限制。如何高效收敛RTL(Register Transfer Level)设计,确保及时高质量交付,成为芯片研发领域急需解决的重要问题。介绍了一种自研的利用分布式计算方法来加速大型芯片仿真效率的DVA(Distributed Verification Acceleration)系统架构和实现。系统基于UVM(Universal Verification Methodology)验证方法学,采用底层原生的Linux socket组件进行通信,设计了一套包括控制面、数据流和会话的三平面通信同步机制,充分利用分布式验证平台可以并行计算的特点来加速芯片整体仿真速度。系统在超大规模通信SoC部署并且取得显著效果,相比于传统分立验证平台,DVA系统仿真速度可以达到5~10倍的加速比。系统还可以应用于多个芯片套片组网、多Chiplet(芯粒)互联等SIP(System in Package)验证场景,以及EMU(EMUlator,硬件加速仿真)和EDA联合等多种混合仿真场景。