基于GeoTrellis的海量栅格数据计算分布式系统建设

为实现海量栅格数据的分布式处理,本文基于Hadoop和Spark分布式计算技术,结合开源框架GeoTrellis地理处理引擎,设计并实现了一个海量栅格数据的分布式计算系统。重点探讨了海量栅格数据分布式存储和计算架构,并基于GeoTrellis设计并实现了该分布式计算系统。最后,以10 m分辨率的全球地表覆盖地图对系统计算性能进行测试,结果表明:基于GeoTrellis开发的分布式计算系统能够有效地提升海量栅格数据的处理能力。

基于乘客OD间路径旅行时间的城市轨道交通客流分布计算模型的适用性研究

[目的]针对目前城市轨道交通(以下简称“城轨”)线网客流分布计算模型的客流计算结果与实际客流存在偏差的现象,需基于OD间路径的实际旅行时间,对基于多路径概率分配的客流分布计算模型的适用性展开研究。[方法]基于乘客OD间路径的实际旅行时间,分析揭示了现有城轨客流分布计算模型存在的主要问题;融合AFC(自动售检票)系统和ATS(列车自动监控)系统两类数据,构建并标定了基于乘客OD间路径旅行时间的城轨客流分布计算模型;对目前国内城轨系统广泛采用的基于多路径概率分配的城轨客流分布计算模型的适用性进行了分析与评价。[结果及结论]现有城轨客流分布计算模型在路径选择集和路径选择比例上存在主要问题。通过基于多路径概率分配的城轨客流分布计算模型获取的路径分配比例,得到的旅行时间分布模拟结果均为单峰,无法重现从AFC票卡提取的实际旅行时间分布的多峰情况。当城轨线网较为简单时,基于多路径概率分配的城轨客流分布计算模型基本适用;当线网规模不断增加,线网结构进一步复杂,列车运行方式的多样性、乘客出行行为的差异性等不断加大的条件下,该模型对于路径阻抗差异小的OD可能适用,而对于路径阻抗差异大的OD不适用。

分布式量子计算研究进展

量子比特的高效拓展是量子计算获取量子加速优势需要解决的基本问题,分布式量子计算(DQC)因其高度可行性和灵活性,成为解决量子比特拓展问题的关键技术之一。根据芯片间通信方式的不同,分布式量子计算可以分为基于量子隐形传态和基于量子线路拆分的分布式量子计算两种类型,前者主要面向容错量子计算,而后者被认为可在中等规模含噪声量子(NISQ)时代有效提升量子计算机算力。从长远角度来看,作为量子网络的主要应用之一,分布式量子计算可以更好地整合接入量子网络的海量量子计算机以解决高难度问题。首先介绍了分布式量子计算的来源和类型,在此基础上,给出了两类分布式量子计算的基本原理和发展状况,以及关注度较高的应用算法和编译优化方法。

面向空间分布式计算的动态任务分解及长时保障机制

低轨卫星具有覆盖范围广、离地面近等优势,随着在轨处理能力的不断增强,未来将成为地面网络的重要补充。然而,随着用户对网络服务实时性的需求日益增长,如何在资源有限的条件下,基于低轨卫星为用户提供计算密集型服务,已成为一个急需解决的问题。尤其是在低轨卫星高速移动、星间链路动态切换的情况下,如何保证空间计算能力能持续稳定地驻留在用户区域并提供稳定可靠的服务,无疑是一项巨大的挑战。为了解决上述问题,提出一种动态任务分解聚合的分布式计算策略,通过卫星分布式计算解决单星算力不足的问题。在进行任务分解与调度时,充分考虑卫星网络的资源占用情况以及子任务之间的关联关系,对任务进行灵活的分解聚合。此外,为将低轨卫星算力驻留在用户区域,解决低轨卫星服务周期短的问题,研究并设计了一种长时保障机制。根据实时卫星网络拓扑及任务分解调度图,结合任务间的关联关系进行迁移决策,对卫星迁移过程进行模块化设计,根据实时网络状况调整迁移过程中的数据压缩率以及服务切换方式,降低迁移过程中服务的中断时间。仿真实验结果表明,提出的策略可保障长时分布式计算,能提供服务的平均时长延长了110%,用户满意度提高了约20%,迁移开销以及任务间的传输开销均降低了约15%。

面向广域分布式计算环境的任务与资源动态双向匹配方法

广域分布式计算环境可提供大规模的计算和存储资源,是支持算力互联和数据流转的重要基础设施。在广域分布式计算环境中,任务与资源的匹配对于提高系统性能具有重要意义。然而,任务与资源的多样性、地理位置分散的资源会增加二者匹配的复杂性。针对响应延迟高、匹配效率低等问题,提出了面向广域分布式计算环境的任务与资源动态匹配方法,通过建立统一的任务需求模型和资源能力模型来简化匹配过程,降低响应延迟。此外,定义了任务向匹配度和资源向匹配度以刻画任务视角和资源视角的偏好,并权衡二者;定义了任务和资源的双向综合匹配度以量化任务需求和资源能力的适配程度。最后通过动态计算每一组任务与资源间的双向综合匹配度以优化匹配效果。实验结果表明,与现有的方法相比,该方法可提升匹配效果,并大幅降低平均响应延迟。

面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

域控制器分布式并行计算模型研究

随着汽车域集中式架构诞生,搭载智能芯片的汽车域控制器成为新一代电子电气架构的主控单元。域集中式架构依靠车载以太网相连接,计算节点广泛分布在多个域控制器的智能芯片内,需要一套面向服务架构的分布式并行计算模型将计算节点性能充分释放出来。本文开发了一套面向服务架构的轻量级通信中间件,并基于该服务通信中间件实现了分布式并行计算模型,得出了分布式计算分割系数计算表达式,研究了计算节点负载阶跃波动时对分布式并行计算模型的影响。结果表明:域控制器面向服务架构的分布式计算模型具备负载自平衡能力,能够对智能芯片运行时阶跃负载实现快速任务重分配,保证循环任务的计算开销耗时最小,计算周期最短。研究结果为汽车域控架构下分布式计算框架设计与开发提供了重要参考依据。

智慧配电网辅助规划平台分布式计算数据通信实现方法

大数据的出现为智慧配电网的规划和管理注入了新的活力,对配电网中海量异构的信息进行充分整合、分析和挖掘,可解决智慧化配电网规划业务带来的各种问题和挑战;与此同时,这也需要强大的算力作支撑。随着分布式技术和计算技术日益成为加速大数据分析最有效的解决方案,研究如何在集群环境中配置分布式计算的通信实现方法,使得各任务得以可靠、灵活、快速地执行是本文的研究内容。本文介绍了RabbitMQ通信技术,并基于RabbitMQ中间件开展了通信架构设计、通信模式选择和消息格式设计,然后阐述了系统的可伸缩性和健壮性的实现途径。通过对实际电网规划数据进行计算用时分析,验证了所提分布式快速计算架构和通信架构设计的可行性和实用性。

一种基于分布式计算的芯片仿真加速设计

随着芯片设计规模和复杂度越来越大,传统的芯片EDA(Electronic Design Automation)验证方法在子系统和SoC(System on Chip)全芯片级别越来越受限于仿真速度限制。如何高效收敛RTL(Register Transfer Level)设计,确保及时高质量交付,成为芯片研发领域急需解决的重要问题。介绍了一种自研的利用分布式计算方法来加速大型芯片仿真效率的DVA(Distributed Verification Acceleration)系统架构和实现。系统基于UVM(Universal Verification Methodology)验证方法学,采用底层原生的Linux socket组件进行通信,设计了一套包括控制面、数据流和会话的三平面通信同步机制,充分利用分布式验证平台可以并行计算的特点来加速芯片整体仿真速度。系统在超大规模通信SoC部署并且取得显著效果,相比于传统分立验证平台,DVA系统仿真速度可以达到5~10倍的加速比。系统还可以应用于多个芯片套片组网、多Chiplet(芯粒)互联等SIP(System in Package)验证场景,以及EMU(EMUlator,硬件加速仿真)和EDA联合等多种混合仿真场景。

分布式计算中基于机器学习聚类的人力资源管理推荐

由于受到特征维度及数据规模的影响,人力资源精准推荐难度提升。为了提高人力资源管理平台的自适应推荐精准度,采用机器学习聚类推荐策略,将AP聚类算法应用于大规模人力资源推荐,并借助于Storm计算框架提高推荐效率。首先,根据人力资源平台的用户行为记录进行特征提取并初始化,并借助PCA算法进行特征提取,构建求职者和岗位的评分函数。然后,采用AP聚类算法对求职者—岗位特征进行聚类分析,根据聚类结果获得候选岗位推荐序列。AP聚类的所有过程均在Storm分布式节点中完成。通过对4家大型网络招聘平台的仿真分析,分别从不同推荐序列、不同聚类数目及不同特征数的角度下展开人力资源推荐性能分析。结果表明,AP聚类在4家平台的人力资源推荐中获得较高的Recall和F1性能,而分布式计算则有效提升了推荐加速比。

基于分布式计算的轨道车辆制动系统异常检测

轨道车辆制动输出数据量较大,难以实现统一分析与计算,导致制动系统异常检测的检出率降低,误报率升高。为了解决该问题,提出基于分布式计算的轨道车辆制动系统异常检测方法。通过数据采集系统、处理中心系统搭建轨道车辆制动系统异常检测架构。将数据采集器布置在指令通信器和动力制动器中,采集对应的车辆制动输出数据,处理中心系统对采集到的数据进行初步处理,通过数据预处理、数据聚类、基于分布式计算的异常检测完成轨道车辆制动系统异常检测。实验结果表明,基于分布式计算的轨道车辆制动系统异常检测方法的检出率达到99%,误报率低于0.56%,实际应用效果好。

基于LT码的分布式矩阵计算研究

在如今大数据和机器学习应用范围不断扩大的背景下,分布式计算系统成为处理庞大数据的必要工具。对于具有一定规模的计算集群,其性能会不可避免地受到系统噪声的影响,应考虑在分布式计算系统中借助编码技术来增强系统的鲁棒性。现有应用于分布式矩阵计算的编码方案多为固定速率编码,无法适应节点数量动态变化的实际情况。同时,由于部分任务有截止期限制,应在保证任务顺利完成的前提下尽可能地减少平均开销从而降低时延。针对上述问题,提出将LT码应用于雾计算场景下的分布式矩阵计算,设计Remo2算法。依托LT码的无速率特性自适应信道状态变化,通过合适的度分布函数设计以及双向切割、因子化度数的方法达到降低时延、增强分布式计算系统鲁棒性的预期效果。令k_(1)为A矩阵被切分后的子矩阵行值,k_(2)为B矩阵被切分后的子矩阵列值,实验结果表明,在k_(1)值固定的前置条件下,与FLT码及BDC-LT算法相比,Remo2算法的平均开销相对于前者稳定降低了33.3%,相对于后者减少了7.7%的冗余。此外,当k_(1)k_(2)大小的码长固定时,k_(1)、k_(2)的离散化程度越低,即limk_(1)-k_(2)→0,会带来更小的平均开销。

分布式存储与计算方法在水利地理空间大数据中的应用

为高效存储管理水利地理空间大数据,本文提出一种基于Hadoop和Spark的分布式存储与计算架构,同时合理运用Spark的内存与缓存机制,设计实现了针对空间大数据的分布式存储与计算方法。利用某水电站库区DEM数据进行库容计算分析,验证了本文所提出的分布式存储和计算方法具有更高的计算效率,,并具有良好的可扩展性。

基于分布式计算总线的计费系统实践

计费系统是通信运营商业务支撑系统中的核心系统之一。针对旧计费系统存在性能瓶颈、不支持容器化和微服务化扩展等问题,本文提出了基于分布式计算总线的解决方案,对系统架构、MDB、文件负载均衡等进行了升级,同时也进行了国产化操作系统的适配改造,接入统一PaaS平台,进一步增强国产化自主可控能力。实施后,相关应用数据表明新计费系统更加易用、高效和安全,系统水平扩展能力得到提升,满足了海量数据高并发访问的需求,可较好地灵活支撑业务发展和业务运维。

大规模网络中k点连通分量的分布式计算

近年来,k点连通分量(k-VCC)由于其结构内聚性而成为图分析中的一个关键点。k-VCC是指在删除k-1个顶点后剩余的图仍然连通的子图。现有算法对k-VCC问题的研究主要集中在单机环境下,为此,本文设计了一个分布式计算框架,挖掘给定图中的所有k-VCC,将挖掘大图的问题划分为多个更小的子图以并发执行挖掘任务。通过实验证明了所提出的分布式方法的有效性和高效性。

基于分布式计算技术理念的初中化学课堂教学案例分析

将分布式计算技术理念应用于初中化学课堂教学中,能提升学生的主体性,让学生形成学习共同体。这一新型教学模式能突破时间和空间的限制,促进学生之间的互动,培养学生的创新思维和协作能力。主要阐述了分布式计算技术理念的内容,分析了基于分布式计算技术理念的初中化学课堂教学的实施要点,并探讨了相应的教学案例。

基于云平台和分布式计算的大规模图像检索

为了获得理想的大规模图像检索结果,设计基于云平台和分布式计算的大规模图像检索方法。采用云平台和分布式计算技术构建图像检索环境,使用SIFT算法提取图像检索特征,通过k-means聚类进行特征向量降维,根据视觉词典与图形向量的对应关系构建倒排索引结构,初步实现图像的大规模检索,利用多特征融合方法进一步提升图像检索的准确性。测试结果表明,该检索方法具有较好的扩展率与加速比,图像检索准确性高,图像检索效率高。

分布式计算机系统在大数据分析中的应用研究

本文深入研究了分布式计算机系统在大数据分析中的关键作用和应用。首先,概述了分布式计算机系统的基本原理与技术,包括其并行处理、数据分散存储以及容错机制等核心特点。其次,详细探讨了分布式计算机系统在大数据分析中的具体应用,包括分布式存储、分布式计算框架、分布式数据库以及实时数据流处理等方面。分布式存储解决了海量数据的存储问题,提高了数据的可靠性和扩展性;分布式计算框架如MapReduce则大幅提升了大数据处理的效率;分布式数据库如Cassandra和HBase为大规模数据的存储和查询提供了有力支持;实时数据流处理如Apache Storm和Apache Flink满足了实时性分析的需求。这些应用共同推动了大数据分析技术的发展,为各行各业的数据应用提供了强大的技术支撑。

CCF分布式计算与系统专委会首届算力战略研讨会暨产学研政系列活动在贵州遵义举办

2024年4月13日-14日,中国计算机学会(CCF)分布式计算与系统专委算力战略研讨会(CCF DCSS 2024)在贵州省遵义市成功举办。本次大会由中国计算机学会主办,分布式计算与系统专委、遵义师范学院联合承办。大会以“算力分布互联,数据智赋产业”为主题,聚焦算力设施建设在新时代的发展机遇与挑战,包含4场特邀报告、5场青年报告及1场产学研政交流活动。120余位专家学者与企业代表参会,聚焦新时代的算力战略统筹与算力设施建设,畅谈国际前沿学术观点、研讨西部工业城市数字化转型思路。

一种基于分布式计算的网络空间拓扑描绘方法

针对网络空间难以清晰地表示空间目标邻近关系的问题,提出了一种基于分布式计算的网络空间拓扑描绘方法。先根据网络空间的连通性,对网络空间拓扑节点实施相似度计算,以此消除节点冗余;然后通过计算结果采用分布式计算方法确定网络空间拓扑节点位置,实现网络空间拓扑节点定位;最后依据定位结果,利用维度扩展法对确定的网络空间拓扑目标节点描绘,完成网络空间拓扑结构描绘研究。实验结果表明,该方法网络空间节点定位精准度较高,描绘时耗时较短,验证了该方法具有较高的网络空间拓扑描绘可行性。