基于Hadoop分布式计算的混合神经网络负荷分类模型

为了对电力物联网背景下的海量负荷数据进行精细化分析,从中提取用电模式,提出一种基于Hadoop分布式并行计算的混合神经网络分类模型。首先,基于时间维度的一维卷积神经网络(one-dimensional convolutional neural network,1DCNN)搭建“负荷特征提取器”;其次,使用长短期记忆网络(long-short-term memory network,LSTM)搭建“序列分类器”;最后,将该“混合神经网络分类方法”在Hadoop平台上搭建,实现算法的并行化运行,以适用于海量负荷曲线的高效辨识。使用标准时序数据与真实负荷数据测试该方法的分类性能,算例结果表明:所提分类方法具有较高的分类精度,经并行化处理后有效提高了负荷数据的处理效率。

基于Hadoop分布式计算的智慧农村信息化平台建设研究

要想实现农业现代化建设,必须要以智慧农村信息化建设为方向,通过先进的科学技术手段,实现农业产业化结构调整。我国是农业大国,智慧农村信息化建设是我国的战略性发展方向。Hadoop分布式计算应用于智慧农村信息化平台的建设,为农村信息化建设提供了重要的技术支持。本文对我国智慧农村信息化建设进行分析,对Hadoop分布式计算方式进行研究,提出基于Hadoop分布式计算的智慧农村信息化平台建设方案。

基于Hadoop分布式计算平台的磁流体动力学模型仿真研究

针对磁流体动力学(MHD)仿真需要高计算能力的问题,设计了一种基于Hadoop分布式计算平台的MHD仿真器。将Spark和Hama两种分布式并行计算模型整合到Hadoop生态系统中,分别用于支持内存计算和整体同步并行计算。将Hadoop集群构建成master-slave对等结构,解决全局同步和局部同步问题。最后,在Hadoop集群上,利用有限体积法和黎曼问题来求解MHD方程。实验结果表明,该仿真器能够精确模拟MHD,同时大大缩短了仿真计算时间。

基于Hadoop分布式计算的图像检索方法

针对传统单节点的基于内容的图像检索方法计算速度较慢,检索效率不高的问题,提出了一种基于Hadoop分布式计算的图像检索方法。首先提取出图像的颜色、纹理和形状特征用于表示图像,在检索阶段将检索任务分配到各个Map子节点,所有的Map结果根据相似度非减进行排序,并将前N个结果进行输出。实验结果表明,该方法有效地利用了云计算平台的并行处理能力,相比较单节点的图像检索方法,提高了CBIR方法的运行效率。

基于Hadoop分布式计算架构的海量数据分析

随着互联网的发展,分析处理海量数据成为各公司组织急待解决的问题。Hadoop分布式系统依靠廉价的PC集群提供可靠的并行计算服务,其子项目Pig立足Map-Reduce并行计算框架,提供类SQL功能的Pig Latin语言,成为实用、高效的海量数据处理平台。本文对Pig平台系统架构进行说明,介绍Pig平台引擎前端和引擎后端的功能,并结合实例阐述Pig平台处理Pig Latin脚本过程中产生逻辑计划、物理计划及Map-Reduce计划的具体流程。

面向空间分布式计算的动态任务分解及长时保障机制

低轨卫星具有覆盖范围广、离地面近等优势,随着在轨处理能力的不断增强,未来将成为地面网络的重要补充。然而,随着用户对网络服务实时性的需求日益增长,如何在资源有限的条件下,基于低轨卫星为用户提供计算密集型服务,已成为一个急需解决的问题。尤其是在低轨卫星高速移动、星间链路动态切换的情况下,如何保证空间计算能力能持续稳定地驻留在用户区域并提供稳定可靠的服务,无疑是一项巨大的挑战。为了解决上述问题,提出一种动态任务分解聚合的分布式计算策略,通过卫星分布式计算解决单星算力不足的问题。在进行任务分解与调度时,充分考虑卫星网络的资源占用情况以及子任务之间的关联关系,对任务进行灵活的分解聚合。此外,为将低轨卫星算力驻留在用户区域,解决低轨卫星服务周期短的问题,研究并设计了一种长时保障机制。根据实时卫星网络拓扑及任务分解调度图,结合任务间的关联关系进行迁移决策,对卫星迁移过程进行模块化设计,根据实时网络状况调整迁移过程中的数据压缩率以及服务切换方式,降低迁移过程中服务的中断时间。仿真实验结果表明,提出的策略可保障长时分布式计算,能提供服务的平均时长延长了110%,用户满意度提高了约20%,迁移开销以及任务间的传输开销均降低了约15%。

面向广域分布式计算环境的任务与资源动态双向匹配方法

广域分布式计算环境可提供大规模的计算和存储资源,是支持算力互联和数据流转的重要基础设施。在广域分布式计算环境中,任务与资源的匹配对于提高系统性能具有重要意义。然而,任务与资源的多样性、地理位置分散的资源会增加二者匹配的复杂性。针对响应延迟高、匹配效率低等问题,提出了面向广域分布式计算环境的任务与资源动态匹配方法,通过建立统一的任务需求模型和资源能力模型来简化匹配过程,降低响应延迟。此外,定义了任务向匹配度和资源向匹配度以刻画任务视角和资源视角的偏好,并权衡二者;定义了任务和资源的双向综合匹配度以量化任务需求和资源能力的适配程度。最后通过动态计算每一组任务与资源间的双向综合匹配度以优化匹配效果。实验结果表明,与现有的方法相比,该方法可提升匹配效果,并大幅降低平均响应延迟。

面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

基于云平台和分布式计算的大规模图像检索

为了获得理想的大规模图像检索结果,设计基于云平台和分布式计算的大规模图像检索方法。采用云平台和分布式计算技术构建图像检索环境,使用SIFT算法提取图像检索特征,通过k-means聚类进行特征向量降维,根据视觉词典与图形向量的对应关系构建倒排索引结构,初步实现图像的大规模检索,利用多特征融合方法进一步提升图像检索的准确性。测试结果表明,该检索方法具有较好的扩展率与加速比,图像检索准确性高,图像检索效率高。

智慧配电网辅助规划平台分布式计算数据通信实现方法

大数据的出现为智慧配电网的规划和管理注入了新的活力,对配电网中海量异构的信息进行充分整合、分析和挖掘,可解决智慧化配电网规划业务带来的各种问题和挑战;与此同时,这也需要强大的算力作支撑。随着分布式技术和计算技术日益成为加速大数据分析最有效的解决方案,研究如何在集群环境中配置分布式计算的通信实现方法,使得各任务得以可靠、灵活、快速地执行是本文的研究内容。本文介绍了RabbitMQ通信技术,并基于RabbitMQ中间件开展了通信架构设计、通信模式选择和消息格式设计,然后阐述了系统的可伸缩性和健壮性的实现途径。通过对实际电网规划数据进行计算用时分析,验证了所提分布式快速计算架构和通信架构设计的可行性和实用性。

一种基于分布式计算的芯片仿真加速设计

随着芯片设计规模和复杂度越来越大,传统的芯片EDA(Electronic Design Automation)验证方法在子系统和SoC(System on Chip)全芯片级别越来越受限于仿真速度限制。如何高效收敛RTL(Register Transfer Level)设计,确保及时高质量交付,成为芯片研发领域急需解决的重要问题。介绍了一种自研的利用分布式计算方法来加速大型芯片仿真效率的DVA(Distributed Verification Acceleration)系统架构和实现。系统基于UVM(Universal Verification Methodology)验证方法学,采用底层原生的Linux socket组件进行通信,设计了一套包括控制面、数据流和会话的三平面通信同步机制,充分利用分布式验证平台可以并行计算的特点来加速芯片整体仿真速度。系统在超大规模通信SoC部署并且取得显著效果,相比于传统分立验证平台,DVA系统仿真速度可以达到5~10倍的加速比。系统还可以应用于多个芯片套片组网、多Chiplet(芯粒)互联等SIP(System in Package)验证场景,以及EMU(EMUlator,硬件加速仿真)和EDA联合等多种混合仿真场景。

分布式计算中基于机器学习聚类的人力资源管理推荐

由于受到特征维度及数据规模的影响,人力资源精准推荐难度提升。为了提高人力资源管理平台的自适应推荐精准度,采用机器学习聚类推荐策略,将AP聚类算法应用于大规模人力资源推荐,并借助于Storm计算框架提高推荐效率。首先,根据人力资源平台的用户行为记录进行特征提取并初始化,并借助PCA算法进行特征提取,构建求职者和岗位的评分函数。然后,采用AP聚类算法对求职者—岗位特征进行聚类分析,根据聚类结果获得候选岗位推荐序列。AP聚类的所有过程均在Storm分布式节点中完成。通过对4家大型网络招聘平台的仿真分析,分别从不同推荐序列、不同聚类数目及不同特征数的角度下展开人力资源推荐性能分析。结果表明,AP聚类在4家平台的人力资源推荐中获得较高的Recall和F1性能,而分布式计算则有效提升了推荐加速比。

基于分布式计算的轨道车辆制动系统异常检测

轨道车辆制动输出数据量较大,难以实现统一分析与计算,导致制动系统异常检测的检出率降低,误报率升高。为了解决该问题,提出基于分布式计算的轨道车辆制动系统异常检测方法。通过数据采集系统、处理中心系统搭建轨道车辆制动系统异常检测架构。将数据采集器布置在指令通信器和动力制动器中,采集对应的车辆制动输出数据,处理中心系统对采集到的数据进行初步处理,通过数据预处理、数据聚类、基于分布式计算的异常检测完成轨道车辆制动系统异常检测。实验结果表明,基于分布式计算的轨道车辆制动系统异常检测方法的检出率达到99%,误报率低于0.56%,实际应用效果好。

大规模网络中k点连通分量的分布式计算

近年来,k点连通分量(k-VCC)由于其结构内聚性而成为图分析中的一个关键点。k-VCC是指在删除k-1个顶点后剩余的图仍然连通的子图。现有算法对k-VCC问题的研究主要集中在单机环境下,为此,本文设计了一个分布式计算框架,挖掘给定图中的所有k-VCC,将挖掘大图的问题划分为多个更小的子图以并发执行挖掘任务。通过实验证明了所提出的分布式方法的有效性和高效性。

基于分布式计算总线的计费系统实践

计费系统是通信运营商业务支撑系统中的核心系统之一。针对旧计费系统存在性能瓶颈、不支持容器化和微服务化扩展等问题,本文提出了基于分布式计算总线的解决方案,对系统架构、MDB、文件负载均衡等进行了升级,同时也进行了国产化操作系统的适配改造,接入统一PaaS平台,进一步增强国产化自主可控能力。实施后,相关应用数据表明新计费系统更加易用、高效和安全,系统水平扩展能力得到提升,满足了海量数据高并发访问的需求,可较好地灵活支撑业务发展和业务运维。

基于分布式计算技术理念的初中化学课堂教学案例分析

将分布式计算技术理念应用于初中化学课堂教学中,能提升学生的主体性,让学生形成学习共同体。这一新型教学模式能突破时间和空间的限制,促进学生之间的互动,培养学生的创新思维和协作能力。主要阐述了分布式计算技术理念的内容,分析了基于分布式计算技术理念的初中化学课堂教学的实施要点,并探讨了相应的教学案例。

CCF分布式计算与系统专委会首届算力战略研讨会暨产学研政系列活动在贵州遵义举办

2024年4月13日-14日,中国计算机学会(CCF)分布式计算与系统专委算力战略研讨会(CCF DCSS 2024)在贵州省遵义市成功举办。本次大会由中国计算机学会主办,分布式计算与系统专委、遵义师范学院联合承办。大会以“算力分布互联,数据智赋产业”为主题,聚焦算力设施建设在新时代的发展机遇与挑战,包含4场特邀报告、5场青年报告及1场产学研政交流活动。120余位专家学者与企业代表参会,聚焦新时代的算力战略统筹与算力设施建设,畅谈国际前沿学术观点、研讨西部工业城市数字化转型思路。

一种基于分布式计算的网络空间拓扑描绘方法

针对网络空间难以清晰地表示空间目标邻近关系的问题,提出了一种基于分布式计算的网络空间拓扑描绘方法。先根据网络空间的连通性,对网络空间拓扑节点实施相似度计算,以此消除节点冗余;然后通过计算结果采用分布式计算方法确定网络空间拓扑节点位置,实现网络空间拓扑节点定位;最后依据定位结果,利用维度扩展法对确定的网络空间拓扑目标节点描绘,完成网络空间拓扑结构描绘研究。实验结果表明,该方法网络空间节点定位精准度较高,描绘时耗时较短,验证了该方法具有较高的网络空间拓扑描绘可行性。

Oracle和MySQL数据库在大数据环境下的分布式计算与查询优化

随着大数据技术的快速发展,数据库系统面临着前所未有的挑战,尤其是在分布式计算和查询优化方面。本文旨在探讨Oracle和MySQL数据库在大数据环境下的分布式计算与查询优化策略。介绍了分布式计算的基本概念,分析了Oracle和MySQL在分布式计算中的架构,并对其性能进行了评估。探讨了分布式计算中的同步与一致性问题。详细讨论了查询优化的基本原理,对比分析了Oracle和MySQL的查询优化器,并提出了相应的优化策略。针对大数据环境下的查询优化挑战,提出了Oracle和MySQL的查询优化技术,并探讨了分布式查询优化的实现方法。最后,总结了研究成果,对Oracle和MySQL数据库的优化提出了建议,并对未来大数据环境下数据库技术的发展趋势进行了展望。本文的研究为数据库在大数据环境下的性能提升提供了理论支持和实践指导。

分布式存储与计算方法在水利地理空间大数据中的应用

为高效存储管理水利地理空间大数据,本文提出一种基于Hadoop和Spark的分布式存储与计算架构,同时合理运用Spark的内存与缓存机制,设计实现了针对空间大数据的分布式存储与计算方法。利用某水电站库区DEM数据进行库容计算分析,验证了本文所提出的分布式存储和计算方法具有更高的计算效率,,并具有良好的可扩展性。