基于云平台和分布式计算的大规模图像检索

为了获得理想的大规模图像检索结果,设计基于云平台和分布式计算的大规模图像检索方法。采用云平台和分布式计算技术构建图像检索环境,使用SIFT算法提取图像检索特征,通过k-means聚类进行特征向量降维,根据视觉词典与图形向量的对应关系构建倒排索引结构,初步实现图像的大规模检索,利用多特征融合方法进一步提升图像检索的准确性。测试结果表明,该检索方法具有较好的扩展率与加速比,图像检索准确性高,图像检索效率高。

面向结构化篇级科技文献数据治理的高性能分布式计算框架研究

[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。

基于分布式计算总线的计费系统实践

计费系统是通信运营商业务支撑系统中的核心系统之一。针对旧计费系统存在性能瓶颈、不支持容器化和微服务化扩展等问题,本文提出了基于分布式计算总线的解决方案,对系统架构、MDB、文件负载均衡等进行了升级,同时也进行了国产化操作系统的适配改造,接入统一PaaS平台,进一步增强国产化自主可控能力。实施后,相关应用数据表明新计费系统更加易用、高效和安全,系统水平扩展能力得到提升,满足了海量数据高并发访问的需求,可较好地灵活支撑业务发展和业务运维。

基于Spark分布式框架的海量星表数据时序重构方法研究

时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join策略从理论和实验两个角度进行了研究并提出了免Join策略。最后通过基于Spark分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

分布式存储与计算方法在水利地理空间大数据中的应用

为高效存储管理水利地理空间大数据,本文提出一种基于Hadoop和Spark的分布式存储与计算架构,同时合理运用Spark的内存与缓存机制,设计实现了针对空间大数据的分布式存储与计算方法。利用某水电站库区DEM数据进行库容计算分析,验证了本文所提出的分布式存储和计算方法具有更高的计算效率,,并具有良好的可扩展性。

Spark平台下基于互信息计算的高光谱图像波段选择方法

随着遥感成像技术的发展和普及,高光谱图像中大量的波段使得大多数应用研究遇到休斯现象。而且随着高光谱图像数据量的快速增长,现有的传统串行算法计算复杂度较高,难以处理高维海量高光谱图像数据。针对以上问题,提出Spark平台下基于互信息计算的波段选择算法。利用熵和互信息理论定义波段相关性和多重相关性;基于Spark RDD编程模型设计数据列变换,将数据集划分为列矩阵,以降低计算负载;在Spark平台下对算法并行化,提高算法执行效率。实验结果表明,提出的算法达到了94.5%±0.5的整体分类精度,且加速性能良好,改善了数据可扩展性。

基于分布式计算的网络管理平台的设计与实现

提出了一个基于分布式计算的网络管理系统模型,从理论和实践两方面,详细论述了系统的结构及实现机制,对系统的特点和性能进行了分析与研究,并将该系统应用到实际中,结果表明是有效而实用的。

CORBA:面向对象的分布式计算平台

介绍了公共对象请求代理体系结构（CORBA：CommonObjectRequestBrokerArchitecture）的概念和基本原理，包括CORBA体系结构、界面描述语言、支持远程对象调用的静态调用SII和动态调用DII，讨论对象请求代理（ORB）和对象适配器（ObjectAdapter）对服务对象的管理、ORBs间的互操作性问题，及Javabeans带来的影响．

阿里云实现Spark的分布式计算

随着计算机与互联网技术的不断发展,云计算已经成为一种随时随地根据需要而提供的公共服务。本文以国内流行的阿里云计算平台为例,讨论了如何在云服务器上实现基于内存的Spark分布式计算,其中包括Linux系统云服务器的使用,Spark集群的安装部署以及Spark数据处理。通过对三个ECS节点的部署,验证了Spark在阿里云上进行分布式计算的可行性。

新一代分布式计算平台Jini及其应用

随着网络技术的发展 ,分布式计算越来越显示出巨大的优势。只有具备跨平台、动态、健壮、安全、方便灵活等特性的分布式平台才是用户所急需的。文中讨论了一种全新的基于Java技术的分布式计算平台Jini,主要介绍了其与传统的分布式系统相比所具有的优势 ,以及其基本原理和关键概念 ,Jini系统的三个组成部分 :基础设施、编程模式和协议 ,和提供的服务和服务过程。最后讨论了Jini技术在数字家庭网络中的应用。

分布式计算平台中任务调度的模拟器研究

提出与描述一个分布式计算平台中任务调度的模拟器,该模拟器可以用来仿真与评测网络计算平台上的主-从模式的并行分布式应用.它采用任务跟踪的方式,周期性的收集任务相关的收据来实现.该模拟器支持多种运行场景、根据应用的需求来控制输入参数;能够完成不同任务调度策略分析与检查点文件共享策略分析.分析了两种类型的任务调度算法在模拟器上的仿真:FCFS(First Come First Served)策略和MinMax(unassigned min-max)策略.模拟与性能结果表明:该模拟器可以仿真因特网上的大规模分布式计算平台的调度策略与检查点策略对通信轮回时间的影响,是一种接近真实世界的仿真结果,方便了程序员的操作.

基于Docker容器与Spark技术的分布式判题系统

依托Docker容器虚拟化技术与Spark分布式并行计算框架,提出智能在线判题系统解决方案,设计并实现了判题服务Docker容器、Spark RDD判题数据批处理计算、Spark Streaming判题流数据实时计算、Spark ML分布式题目推荐等模块。经实验分析,系统具备较强的稳定性和实用性。

分布式计算平台上的Web应用系统体系结构

首先讨论了网络运算结构由早期的集中式结构发展到主从结构 ,最后过渡到分布式结构的演变过程 ,阐明了微软推出的分布式计算环境—— Active平台的结构和特点 ,最后研究了构筑在这种分布式计算平台上 ,由表示层、功能层、数据层构成的 Web应用系统的体系结构 ,并描述了相应的开发环境和开发技术。

基于Spark平台和多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测

分布式能源系统负荷预测是系统规划与经济运行的可靠前提和依据,在当前海量高维数据的背景下,有效的在线数据处理平台与精确的负荷预测方法是当前的研究重点。基于分布式能源系统负荷数据特点,在缺失数据处理、坏数据分类以及特征选择的基础上,建立了基于Spark平台与多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测方法。首先,利用Spark平台分割全部数据得到多个子数据模型,通过并行计算提高数据处理效率,采用特征提取方法得出模型需要的输入向量;其次,将得出的有效数据信息输入到多变量L_2-Boosting回归模型进行训练学习,得到训练后的多变量L_2-Boosting回归模型;最后,利用测试数据测试模型。算例结果验证了所提模型的有效性。

一种分布式环境下的新型高性能计算平台

分析了采用志愿机模式的网络计算平台的特点,针对其不足,提出了一种分布式环境下的新型高性能计算平台NH-PCP(A N ove lH igh Perform ance Com pu ting P latform in D istribu ted Env ironm en t).该平台具有可扩展性和容错能力,采用对象串行化技术能够使应用程序跨平台运行.NHPCP具有友好的用户界面,提供一套简单易用的AP I(A pp lication P rogramm ingIn terface)函数调用,任何大计算量的、可以分解成独立计算子任务的应用都可以方便地利用该平台运算.基于该平台具体实现了两个典型的并行应用实例,通过对实验结果的分析,总结了适合于本计算平台的并行应用的特点.

电力调度系统安全知识发现的分布式计算平台

为了更好地发现电力系统调度过程中的关键问题,提高电力调度系统的操作安全,文中建立了一个支持在线仿真的电力调度系统安全知识发现的分布式计算平台。该平台采用分布式计算算法和改进的大数据平台,通过对电力系统进行实时海量数据仿真,形成较为准确的电网调度规则库,为电网的安全调度提供可供参考的调度规则知识库。将该平台应用于实际电力系统的实验结果表明,分布式计算平台比集中式计算平台具有更高的仿真计算效率和更好的性能。

一种分布式计算平台的搭建方案与实践

介绍了一种分布式计算平台Hadoop的相关内容,以3台普通计算机作为宿主机,从平台架构、Linux版本选用和配置、分布式计算平台版本和配套软件的选用等方面探讨了完全分布式计算平台的搭建方案,并列出关键步骤,指出注意点,最后探讨常见故障的排除方法。实践证明,用上述方案搭建的平台运行稳定可靠,对分布式计算平台的搭建具有较强的指导意义和参考价值。

以分布式计算实现电信数据分析业务加速的研究

本文剖析了电信数据分析系统存在的问题,针对其性能瓶颈提出了基于Hadoop框架的分布式计算架构,实现电信数据分析的业务加速。接着对基于分布式计算框架的数据分析方案的功能模型和加速能力展开论述,并对分布式计算在电信数据分析业务加速方面的实际应用情况做了进一步的分析和比较,为业界对分布式计算在相关领域的应用提供了有益的借鉴。

分布式开放计算环境下通信平台的实现与应用

计算技术正进入以网络为中心的计算时期，为了满足分布式开放计算环境下的通信需求，文章基于ＴＣＰ／ＩＰ协议，利用ＵＮＩＸ操作系统的内部通信机制，设计和实现了一种通信平台，并给出了它在星图识别技术中的一种应用实例。

基于分布式平台的低压电网负荷监测模型研究

由于城市用电规模逐渐加大,要求有能适应现代城市需求的电网监测方法对电网进行全天候的安全监测。采用了电压结合频率的电路控制技术,以此为基础建立了低压逆变器模型,对电网模型的年负荷数值进行了预测。对比了改进前后2种控制策略下微电源电压稳定性,得到了基于改进后压力流量-电压频率(PQ-Vf)控制策略和采用电网逆变器建立的低压微电网模型。分析了负荷频率和电压幅值,得出该模型具有频率负荷震荡幅度小、电源电压稳定的特点。分布式平台建立的低压电网负荷监测模型适用性强。建立的低压电网监测系统为各类用电系统的安全管理提供了理论支撑,为电力企业的性能测试提供借鉴。