超大规模数据处理中并行计算技术的应用研究

随着人工智能和大数据时代的到来,超大规模数据处理成了一个重要的研究领域。该文主要探讨并行计算技术在超大规模数据处理中的应用,首先详细阐述并行计算和超大规模数据处理的基本理论与概念,特别是并行计算的编程模型与工具,最后通过分析并行计算在搜索引擎、气象预报和金融分析等中的实际案例,阐述并行计算技术在超大规模数据处理中的实际应用。

MapReduce模型在大规模数据并行挖掘中的应用

MapReduce并行编程模型通过定义良好的接口和运行支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度。系统阐述MapReduce的基本工作原理及其工作流程,以TeraSort算法为例,针对其存在的问题,提出动态数据分区和数据压缩等优化建议。研究成果表明,优化后的TeraSort算法能够显著缩短数据处理时间,优化系统的吞吐量,并改善资源分配的均衡性。

基于量子计算的输变电系统大规模数据处理与智能决策研究

随着电力系统发展,输变电系统的数据处理与决策日益复杂,传统方法难以满足需求。因此,本研究引入量子计算,利用其强大的并行计算能力和高效优化算法,应对大规模数据处理挑战。针对输变电特点,提出基于量子计算的智能决策方法。该方法能高效处理海量数据,准确识别系统故,并提供优化决策方案。此外,文章还探讨了量子计算在电力系统负荷预测、电网规划等领域的应潜力。实验结果表明,量子计算在处理输变电大规模数据时优势明显,能提高数据处理的准确性和效率,为电力系统的稳定运行和智能化管理提供支持,为输变电大规模数据处理与智能决策提供新的解决方案,奠定了量子计算在电力系统中的应用基础。

大规模云同步归集数据系统的异步并行优化

国民经济非垂直管理行业或领域建立大数据中心,需要配备能大规模云同步归集行业数据的软件系统,"行业数据云通用的同步枢纽与大数据联合体平台"(GSMS)就是为此而研制的。GSMS主要用于通过互联网大规模同步采集各地异构自治系统(或设备)的业务或事实数据并加以开发应用。在实际应用中,当众多GSMS客户线程各自并发地向GSMS数据中心同步数据时,所产生的大规模数据同步会话将汇聚在GSMS服务端,从而形成处理瓶颈。此外,同步会话全程串行的锁步机制也会制约大规模数据同步归集的性能。为此,提出并实现了一种异步并行化改进GSMS系统方案:将服务端高时耗计算环节从数据同步串行锁步过程中分离出来,为其引入基于多道消息队列中间件的异步并行处理机制,并提供相应的松弛同步事务保障措施。实践表明,正确地实现这种异步并行处理能有效提升服务端处理速度并满足同步系统的可靠性和一致性要求。

基于多维关联规则的大规模数据并行挖掘研究

为了解决因数据离散程度过大导致大规模数据并行挖掘质量变差的问题,提出基于多维关联规则的大规模数据并行挖掘方法。遵循多维关联思想建立关联树结构,根据RFM值计算公式完善多维运算法则,利用多维关联规则构建数据集合。求取近邻值指标、逆近邻值指标的数值,以此确定离散挖掘系数,结合该系数并行挖掘大规模数据。实验结果表明,在多维关联规则作用下,数据离散度取值小于35%,数据分布不再呈现稀疏状态,能有效提升大规模数据并行挖掘质量。

大规模三维地震数据Kirchhoff叠前深度偏移及其并行实现

本文提出了基于共炮检距数据体的适用于大规模三维地震数据体的Kirchhoff叠前深度偏移(PSDM)并行实现方案。其基本思路为:①利用任意介质中的动态规划法三维旅行时计算方法提供旅行时场;②按照炮检距组织数据;③根据机器物理内存大小分配成像深度段;④对共炮检距数据分深度段进行基于消息传递接口(MPI)的进程并行处理;⑤对单进程作业进一步利用OpenMp并行同时实现多个单道的成像处理。此方案可充分利用节点内存,减少数据输入/输出(I/O)量。该方案是将单个炮检距的某个深度段的成像空间和需要的所有炮的对应深度段的旅行时场调入内存中,每一深度层的成像均在内存中进行,而且Inline和Crossline方向的偏移孔径可以自适应地根据偏移速度和成像深度进行选择,并采用空变反假频技术,可较大地提高成像精度。成像结果按体偏移形式输出,同时也可以输出成像道集。该方案在内存利用、数据I/O量和计算效率上达到最佳平衡。并行方式充分采用MPI+OpenMp混合编程模式,可高效、高精度地处理大规模三维地震数据。理论和实际数据的偏移成像结果均证明了本文方案的正确性和高效性。

大规模数据密集型系统中的去重查询优化

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.

大规模结构网格数据的相关性统计建模轻量化方法

高置信度的数据可视分析对于大规模数值模拟至关重要,但是当前高性能计算机的存储瓶颈导致可视分析应用获取原始高分辨率网格数据越来越困难.基于统计建模的方法能够极大降低高分辨数据存储成本,但是重建数据的不确定性高.为此,提出了一种大规模结构网格数据的相关性统计建模轻量化方法,用于对并行数值模拟生成的大规模多块体数据进行高效分析与可视化.该方法的技术核心是通过数据块间的统计相关性,指导邻接数据块的统计建模,从而有效地保留数据统计特征,且不需要对不同并行计算节点中的数据块进行合并与重新分块.通过耦合数据块的数值分布信息、空间分布信息和相关性信息,该方法可以更精确地重建原始数据,降低可视化的不确定性.实验测试采用了最大10亿网格规模的5组科学数据,定量分析结果显示,在相同数据压缩比下,该方法相比现有方法可将数据重建精度最大提升近2个数量级.

大规模数据场的并行可视化

大规模数据场的并行可视化一直是科学计算可视化中极具挑战性的一个研究领域 .本文介绍了我们设计与实现的一个面向大规模工程计算的小型并行可视化系统 ,该系统采用了场特征分析技术来提高可视化的质量 .可支持计算和可视化在计算服务器上同时进行 ,并可将可视化结果——可视的图形元素简化后输出到用户端进行显示 .为用户提供了大量的并行可视化算法 ,其中一些是其它商品化软件所未包括的 。

大规模数据并行问题的可扩展性分析

大规模数据并行处理的性能受到处理机数量、I/O速度、通信速度等多方面因素的制约。增加处理机数量或提高处理机的计算速度 ,可以提高计算机的整体处理速度 ,但是通信和I/O会成为影响并行效率的主要因素。为了综合分析这些因素对计算性能的影响 ,用一种比较典型的大规模数据并行的计算模型 ,具体分析了处理机数量、处理机速度与处理机间的通信延迟、通信速率以及输入输出速度之间的关系。得到了大规模并行机的通信和I/O性能与处理机速度与数量之间存在的关系。指出 ,增加处理机数量、提高单节点处理速度的同时 ,必须按照一定的关系相应增加节点间的通信性能和I/O性能。单纯以增加处理机数量、提高单处理机速度提高计算机峰值速度的方法会降低系统的计算效率 ,不能达到计算速度与计算机处理能力同步增长的目的。

用并行计算从基因表达数据构建大规模基因调控网络

为解决大规模基因调控网络构建算法精度不高、计算时间过长的问题,提出一种从基因表达数据分析出发,并行计算和阈值限定相结合的新算法来构建大规模基因调控网络。该算法中基因间交互强度值采用条件互信息值度量,并行计算采用GPU与CPU相结合的CUDA与Open MP架构。综合数据集的运行结果证明该算法较新的构建算法(如贝叶斯模型算法和微分方程模型算法)相比,在构建大规模基因调控网络时有更高的运算精度和更短的运行时间。

探索一条适应我国农村实际发展的信息化的道路 大规模并行数据广播及其应用与中国教育电视台原副台长张天林的对话

Dialogue近年来,随着我国经济的发展,信息化取得了突飞猛进的发展,呈现出快速发展的态势。应当看到,目前城乡地区的信息化发展和应用很不平衡。如何实现"均衡发展",避免信息化"鸿沟"的出现,确保国民经济持续稳定的发展,由发展中国家向先进国家过渡,开展信息化应用的研究具有的现实意义。而我国信息化应用进展情况到底如何?其中又遇到了一些什么样的问题?随着我国IT技术的发展,又有哪些新技术可以逐步投入到推进我国农村和边远地区信息化的应用?让我们一起来听听专家的看法和建议。

面向大规模数据集的并行化Top-k Skyline查询算法

随着数据规模的日益庞大,在大规模数据集中帮助用户定位出数据量可控的代表性信息显得越发重要。虽然Top-k Skyline查询能够找到数据集中前k个最具代表性的信息,在获取代表性信息的同时又控制了结果规模,满足了上述要求,但是现有的Top-k Skyline查询在面对大规模数据集时效率较低,并不适用于大规模数据集。为了解决这个问题,将Top-k Skyline查询与并行化处理相结合,提出了一种面向大规模数据集的并行化Top-k Skyline查询算法PTKS(parallel Top-k Skyline),通过充分利用分布式资源,将原有查询进行有效的并行化处理,同时设计了基于用户偏好的用于缩减结果数据量的筛选规则,满足用户需求。在真实数据集上进行了相关实验,并与现有方法进行了对比,结果表明PTKS在大规模数据集上的查询效率更具有优势,能很好地适用于大规模数据集。

一种大规模数据并行计算方法的改进研究

对大规模数据进行并行计算处理优化是实现数据云计算的关键技术,大规模数据分布空间维数较大,运算的时间成本和空间成本较高。传统方法采用块匹配和网格计算方法进行大数据并行处理,在并行与迭代处理过程中受到特征干扰较大,运算效率不高。基于此,提出一种基于奇异值特征分解的大规模数据并行计算方法。进行大规模数据的结构分析,基于奇异值特征分解对大规模数据信息流进行特征分解,实现数据的降维处理,提高并行计算的效率。仿真结果表明,采用该算法进行大规模数据的并行计算的加速比较高,计算时间减少,提高了数据处理能力。

面向大规模DEM数据的并行填挖算法

传统填挖方算法在计算填挖方量时,对大规模DEM数据的处理能力和处理效率较低。针对上述问题,提出一种面向大规模DEM数据的并行填挖算法。首先实现了基于条带划分的并行算法,针对该算法负载不均衡和无效区域较多的问题,提出等面积划分方法。该方法通过对待填挖区域进行扫描并建立二元索引,实现了填挖区域的等面积划分,克服了上述问题。最后,在真实数据集上对上述两种算法进行了对比实验。实验结果表明,本文算法大幅提高了填挖分析效率,同时对海量DEM数据具有较强的处理能力。

面向大规模地震数据并行处理高速可扩展通信技术应用研究

随着地震数据规模的不断增大,在进行数据并行处理时,并行计算通信框架因使用TCP(Transmission Control Protocol)协议存在网络吞吐量低、高时延等性能问题,以及主从并行模式下存在主节点网卡性能瓶颈问题,制约了数据并行处理效率的线性提升,集群节点规模扩展性下降明显。为此,提出采用RoCE(RDMA over Converged Ethernet)协议替换TCP协议、主节点配置高性能100 GE网卡的高效并行计算通信优化方案,解决了并行计算框架存在的数据网络传输性能问题及主节点同时收集多个计算节点计算结果数据的网络性能瓶颈问题,实现了高速可扩展技术的大规模地震数据处理通信应用方案,计算节点可快速完成数据通信,提升了大规模地震数据处理计算效率;另外采用UCX(Unified Communication X)技术还提升了应用系统的可移植性与使用的便捷性。逆时偏移处理数据的测试结果表明,对于本次大规模数据的处理,逆时偏移并行计算效率提升了32.8%,效果显著,可缩短大规模地震数据逆时偏移计算的时间,并减少计算能源消耗,因此具有很高的实用价值和经济效益。

一种面向大规模序列数据的交互特征并行挖掘算法

序列是一种重要的数据类型,在诸多应用领域广泛存在.基于序列的特征选择具有广阔的现实应用场景.交互特征是指一组整体具有显著强于单独个体与目标相关性的特征集合.从大规模序列中挖掘交互特征面临着位点的"组合爆炸"问题,计算挑战性极大.针对该问题,以生物领域高通量测序数据为背景,提出了一种新的基于并行处理和演化计算的高阶交互特征挖掘算法.位点数是制约交互作用挖掘效率的根本因素.摈弃了现有方法基于序列分块的并行策略,采用基于位点分块的并行思想,具有天然的效率优势.进一步,提出了极大等位公共子序列(maximal allelic common subsequence, MACS)的概念并设计了基于MACS的特征区域划分策略.该策略能将交互特征的查找范围缩小至许多"碎片"空间,并保证不同"碎片"间不存在交互特征,避免计算耦合引起的高额通信代价.利用基于置换搜索的并行蚁群算法,执行交互特征选择.大量真实数据集和合成数据集上的实验结果,证实提出的PACOIFS算法在有效性和效率上优于同类其他算法.

达梦数据库中大规模数据可扩展并行算法

达梦(DM)数据库中的数据规模大且维度复杂,为了在有限的条件下尽可能满足用户对DM数据库功能的需求,提出一种新的DM数据库中大规模数据可扩展并行算法。不可扩展并行算法包括朴素并行、典型并行与逻辑并行三种处理规则,新算法将这三种处理规则结合起来实现数据自主运算,令每个运算节点均拥有三种处理模式,采用有向图将大规模数据划分为局部数据,并分配到处理器上,通过设置数据处理优先等级,完成流水线形式的数据处理过程,赋予并行算法强大的可扩展性。实验结果表明,新算法具有较强的可扩展性,负债均衡能力强。

基于Spark的大规模图数据并行计算研究

随着社交网络的兴起,大规模图数据处理技术成为研究的热点,从海量的社交数据中分析数据的关系具有巨大的商业价值。Spark利用其内存计算模型和适合迭代运算的优势,为大规模图数据并行运算提供Graphx框架。以经典的Page Rank算法为例,分析Graphx框架下的Pregel迭代计算模型,总结Pregel计算模型的优势和应用场景。

大规模数据流场并行可视化研究进展

水动力学数值模拟是研究水流运动的重要科学方法,可视化是分析数值模拟计算结果的关键方法。本文从并行模式层面回顾了流场可视化现状,并对比了后处理与原位可视化两种模式的优劣势,着重阐述了原位可视化的实现方法与应用案例。针对目前流场可视化技术中的不足,指出今后流场并行可视化应从精确性、时效性与交互性等方面加强研究。