基于流计算和大数据平台的实时交通流预测

目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。

MapReduce并行编程模型研究综述

MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望.

MapReduce并行编程模型研究综述

MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集群中发挥出色的计算能力,且可节约成本。对国内外关于MapReduce并行编程模型的研究现状进行了综述,分析了目前国内外相关研究成果的优缺点,并对MapReduce并行编程模型的未来发展进行了展望。

中厚板生产线的全线跟踪实现与应用

根据对中厚板生产线的工艺和对国内具体现场条件的分析,将全线跟踪功能分成位置微跟踪、过程跟踪和物料跟踪三个层次,确定了实现中厚板生产线全线跟踪功能的总体方案.由基础自动化实现位置微跟踪,并产生关键跟踪信息,由过程控制系统实现过程跟踪和物料跟踪.设计全线跟踪功能实现的数据流,设立中心数据库作为全线跟踪数据存储和中转的手段,基于对数据表的操作实现全线的物料跟踪.将全线跟踪功能在国内多条的中厚板生产线上成功实现和应用.

基于分层排队网络模型的MCU性能预测及优化研究

针对视频会议系统中的多点控制单元 (MCU)提出了一个基于分层排队网络模型的性能预测方法 .通过对分层排队网络模型进行扩展 ,建立了多点控制单元的分层排队模型 .设计了一个仿真程序对模型进行评价 ,仿真程序的输入即模型配置文件 .该方法可以较快地从多种设计方案或硬件平台中选择满足系统性能设计目标的软件或硬件配置 .仿真结果显示 ,选择双处理器配置和采用多线程技术 ,多点控制单元的接入容量提高了 5 0 % .最后 ,多点控制单元终端接入实验证明了该方法的有效性 .

大流量网络平台下并行数据库的设计与实现

随着计算机网络的迅猛发展,网络速度已经从10Mb/s、100Mb/s达到了1Gb/s,因此,一般工作在网络平台下的数据库随着数据量的增加,往往难以满足用户的需求。因此,该文将并行处理与数据库技术相结合,设计并实现了应用于大流量网络平台的并行数据库。

海量电能质量数据交换格式文件快速解析方案

提出了一种针对海量电能质量数据交换格式文件的快速解析方案。通过快速判断通道序列定义是否变化来避免重复解析相同的数据源记录。利用文件读取线程分解出观测值记录填入任务池中,观测值记录解析线程循环访问任务池,读取观测值记录进行解析后放入数据缓存池,实现了多线程并行解析。基于支持并行扩展的.NET 4.0编程模型实现了所提方案。对现场海量电能质量数据交换格式文件进行解析测试,测试结果显示该方案可显著提高解析效率,并且加速比随CPU核数的增加和数据文件的增多而提高。在四川电能质量一体化数据平台中的成功应用证明了该方案的可靠性和实用性。

面向海量数据的并行天文交叉证认

交叉证认是实现多波段数据融合的关键技术,天文数据的海量性使这一问题必须要依靠计算机技术加以解决。按照PCAM并行设计模型设计了并行交叉证认算法。针对交叉证认在数据I/O访问方面存在的性能瓶颈,通过调整划分的粒度、过滤空白区域、优化数据加载、计算流程等方法,协调了数据读取量与计算量间的关系。实验表明该并行方法对交叉证认计算的效率提升明显。另一方面还考虑了对HTM、HEALPix两种最常用天文数据索引方式的支持,并通过实验对比了两者的性能,为我国天文数据主题库、虚拟天文台等项目提供了技术参考。

地震资料处理中的并行计算机技术(综述)

作者在本文中从地震资料并行处理的工业需求 ,地震资料自身的特点和现代地震数据处理对高性能计算机的要求出发 ,简述了为什么要用并行机进行大规模并行处理的原因。通过分析目前国内外有代表性的两种并行机 (IBM SP2和 Intel Paragon)的体系结构 ,给出了并行机硬件的发展现状。作者在文中还着重对前苏联以及我国近几年引进的国外地震处理系统的并行功能和应用情况进行了阐述。并结合课题研究 ,提出了地震资料并行处理的一个发展方向—基于微机群的地震资料交互、并行处理系统。最后 ,作者对发展并行计算机提出了几点建议。

并行数据库系统原型PARO

PARO系统是一个基于无共享硬件结构的并行数据库系统的原型。

基于高性能数据挖掘的网络海量信息处理平台

互联网的迅猛发展对网络信息处理提出了新的挑战,而这些都迫切需要高性能计算技术的支持。为了提高网络海量信息智能并行处理能力,促进网络信息存储与管理、信息融合、数据挖掘、智能处理和信息利用等发展,本文提出了基于高性能数据挖掘的网络海量信息处理平台,重点分析了网络海量信息处理平台实现的关键技术,并对平台的网络热点分析应用的实现进行了介绍。

并行数据库的查询处理并行化技术和物理设计方法

近几年，随着并行计算机系统的迅速发展，并行数据库系统已经成为一个新的数据库研究领域，引起了学术界和工业界的极大关注，很多研究成果已经出现．本文是综述并行数据库系统研究与进展情况的两篇文章之一，重点探讨目前并行数据库系统的研究方向和问题，综述有关并行数据库的物理设计方法和查询处理并行化技术的主要研究成果．

发动机进口流场温度畸变测试技术研究

进口流场的温度畸变对军用飞机发动机稳定性具有比压力畸变更大的影响。文中采用研制的 DAP- ID3型高速大容量数据采集及实时存储处理系统 ,对温度畸变试验及温度畸变模拟装置调试、评价中的一些测量技术问题进行了研究 ,在现场获得成功的试验结果。并对影响精度的一些因素进行了分析 ,提出了一些有益建议。

基于代理的并行空间查询语言

目前针对并行空间数据处理的研究主要集中在空间数据划分及其在其基础上的并行空间算法,对空间并行数据库平台本身的可用性,如应用程序的开发模式、高并发请求支持等研究较少。为此,对开源并行关系数据库查询语言进行空间查询扩展,提出一种基于代理的并行空间查询语言,并实现相应的并行数据库平台原型。基于该平台开发标准的网络地图绘图服务,在高并发环境下使用该服务对海量矢量数据进行实时渲染。实验结果表明,该平台具有与传统关系数据库一致的开发应用模式,可提供无缝的衔接方式,在海量数据高并发的情况下具有较高的可用性及查询性能。

高通量视频内容分析技术

大数据环境下,如何对高并发的视频数据进行实时地分析处理,是一个亟待解决的科学问题。本文介绍了面向互联网视频内容监管的高通量视频内容分析技术,着重对其中的四个主要关键技术(基于众核的视频高速解码和视频特征提取、基于分布式系统的高维索引和语义识别)的研究现状和发展趋势进行了综述和总结,并介绍了作者在这四个主要关键技术研究的最新成果,主要包括面向众核处理器的并行环路滤波、高鲁棒性和高并行度的局部特征提取与挖掘、分布式高维索引、面向大数据的集成学习方法,以充分发挥多粒度并行硬件平台的高并行计算能力,为互联网视频内容监管、视频搜索等重要应用提供关键技术支撑。

面向对象数据库的并行查询处理

一、引言随着数据库规模日趋庞大,其查询日趋复杂,对数据库系统性能的要求也越来越高。另一方面,并行计算机系统迅速发展,许多商品化的高性能并行计算机系统相继投入市场。许多数据库研究者们认为,在并行计算机系统上实现数据库管理系统能够极大地提高数据库管理系统的性能,并行数据库管理系统有望成为未来的高性能数据库管理系统。

LS MPP数据并行C语言编译器实现的研究

大规模并行处理技术是并行计算研究的一个热点问题，文章针对 LS MPP嵌入式大规模并行处理机提出了一个数据并行 C语言编译系统的实现方案，并对其中的代码分离、数据分布、节点程序生成等关键技术的实现进行了详细的阐述。

基于并行数据库的海量商务数据管理系统研究

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。

面向并行可重构计算的集装箱码头生产调度建模与仿真

将集装箱码头物流系统(container terminal logistics systems,CTLS)视为一个大规模并行处理系统,融合计算机体系结构中的并行计算和可重构计算的思想方法,抽象出基于属性的有阻塞动态可重构混合流水车间调度(dynamic reconfigurable hybrid flow shops with blocking based on attributes,DR-HFS-BA)模型对CTLS控制决策进行描述,得出面向DR-HFS-BA的CTLS多层双向作业体系。该生产调度模型能够精确描述CTLS的复杂结构和作业行为,帮助港口建立敏捷鲁棒的生产调度和性能评估决策支持平台。最后,一个集装箱码头生产实例被仿真和分析,验证了上述建模思想的可行性和可信性,从而为CTLS的任务调度和资源分配提出了新的解决思路。

基于CORBA的并行海量数据处理系统的研究

中间件技术正成为构建大规模信息系统的热门技术.针对海量信息系统中数据规模大,数据加载速度要求高,查询处理耗时多的特点,构建了一个海量信息事务处理系统,实现了数据的并行加载和并行查询.该系统基于分布对象计算技术CORBA(C omm on O b ject R equest B roker A rch itecture)平台实现,具有高效、平台无关和在线可扩展等特点.