基于hadoop的舰船通信网络数据并行处理方法

舰船通信网络数据量的显著提升对数据处理性能提出更高要求,为提升数据处理效率,研究基于hadoop的舰船通信网络数据并行处理方法。设计由数据应用层、数据处理层和数据存储层共同组成的基于hadoop的舰船通信网络数据并行处理架构:数据应用层作为用户与数据处理架构的交互工具,将所采集的数据上传至架构内;数据处理层运行MapReduce程序实现数据存储、解析与聚类等并行化处理;数据存储层采用HBase与HDFs等多种不同的存储方式存储舰船通信网络数据。实验结果显示,该方法可实现准确的舰船通信网络数据聚类,大幅节省数据处理时间,在数据量较大的条件下具备较好的数据处理加速比。

超大规模三维数据并行处理技术实现方法

本文依据消费级3D打印云平台的目标需求,探索基于超大规模三维数据并行处理技术的应用,实现平台具备万人以上同时在线的支撑能力,满足客户端快速响应的需求。

并行虚拟机及地震数据并行处理

本文介绍ＰＶＭ－并行虚似机的概念、特点及其在地震数据处理中应用，并讨论地震并行处理几种模式，有关系统级实现，国内外性能测试例子，最后讨论并行化技术。

基于聚类算法的高速连续数据流并行处理控制系统设计

传统的高速连续数据流并行处理控制系统运行过程中相对误差大,消耗内存高,为了解决这一问题,基于聚类算法设计了一种新的高速连续数据流并行处理控制系统。所提出的系统由功能层、数据源、接口层、数据层、资源层、应用层组成系统硬件结构,通过数据的获取、预处理、聚类处理和类别预测四步完成软件流程,软件在运行过程中需要应用聚类算法。为检验控制系统效果,与传统控制系统进行实验对比,结果表明,基于聚类算法设计的高速连续数据流并行处理控制系统在运行过程中相对误差极小,占用的内存少,系统运行效率高,并行处理控制效果好。

面向停车场场景的多传感器融合匹配算法与融合数据的并行处理

自动泊车是无人驾驶领域可率先实现量产的重要功能之一。实现自动泊车功能,首先面临着停车场数据的采集和分析工作。基于三种典型停车场场景,从硬件传感器搭建,传感器感知算法开发和场景数据处理分析三方面分别展开:对采集平台搭建工作,主要介绍如何进行传感器的安装、时间轴标定,和空间坐标统一;基于前视毫米波雷达和视觉传感器,重点介绍这两种传感器的匹配算法和目标级别的融合算法;基于场景提取与大数据处理的数据分析,开发自动化批量数据处理Python代码,实现TB级的原始数据标注,并在短时间内完成自动化批量处理,整个技术流程工具链具有较高的科研价值和商业价值。

分布式并行计算技术在遥感数据处理中的应用

阐述了遥感影像数据并行处理的结构层次、计算模型、同步通信等问题,实现了在PC机群上对遥感影像线性拉伸的并行处理,证实了其实用性和有效性。

多查询并行处理的模型和同步机制

研究数据库多查询并行处理技术中的模型和同步机制问题．讨论了数据库多查询任务和Ｂ＋树的特点，分析了目前已有的几种查询模型，对多查询任务的并行性开发和同步控制机制等关键性问题进行了较详细的讨论．在此基础上，提出了一种基于Ｂ＋树的数据库多查询任务并行处理模型和有利于加大并行度的同步控制机制，并在ＭＩＭＤ－ＳＭ结构上给出了实现多查询任务并行处理的算法设计思想．

基于查询优化的并行数据库自动数据划分设计

课题是通过开发一个支持数据并行处理的中间件 ,将机群并行计算机各节点上的单机版IBMDB2数据库联系起来 ,并行工作 ,以获得接近并行数据库的性能 .本文对并行数据库系统中数据的自动划分进行了大胆的尝试 ,建立了一个基于DB2查询优化程序的自动划分工具 ,以减轻数据库管理员的负担 ,避免初始数据倾斜 。

云计算交通违法大数据处理研究

分析MapReduce云计算编程模型对交通违法大数据处理的适用性,通过对交通违法大数据进行数据抽取拆分和数据并行处理,实现交通违法大数据的云计算处理,提高了交通违法大数据的处理效率.

一种数据流异常并行挖掘算法

研究了一种面向入侵检测的数据流异常并行挖掘算法,通过对数据流的信息统计和比较,可以得到数据流的异常信息,结合入侵检测特征库,可以判断是否是入侵信息。

基于高性能云的分布式数据挖掘方法

为实现数据在同一个地点进行处理而无须移动,介绍一种基于高性能云的分布式数据并行处理方法。使用一个专用的网络服务分层结构,适用于高性能广域网络连接的计算机集群所产生的大型分布式数据集的数据挖掘。实验结果表明,与Hadoop方法相比,该方法的性能有显著提高。

并行GIS研究综述

随着计算机等相关科学技术的进步与发展,以及生产实践中的实际需求,设计、实现、开发与利用高性能并行GIS成为GIS理论和技术发展的必然趋势。从数据并行处理、空间分析并行化、并行空间数据库和并行GIS框架4个方面对国内外并行GIS相关研究进行总结,并提出今后需进一步研究的内容。

大会征文|2024CCF全国高性能计算学术年会征文通知

征文涉及的领域包括但不限于:高性能计算机体系结构、高性能计算机系统软件、高性能计算环境、高性能微处理器、高性能计算机应用、并行算法设计、并行程序开发、大数据并行处理、科学计算可视化、云计算和网格计算相关技术及应用、Al+Science、量子计算、State of Practice最佳实践,以及其他高性能计算相关领域。本次大会设置“CCF HPC China2024超算年度最佳应用”Track,评选CCF HPC China2024超算年度最佳应用。

大会征文|2024CCF全国高性能计算学术年会征文通知

征文涉及的领域包括但不限于:高性能计算机体系结构、高性能计算机系统软件、高性能计算环境、高性能微处理器、高性能计算机应用、并行算法设计、并行程序开发、大数据并行处理、科学计算可视化、云计算和网格计算相关技术及应用、AI+Science、量子计算、State of Practice最佳实践,以及其他高性能计算相关领域。本次大会设置“CCF HPC China 2024超算年度最佳应用”Track,评选CCF HPC China 2024超算年度最佳应用。

基于大数据的用电信息采集系统建设

随着用电信息采集系统在重庆市全范围覆盖的应用推广,海量数据的规模效应给数据交互、数据存储、数据处理分析等应用带来了极大的挑战,亟需有效的数据组织管理技术对用电信息采集系统进行优化。基于大数据技术构建用电信息采集系统,主要对前置通信服务层、数据存储层及数据处理分析层进行优化,并以实际应用效果证明此次的系统优化是可行的和高效的。

超级数据引擎Greenplum登陆中国市场

国内数据并行处理的行业应用开始崭露头角,信息技术基础建设较好的金融和电信行业需求依然强劲,政府、制造业和电力机构也逐渐成为数据仓库市场的新亮点。基于数据仓库的BI应用和数据挖掘正在成为市场新的投资热点。

雅捷一体化方案新品提速金融大数据

本刊讯 3月28日，国内领先的金融大数据应用企业——上海雅捷信息技术股份有限公司在京发布了三款重磅产品，包括DataTurbine大数据并行处理平台2．0版本以及Data Turbines—P、DataTurbines—D两种软硬件一体化解决方案。

一种基于VxWorks技术的通用信号处理平台设计

介绍了一种基于DSP阵列技术、VxWorks嵌入式技术的通用信号处理平台设计方法。针对数据处理的实时性、多任务要求,重点分析了通用信号处理板的设计实现以及VxWorks技术的具体应用。