一种正交分解大数据处理系统设计方法及实现

MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%.

嵌入式异构多核测试的流式大数据处理系统

本文采用FPGA实现四通道传感器的高速数据采集、同步转换和LMS自适应降噪,使用ARM搭建了边缘计算平台,进而实现了一种云边端协同的测试流式大数据处理系统,并且在磨床设备检测中得到了应用。实验和现场测试结果表明,本系统可以满足实际应用的需求,为基于工业物联网的设备监测提供了一种可行的方法。

基于Hadoop的大数据处理系统分析与研究

针对当前很多医院或者企业在面对庞大数据处理过程中存在能力缺乏的问题,研究提出基于Hadoop的数据分析系统,该系统能够用于医院辅助诊断以及数据比较分析,同时该系统融合多节点分布式计算技术,能够依据医院患者医检结果生成初步诊断结果,可显著改善传统医疗过程中数据信息处理效率较低的问题。

基于煤矿设备的大数据处理系统关键技术的研究

大数据时代发展中,煤矿开采工业基于煤矿设备的大数据处理系统关键技术研究是推动智慧煤矿建设发展的关键所在,更是保障煤矿开采安全的重要方式。本文对基于煤矿设备大数据处理系统构建的意义和框架结构展开分析。

大数据处理系统中面向GPU加速DNN推理的模型共享

近年来,学术和工业界广泛利用大数据处理系统来处理视频分析等领域基于深度神经网络(deep neural networks, DNN)的推理负载。在这种场景下,因大数据系统中多个并行推理任务重复加载相同且只读的DNN模型,导致系统无法充分利用GPU资源,成为了推理性能提升的瓶颈。针对该问题,该文提出了一个面向单GPU卡的模型共享技术,在DNN推理任务之间共享同一份模型数据。在此基础上,为了使模型共享技术作用于分布式环境下的每一块GPU,该文还设计了支持多GPU卡模型共享的分配器。将上述优化技术集成到在GPU平台上运行的Spark中,实现了一个支持大规模推理负载的分布式原型系统。实验结果表明,针对基于YOLO-v3的交通视频处理负载,相对于未采用模型共享技术的系统,模型共享技术能够提升系统吞吐量达136%。

Hadoop与Map Reduce应用下的大数据处理系统设计

移动互联网、云计算与物联网等信息技术应用日益广泛的大范围增加了数据的产生量,使得整个社会正加速步入"大数据"时代。采取何种技术进行大数据处理系统的高效构建,对各种类型的数据源进行集成,让用户无障碍地访问这些数据,进而完成对大数据价值的充分挖掘,成为业界与学者共同关注的问题。

基于中医药大数据智能处理与知识服务系统探析经行头痛临床特征与方药规律

运用中医药大数据智能处理与知识服务系统,对2007年1月至2017年12月在广东省中医院总院及其分院的妇科门诊中诊断为"经行头痛"的病案资料的临床特征及用药规律进行探讨,并对基于数据挖掘得到的新方进行分析。结果共筛选得到935张处方及125味中药,其中用药频次在140次以上的中药共20味。经行头痛多发于30~40岁女性,发病高峰多在小满、芒种、夏至节气。药物归经以肝经、脾经、心经为主。关联规则分析结果显示,组合1(党参、川芎、甘草、茯苓、白术、当归、熟地黄、白芍)和组合2(夜交藤、桑寄生、钩藤、天麻)为治疗经行头痛常用药物;聚类分析结果显示治疗经行头痛主要采用活血化瘀、平肝熄风、滋阴安神、补益气血、行气止痛、疏肝柔肝等药物。结果提示经行头痛多虚实夹杂,肝脾心不调是经行头痛的主因,调理肝脾气血为治疗的关键。

不同网络环境下大数据系统的测试与分析

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响,在介绍与分析不同网络架构和通讯协议的基础上,使用以太网和Infiniband网络连接,安装TCP/IP,IPoIB和RDMA协议,构建了Hadoop,Tachyon和Spark原型系统,使用通用测试工具和例程等进行了测试.测试结果表明相比使用TCP/IP,使用IPoIB能提高Hadoop的I/O性能4.6-5.6倍,减少Tachyon数据处理的时间开销达2%-27%,减少了Spark 90%-95%的时间开销,同时Spark性能提高了46倍.此外使用RDMA相比IPoIB减少了3%-15%的系统开销.最终分析得出,高速网络架构和高效通讯协议能有效提高大数据处理系统的I/O性能、处理效率和适应能力.

大数据系统和分析技术

本文以大数据时代为背景,对大数据处理系统与大数据分析技术的发展现状进行了简单的综述,并梳理了大数据计算面临的问题,通过翻阅大量文献总结相应的解决方案。

网络数据包中的分析程序设计与开发

大数据包的程序设计与开发工作日益精准,速度方面同样得到了提升。文章简要概述了大数据处理系统,整理了影响网络安全的主要因素,分析了传统网络数据包的大数据模式,并在网络数据包的大数据中,探究了程序设计与开发策略,以达到最优的大数据处理目标,提高了网络文件的下载速度,优化了大数据网络。

辽宁丹东3000 m科学深钻施工技术

辽宁丹东3000 m科学深钻项目是国家重点研发计划“辽东/胶东矿集区深部矿产勘查与增储示范”项目下设子课题的核心任务工程。本文介绍了辽宁丹东3000 m科学深钻的施工概况及其应用的多项关键技术。通过采用HXY-8VB改进型变频立轴钻机、加长钻具配套防堵内管及快速打捞矛等新机具,开展高效金刚石取心钻头研究及应用,进行深部地质钻探钻进过程流式大数据分析与动态预处理系统的应用,优质高效的完成了全部钻探施工任务,创造了辽东地区非煤固体矿产勘查第一深孔纪录。为验证该地区成矿条件,评价区域3000 m以浅金资源潜力提供了有力支撑,同时,也为特深孔钻探施工提供了技术借鉴。

智慧校园服务平台建设研究

如今,随着信息时代的发展,大数据开始对人们的日常生活和工作产生了较大的影响,并推动了高校信息化建设的开展。基于大数据分析处理系统,开始推动数字化校园建设向智慧校园建设发展,有效的推动校园建设的改革和创新。因此,本文将会对基于大数据分析处理系统的智慧校园服务平台建设给予介绍,以更好的推动我国教育事业的发展。

Angel^+:基于Angel的分布式机器学习平台

【目的】随着大數据时代的来临,数据变得高维、稀疏,机器学习模型也变得复杂、高维,因此也给分布式机器学习系统带来了很多挑战。尽管研究人员已经开发了很多高性能的机器学习系统,比如TensorFlow、PyTorch、XGBoost等,但是这些系统存在以下两个问题:(1)不能与现有的大数据系统很好的结合;(2)不够通用,这些系统往往是为了某一类机器学习算法设计。【方法】为了解决以上两个挑战,本文介绍Angel^+:—个基于参数服务器架构的分布式机器学习平台。【结果】Angel^+能够高效的支持现有的大数据系统以及机器学习系统——浪赖于参数服务器处理高维模型的能力,Angel^+能够以无侵入的方式为大数据系统(比如Apache Spark)提供高效训练超大机器学习模型的能力,并且高效的运行已有的分布式机器学习系统(比如PyTorch)。此外,针对分布式机器学习中通信开销大和掉队者问题,Angel^+也提供了模型平均、梯度压缩和异构感知的随机梯度下降解法等。【结论】笔者结合Angel^+开发了很多高效、易用的机器学习模型,并且通过实验验证了Angel^+平台的高效性。

Research on the Automatic Pattem Abstraction and Recognition Methodology for Large-scale Database System based on Natural Language Processing

In this research paper, we research on the automatic pattern abstraction and recognition method for large-scale database system based on natural language processing. In distributed database, through the network connection between nodes, data across different nodes and even regional distribution are well recognized. In order to reduce data redundancy and model design of the database will usually contain a lot of forms we combine the NLP theory to optimize the traditional method. The experimental analysis and simulation proves the correctness of our method.

RTDP系统网络体系结构及其关键技术

在简要介绍实时大数据处理系统(RTDP)网络及其应用领域的基础上,提出了一种实时大数据处理系统网络架构模型,分析了实时大数据处理系统在网络体系结构方面的研究热点问题,最后总结并展望了实时大数据处理系统网络未来的发展方向和研究重点.