基于MongoDB数据库的临床医疗大数据存储方案设计与优化

针对海量临床数据蕴藏的巨大价值难以有效挖掘的难题,将分散、破碎、异构的数据分为文档数据、二进制小文件和二进制大文件三类,并提出了一种适于数据挖掘的存储方案,该方案基于非关系型数据库Mongo DB实现了三类数据的一体化存储、统一规则访问及多样性查询、关联检索等功能。针对大文件直接访问造成系统性能不佳的问题,设计了一个由大文件各类关键特征信息组成的特征库,通过特征库的应用减少了大文件的直接访问。

大数据及海量数据处理架构:Hadoop vs MPP

开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Ha⁃doop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。

海量结构化数据存储检索系统

Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.

配电网监测大数据的Impala快速查询技术

针对目前配电网监测大数据SQL交互查询速度慢的问题,对配电网监测数据类型进行归类整理,利用Impala分布式处理工具重点研究一种监测大数据的MPP快速查询技术。通过协调节点将查询计划解析为执行计划树,将计划树的片段分配至多个从节点并行执行,各从节点将中间结果按执行计划树流式传递回协调节点,再通过多机集群的全内存并行执行加速查询。选用四机监控系统集群为例进行加载测试和查询性能测试,结果表明:相较关系数据库,MPP大数据快速查询技术大幅提高了数据加载速度。对北京某动车段配电监测的千万级数据记录,关系数据库和Hive数据仓库至少都需94s以上,而MPP快速查询仅需约320ms,查询性能提升近3个数量级,大幅提高了监测大数据的查询处理速度。

大数据分析场景下分布式数据库技术的应用

为了解决运营商日益增长的数据管理和应用需求,分布式数据库应运而生。通过介绍分布式数据库混合存储、透明压缩等关键技术,并结合运营商系统建设,探讨了分布式数据库技术在大数据分析场景下的具体应用。目前基于分布式数据库的架构已在运营商多个大数据分析系统中得到大量应用,并取得良好的效果。

大数据在电信行业的应用研究

随着数据量的急速增长,运营商越来越意识到数据对企业的重要性。首先分析了大数据发展趋势和典型的应用场景,然后提出了大数据平台架构和关键技术,最后分析了相关应用案例。工程应用与实践表明,大数据的良好应用能够有效推动运营商的业务发展。