医院大数据平台建设难点及关键技术研究

目的解决医院大数据平台在数据采集、治理及应用环节面临的困难。方法总结建设大数据平台的经验,深入分析该平台在各环节的建设难点,提出“流批一体”数据处理、“湖仓一体”存储、存算分离等关键技术方案。结果该平台已接入医院34个业务系统数据、超过3PB的基因组学数据,提供超过2500TFLOPS的算力资源,为医院临床诊疗、管理决策、临床科研提供应用服务。结论以应用为驱动的大数据平台逐步实现了医院数据资产的统一存储和集中管理,有助于推动大数据技术在医疗领域的应用和发展。

基于Spring Batch构建企业级大数据批处理应用研究

传统的企业联机分析处理(OLAP)主要基于关系型数据库,存在实时分析瓶颈。随着企业数据的爆炸性增长,需要采用大数据分析实现从"业务驱动"向"数据驱动"的转变,充分挖掘海量数据中有价值的信息。而要实现"大数据"分析,企业迫切需要构建高效的大数据管理平台。文章引入Spring Batch核心框架,通过剖析其对文件和数据库的读写操作,重点研究基于Spring Batch开发批处理程序的方法和技巧,从而高效构建高内聚、低耦合的企业大数据批处理应用。

基于“湖仓一体”技术的城轨大数据平台设计与升级改造实践

为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一体”大数据技术所具备的湖仓一体、流批一体、OLTP+OLAP、多重负载等优点,研究了基于该技术的大数据平台架构升级改造设计要点,并将该技术在北京地铁数据中心的大数据平台升级改造中进行应用验证。结果表明:“湖仓一体”大数据平台技术兼具数据湖的低成本、数据仓库的高性能等优点,解决了原大数据平台在性能、容量与多用途支持上的不足,为城轨行业大数据平台建设与升级改造提供了新的解决思路。

基于Spring Batch+Gemfire+CXF的金融大数据集成和整合

传统跨国银行的巴塞尔风控系统,每天面临万亿级数据的海量金融数据整合。提升海量数据整合的效率、稳定和扩展能力已成为巴塞尔系统使用者的迫切需求。通过时下较为成熟、稳定、轻量级Spring batch+Gemfire+CXF系统框架,以面向服务模式重构整个业务处理系统。利用Spring Batch做高扩展、低耦合数据加载和计算,使用Gemfire做高速缓存以及CXF做数据接口发布。结果表明,该方法极大提升了系统运行效率、可靠性以及可扩展性,满足了巴塞尔风控系统中金融大数据整合的需求。

典型大数据计算框架分析

认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算,吞吐量好,但是不能保证实时性;流计算技术主要针对动态数据的在线实时计算,时效性好,但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出(IO)等方面对现有的主流大数据计算框架进行了分析与总结,指出了未来的发展方向和研究热点。

面向电力大数据的多数据流实时处理技术研究

随着电力大数据的形成与深化应用,传统数据批处理技术已不能满足当前电网实时应用要求,多源数据的即时获取和实时关联计算已成为制约电力大数据全面应用的关键因素。论文梳理了国内外大数据实时处理的技术发展现状,探讨了电力大数据实时处理的应用需求,提出了一种面向多用户的电力大数据流计算服务体系,搭建了电力大数据实时流计算处理平台,以低压用户电量计算为典型应用场景对电力大数据实时计算平台的处理性能进行了验证。

一种批量数据处理的云存储方法

研究了批量数据处理在云端存储的方法和技术,使用扫描设备自动采集数据存储到云终端存储系统,并由云端应用程序定期收割云终端的批量数据,实现了数据云存储和管理系统,应用到商品分销和物流跟踪的家纺领域实证,达到为配送中心节点站及时配货满足顾客需要,为商品生产厂家提供清晰准确的商品位置和信息、准确的库存和市场需求信息,帮助决策者制定生产和销售计划的目的。

大叶槐饲料营养价值评定

以内蒙古鄂托克前旗的大叶槐为试验材料,同时选择羊草和苜蓿为对比,通过常规营养成分分析、活体外发酵产气、两级离体消化、尼龙袋等试验,对其营养价值进行综合评定。结果表明,从常规分析来看,0.8～1.2m高的大叶槐蛋白质含量最高,其次为苜蓿;从体外发酵参数来看,无明显差异;从体外消化率来看,0.8～1.2m高的大叶槐蛋白质消化率低于苜蓿,但高于羊草和其他2种槐树;从半体内降解率来看,0.8～1.2m高的大叶槐蛋白质降解率仅低于苜蓿,而高于其他3种饲料。综合各试验,可发现0.8～1.2m高的大叶槐更适合用作蛋白质饲料,而不应用作纤维性饲料。

大数据融合、分析与价值

目前我们已经进入了大数据时代,"数据就是决策,数据就是生产力"这一观念已经深入人心。在大数据时代,如何快速有效地对大规模存量数据和实时产生的增量数据进行分析是摆在我们面前的一道难题。文章着眼于大数据分析的共性特点,结合具体的软件平台和应用案例,阐述了大数据挖掘的方法以及应用价值。

从系统角度审视大数据计算

大数据计算是实现大数据"巨大价值"的必要手段,而计算系统是大数据计算的有效载体。试着从系统角度审视大数据计算,透过大数据的体量巨大、速度极快、模态多样、真伪难辨等宏观特征,针对批量计算、流式计算、大图计算等计算形式,分别探讨大数据计算的典型特征,论述了这些特征给大数据计算系统的设计与实现带来的技术挑战,进而梳理了为了应对这些挑战所取得的研究成果,最后从系统角度指出未来大数据计算可能的一些研究方向。

基于蚁群算法的非结构化大数据深度挖掘仿真

针对传统的非结构化大数据深度挖掘方法结果不准确等问题,提出基于蚁群算法的非结构化大数据深度挖掘方法。以蚁群算法的参数选取原则作为标准,分别连接OpenFlow控制器及大数据批量处理模块,完成基于蚁群算法的非结构化挖掘环境建立。利用开源型挖掘框架,定义PPC-Tree型树状组织,再通过计算大数据K均值的方式,实现非结构化大数据深度挖掘算法的顺利应用。实验结果表明,应用所提深度挖掘方法后,节点组织的总容纳承载量大幅提升,匹配路径的平均传输速率也显著提高,能够准确挖掘非结构化大数据。

鞍钢10号高炉大料批中心加焦冶炼实践

1998年年末 ,鞍钢 1 0号高炉进行的大料批中心加焦冶炼试验获得成功 ,产量、质量提高 ,焦比降低 ,炉身冷却壁热负荷降低。实践证明 ,大料批中心加焦是高炉上部调剂技术的完善和发展 ,值得推广。

MapReduce框架下基于线性回归的短期负荷预测

为解决负荷预测时因数据量大、数据种类繁多带来的计算速度慢、预测精度低等问题,在MapReduce并行编程框架下,提出基于小批量随机梯度下降法的线性回归模型.首先,为清理智能配电终端产生的重复数据和不良数据,提出利用自适应近邻排序算法清除重复记录的数据,并利用K均值聚类的方法剔除异常数据和记录不完整的数据,然后利用F检验法来检验该数据集能否线性表征负荷,再利用T检验法检验特性向量与负荷间线性关系的显著性,并剔除与负荷线性关系较弱的特性向量.根据以上方法建立短期负荷预测模型,并将其用在甘肃武威某区域配电网短期负荷预测中.结果表明,所提出的短期负荷预测模型的平均绝对百分误差为2.043%,均方根误差为3112.62.这些预测误差满足负荷预测的要求,极大地提高了负荷计算的速度,缩短了负荷预测时间.

以专业为导向的高考招生制度改革

高考制度自恢复以来历经改革,不断满足着人民的需求,然而随着社会的进步,高考制度的某些缺陷也日益凸显。其中,我国沿用多年的分批次、按学校录取引发了一系列的问题,如高校层级固化、办学积极性下降;高中教育过分看重学习成绩和名校,忽视了学生的兴趣发展和能力塑造;青少年缺乏明确清晰的发展目标,学习动力不足;教育领域缺乏竞争和创新,教育质量缺少质的飞跃等。以国务院深化考试招生制度改革为契机,分析高考现有投档录取方案存在的问题,并以浙江省录取改革方案为基础,构建"打破批次,按专业大类平行投递、按考生成绩分段同时录取"的高考投档及录取方案,并对新方案的价值追求、可行性和合法性进行分析,以期为相关研究提供参考。

靖咸大落差成品油管道顺序输送的特点

运行中的顺序输送管道沿线压力的变化主要是由管路特性的变化和不同密度油品在管道中交替产生的,管道的落差越大,对压力的影响越明显。由于靖咸输油管道具有落差大、翻越点多、地形复杂及进出油点多等特点,所以在成品油顺序输送时,随着混油段位置的变化,其管输量、各站进出口压力等均在变化。针对靖咸成品油顺序输送管道通过大落差地段的压力变化进行研究,对不同油品在大落差管道中交替时压力变化规律做了定性和定量的分析,并提出了危险点的压力控制措施。

Spark和Flink平台大数据批量处理的性能分析

为了研究Apache Spark和Apache Flink两个框架在进行批量大数据处理时的性能差异和相似性,分析Spark和Flink的引擎差异,重点对比了两个框架在运行机器学习算法的细节。比较的算法有：支持向量机（SVM）算法、线性回归（LR）算法和分布式信息理论的特征选择（FS-DIT）算法,其中SVM和LR算法为平台固有算法,FS-DIT根据平台框架特点重新设计。三种机器学习算法的实验结果表明：Spark的性能优于Flink,且总体运行时长低于Flink。另外对Spark目前拥有的MLlib和ML性能也进行了分析研究。整个研究对新旧两种平台上的批处理应用具有一定指导作用。

BDAP——一个基于Spark的数据挖掘工具平台

大数据处理系统是大数据领域的一个热点,为此首先研究大数据分析平台的架构与功能,将大数据分析平台分为数据源、数据吸收层、数据存储层、平台层、安全与监控层、设备层和应用层.平台包含多个数据预处理和算法模块,平台架构为大数据分析了奠定基础.在功能上,该平台功能全面,可以自由组合各种操作,模块之间耦合度低,便于维护和拓展.在用户体验上,调参、建立流程、监控、数据挖掘过程都是可视的,融合工作流和调度流技术.在性能上,该平台相应算法的性能优于Hive和MLlib.最后,举例说明大数据挖掘平台的应用场景.可以对电网线路故障和气象数据进行预处理,从而对故障进行预测和分类,可以通过视频挖掘组件,对数据分类.

大数据处理框架现状分析

目前主流的数据处理框架有:批处理框架、流式处理和多框架混合处理系统.批处理框架擅长处理数据量大的静态数据,流式处理框架适合实时数据的处理,而多框架混合处理系统可以兼顾两者.批处理框架较其他数据处理框架成熟,选择也固定,但流式处理框架和多框架混合处理系统的种类都较多,需要根据应用场景以及自身特点对比进行选择.随着时代的发展,最终大数据处理框架的发展趋势为多框架混合处理系统.

高精度CORS站网自动化批处理与质量评估方法研究

鉴于CORS站网观测数据及数据处理呈现出大数据、高精度特征,本文给出一种适用于CORS站网高精度数据处理的自动化批处理流程及质量评估方法,并利用Bash编程语言,设计与实现一种组合sh_gamit/sh_glred的一步法批处理脚本。算例表明,本文所提出的方法流程是行之有效的。

迁钢2号高炉大矿批冶炼实践

对迁钢2号高炉大矿批冶炼实践进行了总结。由于经济炉料的使用配加,高炉技术经济指标有所降低,通过不断优化装料制度和造渣制度,取得了较好的效果。