Designing and Implementing an Advanced Big Data Governance Platform

Contemporary mainstream big data governance platforms are built atop the big data ecosystem components,offering a one-stop development and analysis governance platform for the collection,transmission,storage,cleansing,transformation,querying and analysis,data development,publishing,and subscription,sharing and exchange,management,and services of massive data.These platforms serve various role members who have internal and external data needs.However,in the era of big data,the rapid update and iteration of big data technologies,the diversification of data businesses,and the exponential growth of data present more challenges and uncertainties to the construction of big data governance platforms.This paper discusses how to effectively build a data governance platform under the big data system from the perspectives of functional architecture,logical architecture,data architecture,and functional design.

基于Apache Arrow的大数据共享技术研究

Apache Arrow是一种列式内存数据交换格式,在大数据领域得到了广泛的关注和应用。文中针对大数据共享领域中存在的数据传输效率低下、数据类型转换困难等问题,提出了一种基于Apache Arrow的大数据共享技术方案,以提高数据传输效率,降低数据类型转换的复杂性。实验证明,该技术能显著提高数据传输效率,在不同数据类型转换场景下,均能取得较好的性能表现。

基于交通大数据的数据治理体系研究

大数据技术和交通行业的融合发展产生了大量的交通数据。针对海量数据提出了一种基于交通大数据的数据治理架构。该架构包括数据采集、数据存储和数据治理模块。数据采集采用数据采集工具对交通业务系统进行采集,采用消息队列对公交GPS等实时数据进行采集。数据存储采用HDFS分布式文件系统进行存储,并采用Hive构建数据仓库。进一步分析交通大数据治理中的元数据管理、主数据管理、数据共享交换与数据质量管理的方法,并采用Kerberos进行安全管理,提出了一种MD5构建CRC和生成图算法生成数据血缘关系图进行数据的全生命周期管理。X交通局的大数据治理效果表明,数据治理能有效提高该局的信息化水平。

基于大数据的医疗数据采集交换共享系统的研究与实现

本文基于大数据及数据交换技术,构建了一种基于大数据技术的医疗数据采集与交换共享系统,其实现功能基于spark sql工作流程计算引擎实现数据分析、统计、清洗操作;配置mapred-site.xml文件里的参数,设置map reduce执行引擎,配置spark-defaults.conf文件、hive参数,搭建基层hadoop环境,编写动态解析配置文件方法,基于mule进行集成调度kettle,传参分装到配置文件。本文构建的系统能够实现医疗数据批量自动化处理,数据交换共享速率高;采集过程采用压缩技术,能够降低网络宽带的压力;全流程自动监控处理过程,能够降低数据维护量。

基于Hadoop+MPP架构的电信运营商网络数据共享平台研究

运用分布式计算和分布式存储技术,对基于Hadoop+MPP架构的电信运营商网络数据共享平台的建设进行了研究。通过整合各专业分散的网管数据,搭建网络侧的基础数据平台、应用平台、统一管控平台,实现网络数据的集中采集存储、有效整合,将数据向应用开放共享。

面向大数据应用的领域信息系统互操作能力研究--基于中美健康领域的比较分析

实现领域内信息系统互操作是大数据发展和应用的基础工作。面向大数据应用,依据IEEE关于互操作的定义,从能力角度出发构建理论框架,并从多个渠道收集资料比较分析中美健康信息系统互操作的方案和实践。相比美国而言,我国推进健康信息系统互操作的方案和实践在数据交换能力方面表现出明显优势,但是在数据使用能力方面则相对不足。为确保我国健康大数据发展和应用取得应有成效,应通过提升数据应用能力丰富数据来源,应保障健康数据安全消除参与各方的种种顾虑。

国内外大数据产业发展比较分析

为了发现国内大数据产业存在的不足,本文从大数据发展顶层设计、要素供给、数据隐私与安全保护及大数据标准体系建设4个方面对国内外大数据产业政策进行比较,分析了国内外大数据产业政策的异同,最后针对性地从平衡政府数据开放和个人隐私保护政策完善、完善数据流通体系、加强人才培养、调整大数据关键技术投入重心4个方面提出建议,推动我国大数据产业有效、健康发展。

肿瘤大数据中心信息系统建设初探

目的:为全国范围内肿瘤信息互联互通提供基础支撑,向各级医院提供肿瘤诊疗协作服务。方法:从总体框架、技术架构包括云中心物理架构以及业务架构几个层面规划并设计信息系统。结果:设计肿瘤大数据中心信息系统,能够采集、存储、分析各级医院恶性肿瘤诊疗信息,并提供远程医疗服务。结论:建设肿瘤大数据中心实现区域各级肿瘤专科医院与综合性医院肿瘤信息聚合,并提供远程服务,对优化调整癌症防控策略与防治工作意义重大。

基于云GIS的地理信息交换共享平台的研究——以湖南省为例

地理空间数据交换和共享是地理空间信息资源开发与利用的关键问题之一。针对湖南省海量多源异构地理空间数据管理及交换共享的应用需求,提出了一种基于高性能云资源池的地理信息交换共享模式,采用了分布式存储、并行计算及虚拟化等技术,建立了基于原生Hadoop架构的高性能云GIS平台,解决了海量地理空间数据实时浏览与动态渲染、异构平台服务聚合、数据在线流程化处理、在线制图等关键技术问题,在湖南省有关地理信息交换共享中得到初步应用。

档案信息资源共享平台数据处理流程研究

大数据时代档案信息资源的不断增加以及用户的不断拓展,对档案信息资源共享平台的数据处理流程提出了新的要求。文章论述了档案信息资源共享平台数据处理流程总体架构按照确保平台设计的可扩展性、充分重视数据的采集与存储等原则进行设计。在分析平台所要实现的功能需求基础上,采用Hadoop技术,从平台数据处理流程中的数据采集、数据清洗与预处理、数据存储及管理、数据展现等方面对平台数据处理流程的实现进行了论证。

大数据时代政府部门间信息资源共享体系的研究

随着大数据时代的来临,各个行业对大数据的利用成为了当前的研究热点。人们利用大数据进行分析和挖掘,可以做出更加科学和精准的决策。政府的各个部门拥有海量的数据资源,可以借助大数据技术,实现部门之间的信息集成和共享,更好地为人们服务。本文对大数据时代政府部门间信息资源共享体系以及关键技术进行了研究,对于今后发展政府部门间信息资源集成和共享具有深远的意义和参考价值。

遥感影像数据时空云服务系统建设研究

文章研究了遥感影像数据时空云服务系统建设的技术路线和方法,基于云计算、大数据等的新型IT技术,依托海量遥感影像云存储管理、大规模并行计算任务调度、分布式计算和面向对象的地物提取等关键技术,提出了一种数据共享和功能共享的理念,实现B/S模式下的遥感影像一体化存储管理、浏览查询、分析处理、共享应用等云服务,支持各行业和部门对不同时期、不同类型影像数据资源的应用需求,同时提供权威、精确、及时的影像地理信息资源服务和信息共享交换服务。

数据采集模板化技术在医疗大数据集成建设中的应用

医疗大数据及应用面临的问题之一是数据采集与汇集问题,在大量实践基础之上,本文认为高效及有效的数据采集技术是医疗大数据及应用的根本,也是构建医疗大数据交换共享的基本保障。为解决上述问题,本文介绍了解决此问题的关键技术及方案。

数据技术时代的未来

数据应用是数据技术时代的价值承载,数据技术时代和已有的信息技术时代的区别在于是否将数据作为生产资料。信息技术时代解决的是"过程"智慧的问题,从而提升效率,而数据技术时代解决的是"感知"和"协同"智慧的问题,使效率大幅提升并能完成业务的创新。归纳了数据应用类产品的分类,给出了一个通用的数据应用实现架构,同时对大数据的数据共享和交换的本质和难点做了简要分析。

企业级数据共享治理思路

文章简要介绍企业级数据共享的治理思路,讨论国内外现有大数据共享、交换的实现方式,进而阐述现有问题和面临的核心挑战。提出一种去中心化的数据共享空间框架以及在联通的可行落地架构,并进一步讨论基于此架构的使用场景及联通已实现的数据融合应用。

基于DCMM的集团级全域数据管理与共享平台研究与应用

为解决企业“数据烟囱”林立,数据共享不充分、管理不规范,数据“多头收集、数出多门”等问题,实现数据的充分汇聚共享交换,做到数据“一次录入、多处抓取、精准查询、充分运用”,提升数据管理水平。本文基于《数据管理能力成熟度评估模型》国家标准对于数据制度、数据资产、数据安全、数据共享等方面的要求,总结提出了大型企业集团提升全域数据管理水平的主要做法,提出了数据汇聚共享交换平台总体架构、技术架构,分析了SQL路由多引擎、大数据控制集群、基于边界阈值的数据校验、以促进用户扩大数据共享范围的热门搜索数据分析等数据共享平台研究与应用的关键技术,实现了数据的汇聚共享交换,满足了企业数据需求,减轻了下属企业的数据报送负担。

基于共享交换的环境生态大数据分析系统建设思路研究

随着环境信息化业务的飞速发展和信息化应用技术的日趋完善,社会公众对政务信息的需求逐渐提高,目前,数据信息的共享与应用已成为信息化建设的重要任务,通过共享交换已获取的社会信息、环境业务信息,为环境业务分析提供了丰富的数据信息源,搭建基于共享交换的环境生态大数据分析系统,也是环境信息化发展过程中面临的一个升级迭换过程,本文所述主要是基于共享交换环境生态大数据分析系统建设中的一点心得,希望为相关人员提供一定的参考。

内网敏感大数据共享交换安全性监控平台设计

为降低网络安全隐患与敏感大数据泄露的风险,设计内网敏感大数据共享交换安全性监控平台。采用区块链技术建立基于区块链的内网敏感大数据共享交换体系;设计基于虚拟机监控器的用户进程保护方法,并使用基于改进TOP-K算法的内网敏感大数据传输内存安全监测优化方法;利用数据可视化模块展示大数据分析结果及共享交换安全性监控结果。实验结果表明:该平台能监测到内网中全部恶意行为,具有较理想的内网敏感大数据共享交换安全性监控效果。该平台应用后,数据告警次数始终低于10次,安全隐患大大降低。

区块链在政务系统中的应用研究

文章通过梳理区块链技术的内涵、特征与应用情况,对电子政务服务中的区块链应用领域进行总结,分析其应用于电子政务中的优势与制约,并探讨其在电子政务服务领域中的应用方向、前景展望及解决方案。总结指出区块链技术可帮助政府部门盘活和管理多年来积累的与民生、经济息息相关的“政务大数据”,让其更好地开放、共享,并利用和挖掘政府大数据的价值。但是,安全性、可靠性及长期可用性等还存在一定的缺陷,需要从标准、制度、安全体系、开放共享机制等多方面来规范其在电子政务服务中的应用与推广。

基于校园大数据的数据共享与交换平台分析与设计

人工智能、物联网和云计算等信息技术在高校中的广泛应用,积极推动了校园信息化发展进程,使得教学、科研和生活等数据爆炸式地增长。然而,由于各个应用系统或平台建立的时间、环境、标准和技术等不一致,导致"信息孤岛"问题日益严峻。本文在剖析校园大数据共享与交换的现状的基础上,提出了一种基于校园大数据的数据共享与交换平台方案。该方案试图突破信息壁垒、解除信息孤岛,为异构业务系统、异构数据库和不同数据格式之间提供数据共享与交换提供服务。