基于MAPREDUCE并行化处理的用户地址数据规范化存储与管理系统设计

电网用户规模庞大,由于历史原因,对其地址数据进行存储和管理难度较大,目前用户地址数据规范化程度较低。针对这一问题,本次研究将基于MAPREDUCE并行处理机制,探讨用户地质数据规范化存储方法,解决其中的关键技术问题,并给出用户地质数据规范化存储管理系统的设计方案。

国际海洋观测计划数据规范化存储与管理的述评

基于世界大洋环流实验(World Ocean Circulation Experiment,WOCE)、全球联合海洋通量研究(Joint Global Ocean Flux Study,JGOFS)、全球海洋船基水文调查计划(Global Ocean Ship-based Hydro-graphic Investigations Program,GO-SHIP)和痕量元素及同位素海洋生物地球化学循环国际研究(An In-ternational Study of the Marine Biogeochemical Cycles of Trace Elements and Isotopes,GEOTRACES)四个国际海洋观测计划的科研数据规范化存储与共享管理经验,分析多学科综合计划如何让获得的海量观测数据进行长期、有效的存储,具有可传承性,探讨了建立数据中心和数据仓储对于数据的规范化管理和推进数据共享的重要性。总结出一套数据管理方案:在项目启动时,建立项目/数据管理办公室,推行科研数据标准化管理。针对项目研究主题形成完整的实体参数目录,统一数据名称、单位、分类及内容,制定元数据模板等,数据管理办公室要能存储和共享数据,并确保数据安全,在项目成员内部就数据质量的保证措施、数据共享与引用等管理规定达成共识。

海洋观测数据传输系统的设计与实现

随着全国海洋观测数据传输业务流程的变更,海洋观测数据传输的时效性和吞吐量要求明显提高,传输软件技术也需进一步统一。针对上述需求,采用多线程的socket传输机制、消息机制、完成端口机制,并自定义数据传输协议等方法设计并开发了一套海洋观测数据传输系统,实现了传输业务管理、文件发现、规范化存储、文件发送与接收、状态采集等主要功能。该系统支持新增节点的快速联网部署,实现了全国海洋观测数据的分级实时发现与传输。该系统已经部署在东海整个海区,其业务化运行结果验证了其可靠性和可扩展性。