分布式元数据系统的设计与实现

随着企业业务发展以及业务数据的不断积累,数据类型参差不齐,海量数据越来越难以处理。元数据系统作为提升数据质量和数据分析的平台应运而生。元数据现已成为数据仓库以及商业智能的核心,各个厂商针对元数据系统提出了自己的解决方案。现有解决方案目前对业务数据的更新操作支持不足。针对当前元数据系统面临的随着业务数据的增加,元数据系统快速扩展支持不够,造成数据无法及时处理,以及针对元数据修改无法同步更新到业务数据中,导致元数据和业务数据不同步的问题,提出一种分布式元数据解决方案,支持系统横向扩展,同时支持通过元数据操作,反向控制业务数据。通过元数据操作,支持业务生成。

海量小文件存储文件系统研究综述

随着互联网的发展,存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求,对于小文件存储,尤其是海量小文件存储的优化已变得越来越重要。首先提出对小文件存储的系统进行优化的必要性,然后对小文件存储中存在的问题进行分析并阐述优化的方式,并介绍三种具有代表性的适合小文件存储的文件系统,最后总结归纳。

开放存取资源元数据管理的对策

本文结合开放存取资源元数据管理的现状,提出了加强开放存取资源元数据管理的对策与建议。

信息网格中元数据层次化结构模型的研究和应用

数据的透明访问是信息集成技术研究的重点问题之一 ,分布自治的动态网格环境为数据的透明访问带来了更大的挑战 ,因此网格在分布式数据的异构透明和位置透明的基础上 ,提出了名字透明、并行透明、模式变更透明等更高层次的要求 ,这对于描述资源结构、内容、访问方式的元数据的设计也提出了更高的要求 基于信息资源空间模型的元数据层次化结构模型对屏蔽物理资源模式差异和模式变化 ,实现物理资源命名和位置独立性 ,实现资源透明访问的目标具有有益的帮助

基于ElasticSearch的元数据搜索与共享平台

随着水利行业信息化的发展,针对海量、多源、异构数据的共享与发现成为行业研究的热点。本文设计与实现一种基于Elastic Search的水利元数据搜索与共享平台,提出针对水利异构数据的解决方案并对海量数据建立索引,利用多租户访问控制策略,保证用户索引数据的一致性与安全性。通过Rest服务对索引资源进行封装,提供搜索与多粒度的共享方式。应用表明,平台能够保证用户准确高效地获得水利行业数据,节约了水利单位构建搜索系统的成本。

基于Web的分布式空间数据的集成研究

针对分布式异构空间信息的动态集成问题,在综合考虑集成的动态性、安全性和高效性的基础上,提出基于Web的分布式空间数据集成框架。该框架通过元数据和Web Services技术实现了数据的动态集成;通过压缩技术实现了数据的高效集成;通过授权控制和加密技术实现了数据的安全集成。为保证集成框架的灵活性和可扩展性,设计了基于GML格式的传输标准,并以实例证明了该方法的可行性和有效性。

决策支持系统中数据访问语言的研究

通过对目前面向问题求解的决策支持系统中数据访问机制的研究 ,设计了一种数据访问语言 (DAL)及其解释模型 ,从而通过在数据需求和数据存储之间添加数据语义层 ,提供了统一的数据访问接口 ,提高了决策问题求解的有效性和EUD模式的可行性。

FAIR准则与生物医学数据标准应用服务

2016年,科学数据管理的指导原则——FAIR准则被提出,即科学数据应具有可查询(Findable)、可获取(Accessible)、可互操作(Interoperable)并且可重利用(Reusable)等性质。自从该准则提出以来,受到国际广泛认可。通过FAIR准则的实施,将提升机器自动化发现和使用数据的能力,并提升其重利用的可能。在数据建设过程中,需要有完善的数据标准系统、数据标准实施工具与资源以及数据质量评价准则作为实现FAIR准则的支撑。

OPAC元数据利用调查分析

采用问卷调查的方法对湖南大学图书馆读者利用OPAC元数据的情况进行统计分析发现,目前OPAC系统存在使用不当、元数据名称过于专业化、可供选择的有效元数据较少、元数据都来自于书目数据信息且不支持内容模糊查找、缺少个性化元数据5个方面的问题。从读者需求的角度对OPAC进行改进,有助于读者利用OPAC查找所需信息。

面向数据中心的多源异构数据统一访问框架

数据中心中的多源异构数据的统一访问与融合处理是大数据分析处理的核心需求之一。分析了数据中心中的数据分类、存储方式与访问方式;面向主流数据处理技术,提出了面向数据中心的存储参考架构;提出并实现了基于参考架构的多源异构数据统一访问框架,该框架在任务调度上,采用两级调度机制;给出了框架执行流程,并分析了核心组件;结合框架部署应用,分析了框架实现的关键技术;针对数据浏览、精确查询和全表统计等场景,对比了框架与Hive的性能。

开放社会经济信息的元数据研究——以开放社会经济信息集成揭示与服务系统为例

社会经济信息与科技创新密切相关。建立支持产业发展、技术创新和成果转化的技术、行业、经济和社会信息资源支持体系,满足用户需求,有效支持用户获得经过遴选和评价的技术、行业、经济和社会等信息,为用户提供全面的信息支撑显得尤为重要。本文以开放社会经济信息的元数据为研究对象,对网络信息资源、报告、新闻资讯、政策法规、统计数据、生产技术等资源进行了调研。

网络科技资源平台中元数据的设计与实现

网络科技资源具有地理分布广、异构、不规范、海量的特点,为了高效地查找和使用网络科技资源,提出了元数据技术来实现网络科技资源的统一组织和表示。使用基于正则表达式的元数据信息提取模型,有效地从数量巨大的Web页面中提取元数据信息。并基于轻量级目录访问协议LDAP(Lightweight Directory Access Protocol)的目录服务机制实现了科技资源元数据的存储和访问,测试表明其具有良好的可行性和有效性。

会议文献开放资源采集与服务系统的元数据抽取

在会议文献开放资源采集与服务系统中实现了自动抽取+人工校对的元数据抽取流程,并设计了一个自动抽取器。针对会议文献开放资源本身的特点,该自动抽取器集成了多个基础抽取模板,并易于构建针对某个会议文献集的处理模板,能实现对多种格式的文献进行自动抽取,具有较高的准确度。

网格环境下的数据库访问和集成

为了集成网格环境中的数据库资源,促进网格应用支持现有数据库的访问,提出一种基于服务的数据库访问和集成系统(GridDBAdmin)。GridDBAdmin为用户提供了虚拟的全局逻辑数据库视图,支持用户使用现有的SQL语言同时访问多个数据库。系统由元数据服务和网格虚拟数据库服务构成。其中元数据服务负责发现含有用户所需数据的数据库,网格虚拟数据库服务提供全局逻辑视图,通过分布式查询机制将用户的SQL请求分解到具体的数据库中并进行结果合并。对基于Globus和OGSA-DAI工具包开发的原型系统进行了测试,得到了较好的结果。

基于元数据的对象管理的Web框架

提出了一种基于元数据的对象管理的Web框架(OMF),OMF针对目前流行的Web框架(如Struts等)缺少存储、一致性差等问题,充分运用JDO、Servlet、JSP等标准,使用XML定义对象元数据,辅以面向域的代码生成技术,实现了对象的持久、事务、表现视图等的一致性管理,并同时集成了灵活的基于角色和ACL的访问控制机制。通过该框架,能实现快速创建Web应用系统,极大地提高开发效率。

试论数字图书馆资源联合检索的实现

论文通过对如何实现数字图书馆资源联合检索这一问题的探讨,以期加快我国数字图书馆特别是中小型数字图书馆建设的步伐。

基于MSA的SMIM实现机制

提出基于元数据存储访问的共享管理信息模型实现机制,以解决异构系统互操作问题,保证数据一致性。该实现机制基于已有异构系统和已有数据,使用分层的逻辑划分,将实现过程划分为数据应用层、数据访问适配层、数据访问代理层、元数据存储层及数据存储层5个层次,并介绍了各个层次的功能和相关算法。

中国电信光进铜退IT支撑方案及技术架构的研究与探索

重点阐述光进铜退给IT支撑带来的挑战,提出IT支撑相关业务模式建议、IT总体方案设计原则及IT重点及配套系统改造方案,并就IT支撑中的要点、关键难点问题进行探讨。

基于目录服务的元数据管理系统设计

设计一种基于目录服务的元数据管理系统框架,详细讨论服务模型、目录视图和目录模式的实现思路,在实验室环境下搭建验证实验平台,在该平台上对管理系统中的DSML网关进行测试。测试结果表明,该系统可以有效管理元数据。

全球跨知识库服务项目及其搜索引擎的分析与研究

全球的知识库服务发展很快,而且其内容也在剧增,跨知识库服务已成为一种新颖的服务方式。本文介绍和分析了全球11个跨知识库服务项目及其相应的知识库搜索引擎的情况,同时对这些知识库搜索引擎收录的知识库的重叠情况做了统计和分析,最后针对我国的实际情况,提出了一些对策性的建议。