大规模RDF三元组转换及存储工具比较研究

富含语义知识的数据网络是实现大数据智能的基石。资源描述框架(Resource Description Framework,RDF)是用于描述网络资源的W3C标准。大规模转换、存储管理RDF三元组是构建关联数据网络或语义知识图谱,实现数据可查找、可访问、可交互、可再用的重要路径。本文选择国际主流的10种RDF三元组转换工具,以及6种广受欢迎的RDF存储系统,从技术原理、性能特点及应用场景等多个视角进行对比分析,并总结存在问题和不足。提出未来大规模RDF三元组数据转换与存储管理需要实现的目标是实现RDF抽取、转换和加载(ETL)的流程化和集成化,并重点支撑4类典型应用需求场景,包括从非RDF数据到RDF数据的转换,不同RDF数据格式之间的双向转换,RDF三元组在数据库之间的数据迁移,以及RDF数据的动态更新和进化管理。

Goldfish:基于矩阵分解的大规模RDF数据存储与查询系统

随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对大数据环境下的语义数据的存储与查询技术提出了新的挑战.传统的基于关系型数据库的语义数据与查询系统已难以满足大规模语义数据的存储与查询需求.该文针对大规模RDF数据的存储与查询问题,以OpenRDF Sesame框架为基础,采用分布式分层式存储架构,提出并实现了属性表存储结构来进行语义数据的存储.在此基础上,针对布尔矩阵分解算法在对大规模语义数据构造属性表较慢的问题,基于Spark分布式计算框架提出并实现了并行化频繁项集挖掘算法求解大规模矩阵分解,以加速属性表的构造过程.并且,在查询层增加了基于哈希转换等查询优化.最后,基于该文所提出的索引结构和优化方法设计实现了原型系统Goldfish,并在大规模合成和真实数据集上进行了实验对比.结果表明,Goldfish原型系统比Rainbow系统查询性能平均提升约6倍,比Jena-HBase查询性能平均提升约500倍,比基于MapReduce的RDF查询系统SHARD性能平均提升约1200倍.

语义万维网环境下的RDF数据存储

资源描述框架RDF(Resource Description Framework)是一种元数据描述方法,也是下一代Web--语义万维网(Semantic Web)应用的基础。大量的RDF事实数据的操作和处理需要数据库的支持,利用Agent实现了RDF数据在数据库中的存储,同时也提供了一个对RDF数据进行操作和处理的应用实例。本例亦可作为一个基于领域Ontology的Multi-Agent系统的一部分,与其它Agent一起完成基于语义的Web应用。

RDFS本体在关系数据库中的存储研究

在介绍RDFS模型的基础上,提出了一种基于关系数据库存储RDFS的混合模式。首先设计出对应的关系模型,然后通过使用Jena解析实现了RDFS在关系数据库中的存储,最后以存储过程为例,对如何利用关系数据库技术优化RDFS的存储和管理进行了研究与实现。

基于面向文档的NoSQL数据库的RDF数据存储实现

以RDF格式发布的数据在语义Web上越来越多,需要有一个可以有效的存储和查询这些RDF数据的管理方案。本文设计并实现了基于面向文档的NoSQL数据库的RDF数据存储方案。该方案可以有效的实现管理RDF数据,并通过相应的索引来提高对数据的查询效率。实验结果表明,方案对RDF及其语义数据的存储和查询是有效并有性能的优势。

基于CAN的地理语义数据存储与检索机制

语义技术能够更智能、更精确地检索信息,辅助工作人员进行科学决策,已被应用于地理信息处理,并形成了基于RDF(Resource Description Framework)数据的地理查询语言GeoSPARQL。然而,基于地理语义信息处理的应用平台多采用中心化的存储和检索服务,使得这些平台存在单节点失效、扩展性差等缺陷。尽管已有研究人员提出了多种方法,试图利用对等网络技术来解决语义数据的分布式处理,从而提升应用系统的可靠性和扩展性,但这些方法并没有考虑地理语义数据自身的特征。针对上述问题,文中利用地理语义数据的特征在对等网络上对其进行存储,提出基于CAN(Content Addressable Network)的地理语义存储和检索方案,根据位置信息将地理语义数据映射到对等网络中,从而提高了语义数据的检索效率。实验结果表明,所提方案不仅具有良好的扩展性,而且地理信息的拓扑关系查询效率优于现有方案。

基于Hadoop的海量交通数据混合存储查询系统设计与实现

随着大数据时代的来临,交通行业也迎来了巨大的机遇与挑战,传统的基于关系型数据库的交通数据存储系统已无法满足应用对数据查询快速响应的需求。论文提出了一种将交通静态数据和动态数据分离的混合存储查询方案,分别使用HBase来存储RDF静态数据,Hive来存储交通动态数据。论文首先介绍了系统的设计理念和系统的设计方案,然后介绍了系统的结构设计和功能设计,最后展示了系统的原型实现。

基于RDF的海量语义数据管理研究

随着Web信息呈指数级增加,目前存储模式已难以适应大规模RDF数据高效存储的需求。本文通过对语义万维网结构以及RDF语义文件存储和查询技术的研究,分析了海量语义数据管理的研究领域和现状,提出了基于RDF的海量数据管理框架。该框架旨在实现对海量数据的管理,以解决RDF数据管理中存在存储设计难度大,查询处理复杂且效率低,查询结果排序困难的问题。

语义仓储构建技术研究进展

如何对海量的RDF数据进行存储、查询、存取和推理是RDF数据管理研究领域最关心的问题之一，文章界定了语义仓储的概念及其与关系数据库管理系统的区别，根据语义存储介质和组织方式的不同对语义仓储进行了分类，结合实际的案例对基于内存、基于传统数据库和原生方式存储模式的语义仓储的优缺点、适用范围和不同存储模式之间的区别和联系进行了分析，在语义仓储的分布式存储策略上，对集中式语义仓储和自组织语义仓储这两种网络结构的组织形式和应用系统做了综述，还对语义仓储测试基准及应用系统的研究进展进行了分析，讨论存在的问题及未来可能的研究方向。

分布式环境下大规模资源描述框架数据划分方法综述

随着知识图谱的日益发展和在各个垂直领域的广泛应用,对于资源描述框架(RDF)数据的高效处理需求日益成为现代大数据管理领域中的新课题。RDF是W3C提出的用于描述知识图谱实体以及实体间关系的数据模型。为了有效地应对大规模RDF数据的存储和查询,很多学者考虑在分布式环境中管理RDF数据。RDF数据的分布式存储所面临的关键问题是数据的划分,而划分的结果很大程度上决定了SPARQL的查询性能。从数据划分的角度,主要围绕两类:基于图结构的RDF数据划分方法和基于语义的RDF数据划分方法展开深入阐述。前者包括多粒度层次划分、模板划分和聚类划分,适用于通用领域查询的语义范畴较为宽泛的场景;后者包括哈希划分、垂直划分和模式划分,更加适用于垂直领域查询的语义范畴相对固定的环境。此外,针对几种典型的划分方法进行对比与分析,为未来RDF数据划分方法的研究提供参考。最后,对未来RDF数据划分方法的发展方向进行了归纳总结。

基于数据库集群的海量RDF数据联合查询系统的研究与实现

随着语义网的快速发展,为了实现科学数据的共享,越来越多的科学数据被加工发布为关联数据,进而应用于关联查询和关联发现。针对大规模关联数据的管理,本文通过构建RDF数据库集群来存储海量数据,设计了基于SPARQL端点的联合查询系统来解决用户跨机器透明查询的问题,分析了存储策略和联合查询系统的查询处理相关技术。实际运行表明,本平台易于集成使用,可以实现大规模RDF数据的可扩展性存储和有效查询。

语义仓储Virtuoso的技术分析和应用

指出如何对海量的RDF数据进行存储、查询、获取和推理是RDF数据管理研究领域最关心的问题之一。分析语义仓储Virtuoso的系统架构,在同其他语义仓储存储模式对比的基础上,剖析基于扩展三元组表存储模式的Virtuoso的RDF数据存储模式和索引机制;对Virtuoso扩展的SPARQL查询语言SPARUL的优点及采用后向推理引擎的方法进行研究;利用Virtuoso和Solr构建基于图模式的UKAT的术语服务原型系统,讨论系统存在的不足及未来的工作方向。