网络关联大数据的存储与计算架构设计

Design on the Framework of Managemet and Computing for Network Associated Big Data

随着互联网应用发展,以微博为代表的网络关联数据在迅猛增长。这些规模庞大,关联复杂的图结构数据给传统数据库的存储、管理和计算带来了巨大挑战。论文提出了一套基于图数据库模式的关联数据的管理和计算框架。该框架能实现网络关联数据的高效存储管理和计算,能解决海量关联数据的存储和计算的可扩展性及其易用性问题。初步实验结果表明:图数据存储模式在面向关联数据的存储管理中,性能比传统的关系数据库模式有明显提高。另外,该框架还定义了网络数据关联属性的抽取工具和图计算API。该工具能有效地实现网络非结构化数据到结构化数据的转换;采用框架中引入图计算API,能满足关联数据的常用计算需求,支持关联数据的相关应用的开发。