基于Scrapy与规则的公共文化机构官网信息采集与内容抽取

[目的/意义]公共文化服务机构在服务运营的过程中产生大量数据,既有宏观的年度统计数据,也有微观的活动通知、参加人数等细节数据,如何快速全面地获取这些数据并进行有效集成,是公共文化大数据分析与挖掘的一个前提。[方法/过程]在分析公共文化服务数据分布与特点的基础上,研究信息采集与数据抽取技术。[结果/结论]通过网络爬虫技术获取官网上的数据,利用正则表达式从半结构化及非结构化的文本中抽取目标数据。

公共文化服务大数据集成架构设计研究

[目的/意义]针对当前各图书馆、文化馆等公共文化服务机构的多源异构数据,设计出一套行之有效的集成架构。[方法/过程]在充分分析公共文化大数据资源的基础上,对公共文化服务大数据的类型与分布进行分析,结合公共文化服务大数据的应用场景,设计公共文化大数据集成的架构。[结果/结论]提出一个由数据来源层、系统集成层、数据融合层、存储层、应用层五个层次构成的公共文化服务大数据集成架构,并对其中的采集、存储等关键技术进行研究。