基于MapReduce虚拟机的Deep Web数据源发现方法

为了提高Deep Web爬虫发现和搜集数据源的效率,提出了一种融合MapReduce和虚拟化技术实现DeepWeb海量数据挖掘的并行计算方法。基于MapReduce架构提出了一个Deep Web爬虫模型,通过链接过滤分类、页面过滤分类、表单过滤分类等3个MapReduce过程找到Deep Web数据源接口,并利用虚拟机构建单机集群进行性能测试。实验结果显示该方法可以实现大规模数据的并行处理,有效提高爬虫数据源发现的效率,避免网络及物理资源的浪费,验证了云计算技术在Deep Web数据挖掘方面的可行性。

基于搜索引擎的Deep Web数据源发现

提出一种利用搜索引擎发现数据源的方法。为向搜索引擎提交高质量的关键词,将本体作为等级化组织词汇的架构引入到初始词构建过程。对所有词汇按在当前领域中出现频率高低进行分类,并根据搜索引擎返回接口集元素数量进行二次分类,确保关键词是对发现数据源查询接口贡献较大的词汇。在不同领域上的测试结果表明,该方法能发现相当数量的查询接口,从而验证其有效性。

省市县基础地理信息联动更新关键技术研究

针对传统基础测绘要素数据生产存在重复投入、自动化程度较低、生产周期长、人工工作量大等问题,研究提出了省市县联动更新机制、技术路径及多源数据变化发现方法,并基于“天地图”平台,构建了信息共享平台和数据库。实例表明,该方法能够解决传统基础测绘DLG数据更新周期长、相同区域不同比例尺数据重复采集等问题,实现了基础地理信息资源整合、挖掘和更新的目标。