“大数据”时代的计算机信息处理技术研讨

本文针对“大数据”时代的计算机信息处理技术,采用理论结合实践的方法,分析了“大数据”的含义以及形成的影响,并提出“大数据”时代,经常需要用到的计算机信息处理技术,最后论述了“大数据”时代,计算机信息处理技术的发展前景。分析结果表明,“大数据”时代,数据量呈现出爆炸式增长,需要用到更加先进的计算机信息处理技术才能提升数据的处理下效果,提升数据的利用率,值的高度重视。

基于Deep Web Search技术的主题式爬虫模块研究与设计

随着Web技术的飞速发展,海量数据的管理与搜索变得尤为重要。海量信息的异构性和动态性特点要求信息集成需要Web爬虫来自动获取这些页面,以便进一步处理数据。而一些企业内部的资料既要保密又要供不同的内部职员使用,这种既开放又保守的特点成为企业发展的瓶颈。为了帮助用户完成这样的任务,本文改变传统的资源共享形式,为企业提供了一个高效便利保密的资源共享管理平台--企业搜索引擎(ESE),提出了一种基于主题式爬虫的Deep Web页面的企业搜索引擎(ESE)的和基于开源Java Lucene的索引企业搜索系统设计与实现方法。通过在电信行业Deep Web站点部署实验,经运行检验,结果达到了设计指标要求,为电信行业搜索发挥了作用。并对搜索的精度、速度,以及垃圾网页反舞弊等方面研究进行了展望。