简评WebCrawler与MetaCrawler

介绍并分析了WebCrawler与MetaCrawler这两种搜索引擎的性能,并由此引出对搜索引擎的未来发展方向的一些思考。

基于元搜索的主题式WebCrawler的研究

利用元搜索引擎的原理提出了一种基于元搜索的主题式WebCrawler,结合主题式信息检索的特点对PageR-ank公式进行了一定的改进,并把改进后的PageRank公式应用到页面主题相关性的判断上.

网络爬虫的设计与实现

Web爬虫有两种爬取策略,基于Webcrawler(web爬虫)设计的BFS(广度优先)策略,文章使用MD5算法,来进行O(1)时间复杂度的链接判重。为了避免频繁的查询DNS服务器,建立DNS缓存。另外,也因一般行为模式的考量,在中加入了IP范围控制技术,网页过滤方法,和多线程并发技术。最后,给出了此爬虫所需的时间分析,以供评估并后续发展。

BP网络在Web Crawler中的应用

本文介绍了Web Crawler和BP网络的基本原理,在此基础上,应用BP网络对网页变化的时间间隔进行建模,通过BP算法训练得到一个预测模型,预测出各网页的变化时间间隔,通过与实际采集的时间间隔相比较判断网页是否发生变化。实验证明,BP网络能够有效预测网页变化的时间间隔,指导增量更新。

互联网+时代智慧校园移动服务平台构建

针对目前很多高校数字化校园平台访问方式单一、建设初期缺乏统一模型指导、信息资源利用率低等问题,本文基于面向主题的WebCrawler、改良的个性化信息推送、系统无缝集成、改进的热点发现算法等技术研究构建了一种门户式智慧校园移动信息平台,为高校多方位、效能化、智慧化的创新管理与服务提供了有效的技术支撑。

今天我到哪儿去?

这是一个我最近经常反复琢磨的问题。随着越来越多的人们联接Internet并且 访问World-Wide Web网点更加容易后,他们经常也会想,“下一步我将到哪儿呢?”下面是我的几个非常感兴趣的Web访问点。