基于Nutch的个性化搜索引擎的研究与探讨

提出了一个基于Nutch开源搜索引擎扩展和改进的解决方案。在Nutch+Lucene+Tomcat+Sqlsever架构框架下用户进行个性化资源采集配置从而获得一个定向数据采集的搜索引擎。

基于Nutch的XML网站全文搜索引擎实现

普通搜索引擎的网页抓取程序只能理解常见HTML标签,无法对XML网站的内容做有效解析。该文建立一个包含动态自定义标签的纯XML网站,提出借助XSL样式信息帮助网页抓取程序理解XML网页标签含义的方案,实现了基于Nutch的XML网站全文搜索引擎。

基于开源搜索引擎Nutch的研究与实现

Nutch是一个Java实现的开源搜索引擎。对开源搜索引擎Nutch存在的中文分词和页面排序问题进行分析,给出了改进方法。结合Paoding分词算法对Nutch中文分词器进行改进,利用Page Rank排序算法改进了Nutch评分机制。

Nutch分布式网络爬虫研究与优化

Nutch作为一个优秀的开源搜索引擎,其内核代码大量采用了MapReduce的编程模式,被越来越多的企业和团体用来定制符合自身需求的分布式搜索引擎产品。作为优秀的搜索引擎,其重要的前提是如何尽可能多地抓取到网页数据来建立索引。介绍了Nutch基于Hadoop下的分布式网络爬虫工作机制,指出其不足之处,并提出了改进方案,从而使网络爬虫能够更加高效地利用网络资源来抓取网络数据。经过实验测试,证明了此方案比原方案更加高效。

Nutch中网页排序效果的改进方法

Nutch是一个Java实现的开源搜索引擎。针对目前Nutch对中文进行单字切分且没有实现PageRank计算的缺点,改进PageRank算法,设计并实现基于MapReduce的PageRank计算方法,对Nutch中文分词进行改进,加入JE中文分词器。实验结果表明,改进后的Nutch具有更高的查询结果准确率和中文网页排序效果。

Nutch中PageRank的并行实现

针对目前Nutch搜索引擎中没有实现PageRank计算的缺憾,在分析和研究经典PageRank算法的基础上,通过设置控制站外与站内链接的比重因子对该算法进行了改进。利用MapReduce处理大数据集的优势,在Nutch机群系统上设计并实现了基于MapReduce的PageRank分布式并行算法。实验结果表明,处理的数据量越大,机群中的节点越多,计算PageRank的效率越高;另外,该分布式并行算法具有较好的可扩展性。