面向主题的网络蜘蛛技术研究及系统实现

首先研究了面向主题的网络蜘蛛的关键技术:抓取目标描述、网页分析算法和网页搜索策略等,在此基础上,设计并实现了一个面向主题的网络蜘蛛系统(简称主题蜘蛛),采用向量空间模型来计算网页的主题相关度,使用改进的Shark-Search网页搜索策略来决定待抓取链接的访问次序,从种子网页开始,只爬行具有较高预测相关度的链接,仅采集与主题相关的网页,多线程对网页进行下载和分析,提高了主题网页采集的精度.

专业搜索引擎搜索策略综述

按照评价链接价值所采用方法的不同,对专业搜索引擎的搜索策略进行了分类,分析了各类搜索策略的特点,比较了它们的优缺点。对未来的研究方向进行了展望,给出了若干值得研究的问题。

一个基础教育网站搜索引擎的设计与实现

在研究网站元数据的基础上,介绍一个以基础教育网站为检索对象的搜索引擎系统。结合基础教育网站的特点,分析该系统的关键技术,如主题蜘蛛搜索、网站分类、网站信息提取等,并对系统的整体架构、功能模块进行详细描述。

中文农业主题搜索引擎的设计与实现

用户对农业信息的需求越来越多,农业搜索引擎的开发变得十分必要.从农业搜索引擎发展状况出发,在分析研究通用搜索引擎工作原理、系统架构的基础上,设计并实现了中文农业主题搜索引擎,给出了开发过程中采用的关键技术.结果表明,能满足用户实际需求.

主题搜索引擎中爬虫搜索策略的研究

为了解决传统主题爬虫效率偏低的问题,传统主题爬虫会选择最有价值的链接进行访问,仅简单地计算链接的相关性,却忽视待分析URL之间的相关性关系,致使主题爬虫爬取效率较低。提出一种基于链接模型的相关性判别算法,综合利用有标种子URL和无标的待判别URL实现对无标URL的相关性判别,并推导出迭代初值选取对结果的不敏感性。实验结果表明,与传统的网络爬虫算法相关性判别方法相比,提出的方法效率更高。

网络蜘蛛搜索策略进展研究

网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一.按照评价链接价值所采用方法的不同,对专业搜索引擎网络蜘蛛的搜索策略进行了分类,分析、比较了各类搜索策略的特点和优缺点.对未来的研究方向进行了展望,给出了若干值得研究的问题.

主题搜索引擎中网络爬虫的搜索策略研究

本文对主题搜索引擎中的网络蜘蛛搜索策略进行了详细的分析,在深入分析主题页面在Web上的分布特征与主题相关性判别算法的基础上提出了一个面向主题搜索的网络蜘蛛模型,对模型的组织结构进行了详细阐述。作为主题网络蜘蛛搜索策略的核心部分,主题相关性判断算法是网络蜘蛛能够围绕设定主题进行聚焦检索的关键。在URL的主题相关性判别过程中引入了链接文本及相关链接属性分析,提出了一种新颖的URL主题相关性算法—EPR算法。

基于搜索引擎调用的主题搜索设计与实现

网络搜索是目前从因特网上获取信息的主要手段,而网络蜘蛛又是大多数网络搜索工具获取网络信息的主要方法,主题搜索策略是专业搜索引擎的核心技术。通过研究网络蜘蛛的工作原理,分析了网络蜘蛛的搜索策略和搜索优化措施,设计出一种将限制搜索深度、多线程技术和正则表达式匹配方法结合一起的网络蜘蛛,实验结果表明该方法能够快速而准确地搜索所需的相关主题信息。

自适应最优搜索算法的网络蜘蛛的设计与实现

主题搜索引擎NonHogSearch改进了采用最优搜索算法的网络蜘蛛的搜索过程,控制了搜索的贪婪程度;并引入网页信噪比概念,从而判断网页是否属于所要搜索的主题页面;进一步,NonHogSearch在爬行过程中自动更新链接的权重,当得到主题相关页面时产生回报,将回报沿链接链路逆向反馈,更新链路上所有链接的Q值,这样避免了网络蜘蛛过早陷入Web搜索空间中局部最优子空间的陷阱,并通过并行方式实现多条链路的同时搜索,改进了搜索引擎的性能。实验证实了该算法在查全率与查准率两方面都有一定的优越性。

基于情感分析的商品评价模型构建研究

如何从海量的网上评论数据中,分析得出指导消费者的有用信息,是商品评价研究领域的新课题。本文以电商网站的评论数据为基础,以文本分析技术为工具,建立一套较为完善的情感词库与主体抽取规则,将不规则的评论数据转变成结构化的评价数据,利用模糊数学方法,建立基于情感分析的商品评价模型。研究显示,该评价模型的评价结论,贴合消费者体验,评价效率也得到提高。

企业专用搜索引擎的搜索策略

分析了现有的通用搜索引擎技术,并指出了其局限性。针对企业用户的需求,提出构建面向企业用户的专用搜索引擎的设计思想。该设计采用人工智能启发式搜索的思想,在企业用户设定的种子站点集和关键词集的基础上,根据网页和链接的评价值进行有针对性的搜索,提高了专用搜索引擎的效率,并为个性化的服务提供了基础。

Flash资源智能搜索系统架构与关键技术研究

通过对Flash资源网站页面特征的分析，本文提出Flash资源智能搜索系统的架构，定义了Flash资源的“元数据结构”，阐述了该系统的总体设计思想，着重分析了系统的一些关键技术及实现方法，如特征提取、主题式蜘蛛、Flash资源分类等，并对系统模块详细描述．

网络多媒体主题搜索策略研究

针对多媒体链接在网页中分布的特点,对PageRank、Shark-Search两种典型的主题搜索策略进行相关参数的改进,并从网页内容和网页链接的角度计算了多媒体链接与主题的相似度。实验结果表明,改进的Shark-Search多媒体主题搜索策略比改进后的PageRank搜索策略更能有效地提高多媒体主题搜索的效率,同时也更适合网络多媒体资源的主题搜索。

网络蜘蛛搜索策略比较研究

以何种策略访问Web,以提高搜索效率,是近年来专业搜索引擎研究的主要问题之一。按照评价链接价值所采用方法的不同,对现有的网络蜘蛛搜索策略进行了分类,分析、比较了各类搜索策略的特点和优缺点,总结了提高网络蜘蛛搜索效率的几个关键因素。对未来的研究方向进行了展望。

搜索引擎中网络蜘蛛搜索策略比较研究

何种策略访问Web,以提高搜索效率,是近年来专业搜索引擎研究的焦点之一。按照评价链接价值所采用方法的不同,对现有的网络蜘蛛搜索策略进行了分类,分析、比较了各类搜索策略的特点和优缺点,总结了提高网络蜘蛛搜索效率的几个关键因素。对未来的研究方向进行了展望。

一种垂直搜索引擎主题相关性改进算法

迅速发展的Web给传统的搜索引擎带来了前所未有的挑战,面向特定主题或特定领域采集相关信息的垂直搜索引擎应运而生。在垂直搜索引擎中,网络蜘蛛的爬行策略和主题相关性判定算法是其核心。该文详细介绍了一种主题相关性判定算法-Hits算法,并在此基础上提出了一个改进的主题相关性判定算法,实验表明,改进的Hits算法提高了爬取网页的主题相关度,有助于网络蜘蛛爬取特定主题的信息。

基于Boltzmann行动选择策略的网络蜘蛛搜索算法

在分析传统网络蜘蛛搜索机制特点的基础上,将Boltzmann行动选择策略引入网络蜘蛛的链接选择机制,提出了一种基于Boltzmann行动选择策略的启发式网络蜘蛛搜索算法.针对国外四所著名大学计算机系网站中计算机论文资源的搜索实验表明,新的算法可以有效提高搜索效率.

基于模拟退火的网络蜘蛛性能分析与系统实现

在分析传统网络蜘蛛搜索机制特点的基础上,将模拟退火机制引入网络蜘蛛的链接选择策略,提出了一种基于模拟退火机制的启发式网络蜘蛛搜索算法.设计并实现了一个计算机相关论文搜索引擎网络蜘蛛系统.针对国外4所著名大学计算机系网站中计算机论文资源的搜索实验表明,新算法可以有效提高搜索效率.

一种基于非贪婪策略的网络蜘蛛搜索算法

在分析传统网络蜘蛛搜索策略缺点的基础上,提出了一种非贪婪的链接选择策略,进而提出了一种基于非贪婪策略的启发式搜索算法。针对国外四所著名大学计算机系网站中计算机论文资源的搜索实验表明,新算法可以有效提高搜索效率。

基于模拟退火机制的网络蜘蛛搜索策略

在分析传统网络蜘蛛搜索机制特点的基础上 ,将模拟退火机制引入网络蜘蛛的链接选择策略 ,提出了一种基于模拟退火机制的启发式网络蜘蛛搜索算法。针对国外四所著名大学计算机系网站中计算机论文资源的搜索实验表明 ,新算法可以有效提高搜索效率。