网页标题分析对主题爬虫的改进

随着网络信息资源的爆发式增长,现有的搜索引擎已经无法满足迅速获取准确信息的需要,为搜索引擎引入搜索内容更为精确的主题爬虫显得十分迫切。然而目前的主题爬虫所采用的两种基本抓取网页的方式效率比较低下。提出了一种通过网页标题分析对主题爬虫的改进方案,比较了引入标题分析前后的结果,论证了设计的可行性与可操作性,优化了主题爬虫对同类型特定信息的抓取。

基于网页标题的主题相关度算法的研究

首先，给出了主题爬虫的概念；然后介绍了主题相关度计算的两种模型：布尔模型和空间向量模型；通过对两种模型进行分析，提出了一种基于网页标题的空间向量模型主题相关度计算方法Relative。经过试验分析，该算法具有很好的实用性，基于该算法的主题爬虫系统能够在Web上爬取高度主题相关的网页，极大的提高了网络爬虫的效率。

“竟然”网页标题的语用预设分析

"竟然"是个使用频率很高的语气副词,也是常用的预设触发语,经常出现在网页标题中。文章从语用预设理论出发,分析了"竟然"网页标题的求异性、经济性、权威性和凸显性等语用功能。

基于相似度的网页标题抽取方法

目前网页标题的抽取方法大多结合HTML结构和标签特征进行抽取,但是这些方法并没有考虑标题与正文信息之间内容上的联系。该文提出一种基于相似度的网页标题抽取方法,该方法利用网页标题与正文信息之间的关系,通过计算语言"单位"之间的相似度和对应的权值,并引入HITS算法模型对权值进行调整,根据特定的选取方法抽取出真实标题。实验结果表明,该方法不仅对"非标准网页"的抽取达到满意的效果,而且对"标准网页"具有较高的泛化能力。

一种通过筛选和位置感知精准提取资讯类网页标题的方法

文章提出了一种通过筛选和位置感知精准提取资讯类网页标题的方法。这种方法包括获得备选标题列表,数据预处理,根据文本的位置筛选,根据文本中的标点筛选,根据位置感知来提取标题。采用从一个资讯类网页的备选标题列表中去除链接文本的exceptLinkText算法和用于感知备选标题列表中真正标题的下标的obPosition算法。实验结果表明,本文提出的精准提取资讯类网页标题的方法对实验数据样本的准确度为100%,比经典的相似度计算方法高出9%,比经典的TF-IDF方法的准确度高出17%。

基于超链接和DOM结构树的网页标题实时抽取方法

网页标题的正确抽取,在Web文本信息抽取领域有着重大意义。本文提出一种网页标题实时抽取方法。首先通过对目录型网页进行实时解析,接着采用基于超链接遍历的方法,并利用标题与发布时间的对应关系,最终获取对应目录型网页的URL及锚文本。若获得锚文本不是网页正文的标题,则获取主题型网页的HTML源码并构建网页DOM树。在此基础上,结合网页标题的视觉特点,深度优先遍历DOM树,正确提取网页正文标题。实验结果表明,本文提出的Web网页标题实时抽取方法,具有实现简单,准确率高等优点。

网页标题的最佳做法

由于网页的标题都会出现在搜索引擎的结果显示页面中．所以对每个网页的标题都请用心!

基于分块的网页内容提取算法的研究

目前针对于网页分块的正文提取方法很多。一些学者提出,利用标签的数量来判断目标网页采用何种标签对网页进行结构布局,然后针对某一单一标签,对网页进行分块,这种方法针对与大多数利用标准化XHTML排版的网页是可行的,但是对于很多利用松散标准的HTML网页,其排版布局的标签分布不均,很难准确的提取正文内容;利用预先设置的搜索窗口,准确的分离正文段落和相邻的非正文段落。

循序渐进作网页——高级建站篇

前一期里已经向大家介绍用“东方网页王Ⅲ”快速建站。但对于一些“老鸟”来说,“东方网页王Ⅲ”可能有点小儿科了,所以在这一期当中,我们再向大家介绍用优秀的网页制作工具“FrontPage2000”做出具有专业水准的网页。下面我们将利用建站向导,让你快速建立个人网站。

一种有效的专题信息集中和检索策略

Internet上专题资源网页汇聚和检索是垂直搜索引擎中的核心问题,HITS算法是早期解决这个问题的经典算法,很多文献对它进行了改进,但无论索引的主题相关率还是引擎的查准率都有提高的余地。提出一种基于锚文本和标题信息过滤并结合网页内容相关度判断的HITS专题检索策略,利用专题训练集判断主题相关度,很好地解决了只依靠查询字符串判断的弊端。实验表明,此策略能很好地提高专题信息汇聚精确度和检索的准确率,并且减少了非相关URL的下载量。

外媒视点

通过互联网让更多的客户关注企业的服务，或可为当下信息快速传递时期的重要途径。然而，网络营销的建立并不容易，若想吸引客户的注意，必须以三个核心原则来制订基本策略——搜索引擎的优化，建立内容营销，建立社会媒体营销。其中通过对一些细节进行改善可以达到提高网站排名的目的，如精确描述的、独一无二的网页标题，新颖方便的页面结构，在所有网页上含有丰富的、真正的、合适的关键词，在颇受关注的网站进行链接，不断更新相关内容，拥有丰富的图像和视频，等等。

基于链接路径搜索的URL属性集成方法

在W2DR算法实验中,部分网页因其锚文本提供的信息量不足,导致利用半结构化的网页信息填充结构化数据库内容效果不佳。为此,提出一种基于链接路径包的URL属性集成方法。采用将锚文本和网页标题相结合的机制,从被搜索网页集中,根据最佳匹配策略求解得到URL属性值,并将其填充到目标数据库。实验结果表明,与W2DR算法相比,该方法在2个不同数据集中的F值分别提高13.91%和3.54%。

网络摄像头的安全威胁技术分析

近年来,随着网络摄像头(Webcam)在安防监控、智能交通、智慧城市、智能生活等领域的应用越来越广泛,其安全变得尤为重要。由于需要通过网络进行管理,所以网络摄像头设备通常直接暴露在互联网上,并且缺乏完善的安全防护措施,导致网络摄像头设备极易受到攻击,致使个人隐私安全与互联网安全都面临着严峻的挑战。

基于主题型页面的正文信息抽取技术研究

Web页面信息通常包含大量无关结构和HTML标记,而页面主题信息通常淹没其中,如何快速获取Web页面主题信息。本文提出了一种抽取策略,首先判定是否为主题型页面,然后提取网页正文信息,最后利用正则表达式滤除内容块中HTML标记和无关文字。实验结果表明:该方法能准确地完成主题型网页的正文抽取任务。

Google排名靠前有四招

当大家在Google中输入“Linux杂志”这个关键词时，Google搜索引擎会在零点几秒内遍历数据库，并显示所有有关“Linux杂志”的网页，但是有关信息会按照某种秩序进行排名。更有趣的是，这个排名是不固定的，会随着时间的推移而改变。

Google高级搜索三点谈

Google除了支持普照通的搜索语法，在一些特定的场合下也有它的用武之地．本文将为你介绍Google的site link，intitle等高级搜索方法和技巧．下面我们来看看具体的应用。