基于网页挖掘的网页作弊检测技术

搜索引擎模仿了社会网络研究的技术,在商业上取得了收益.商业机构为了经济利益,利用网页作弊获得较高的用户点击率.网页作弊严重影响用户获取的信息,浪费了用户时间.采用数据挖掘技术来发现网页中的作弊方法,包括基于内容的网页作弊、基于链接的网页作弊和基于隐藏技术的网页作弊.借助常规统计和语言特征分析,分析了基于内容的网页作弊检测技术;通过比较3种典型的基于网页排名的算法,即TrustRank算法、类似BadRank算法和Truncated PageRank算法的区别,分析了基于链接的网页作弊检测技术,从基于搜索引擎的访问率、源网页概率和短期导航率着手,分析了基于用户行为的网页作弊检测技术.

基于Bagging-SVM集成分类器的网页作弊检测

网页作弊不仅造成信息检索质量下降,而且给互联网的安全也带来了极大的挑战。提出了一种基于Bagging-SVM集成分类器的网页作弊检测方法。在预处理阶段,首先采用K-means方法解决数据集的不平衡问题,然后采用CFS特征选择方法筛选出最优特征子集,最后对特征子集进行信息熵离散化处理。在分类器训练阶段,通过Bagging方法构建多个训练集并分别对每个训练集进行SVM学习来产生弱分类器。在检测阶段,通过多个弱分类器投票决定测试样本所属类别。在数据集WEBSPAM-UK2006上的实验结果表明,在使用特征数量较少的情况下,本检测方法可以获得非常好的检测效果。

网页作弊与反作弊技术综述

随着网络信息爆炸式的增长,搜索引擎成为人们首选的获取信息的主要途径。能否在搜索引擎的排名中占有比较靠前的位置,将在一定程度上决定网页的访问量。一些网站并不是通过提高网页质量来提高其在搜索引擎中的排名,而是根据搜索引擎自身的特点,采用欺骗手段来提高排名,这就是网页作弊。网页作弊是搜索引擎面临的重大挑战之一。本文将结合常见的网页作弊的方法,阐述当前已经存在的比较有效的反作弊技术。

基于内容与链接特征的中文垃圾网页分类

随着搜索引擎使用的日益普及,web作弊已成为搜索引擎面临的一个重大挑战。国内外研究人员从基于内容,基于链接等方面提出了许多反web作弊的技术,这些技术一定程度上能有效地检测垃圾网页。本文在前人研究基础上提出了一种结合网页内容和链接方面的特征,采用机器学习对中文垃圾网页进行分类检测的方法。实验结果表明,该方法能有效地对中文垃圾网页分类。

搜索引擎作弊及反作弊技术探究

一些网页为了更容易被用户检索访问,采用作弊手段欺骗搜索引擎来提高排名。搜索引擎作弊具备多样性和复杂性,而且往往是多种作弊方式相互结合共同作弊,给搜索引擎的反作弊检测带来了不小困难。文章从分析搜索引擎作弊流行原因出发,对当前比较流行的搜索引擎作弊方式进行了初步研究及分类,对作弊的工作过程及方式进行了综述,针对目前每种作弊技术对应的反作弊技术进行了比较分析,并对未来反作弊技术的发展方向进行了展望。

搜索引擎应对垃圾网页的技术研究

介绍了常见的垃圾网页作弊方式。并对垃圾网页的识别方式进行了详细分析,包括基于网页内容的垃圾网页识别技术、基于链接结构来识别垃圾网页的Trust Rank算法以及目前比较流行的用于垃圾页面识别的机器学习分类法。其中采用Trust Rank算法与机器学习分类法来识别垃圾网页具有一定的通用性且具有与作弊方式无关的特性。最后提出了一些基于用户行为模式来识别垃圾网页的新思路。

基于检索相关度拓展的网页排名技术:IR-REL

SEO SPAM和飞速发展的网页规模要求更优的网页排名技术,在研究链接分析技术PageRank及互信息模型后,提出了检索相关度算法(IR-REL),构建相关词链表计算网页的布尔权重。该排名同时将权威度和相关度作为影响因子,可提高检索相关度,降低关键词作弊影响。文章给出了具体的排名策略、实验数据和系统模型。