基于网站访问行为的匿名爬虫检测

通过分析和研究网络爬虫访问网页内容的行为,针对恶意网络爬虫伪装成浏览器访问网站难以甄别、网站日志检测工具不支持匿名网络爬虫检测等问题,总结了一些基于机器人排斥协议和基于爬虫行为的恶意网络爬虫检测算法。通过这些网络爬虫检测算法的启发,提出一种基于爬虫行为的检测匿名爬虫算法。该算法主要根据人为访问网站与网络爬虫访问网站时间的长短、访问的周期等,对网络爬虫进行检测,同时对算法进行了实验验证。实验数据来自一个服务器的网络日志。应用Python对实验数据进行处理,从而对网络匿名爬虫进行检测,并与当前主流的匿名网络爬虫检测算法进行比较。结果表明,该算法能够检测出并发量小的匿名的网络爬虫。

网站客户行为模糊监控方法

互联网网站的发展为人类知识与信息的传播提供了前所未有的便利,但是,人们在正常浏览的同时,也有人恶意下载或非法下载,甚至非法修改网站,损害了网站拥有者的合法权益。针对客户对网站的访问,本文提出了网站服务器客户行为模糊监控方法。对于客户浏览网页链接跳转所用的时间,运用模糊分析技术,确定客户的操作行为是正常浏览还是下载,对恶意下载者实施相应的控制,以此保护网站所有者的权益。