反爬虫战争

几乎是和爬虫技术诞生的同一时刻,反爬虫技术也诞生了。在20世纪90年代开始有搜索引擎网站利用爬虫技术抓取网站时,一些捜索引擎从业者和网站站长通过邮件讨论定下了一项“君子协议”——robots.txto即网站有权规定网站中哪些内容可以被爬虫抓取,哪些内容不可以被爬虫抓取。这样既可以保护隐私和敏感信息,又可以被搜索引擎收录、增加流量。