robots协议限制抓取行为的正当性分析

robots协议(Robots Exclusion Protocol),又称为爬虫协议、机器人协议,是指网站所有者通过一个置于网站根目录下的文本文件,即robots.txt,告知搜索引擎的网络机器人(或称网络爬虫、网络蜘蛛)哪些网页内容不希望被抓取,哪些网页内容可以抓取。其本质上是受访网站与网络机器人之间的一种“君子协议”,不具有技术措施的限制效果。