《反不正当竞争法》视角下爬虫协议规制的现实困境与出路探寻

爬虫协议通常借助robots.txt文件制定来向搜索引擎传递可抓取信息的范围,以此达到维护网站经营者合法权益的目的。在行业中,搜索引擎对网站内容进行信息抓取工作时,必须对该协议表示尊重,这已成为一种行业惯例。现有司法裁判规则也对爬虫协议从一般条款具体化的路径进行了确认,然而层出不穷的爬虫纠纷挑战了现有规则下爬虫协议的权利分配机制,以“行为正当主义”为标准进行判断,网站经营者设置不合理的爬虫协议极可能违背正当竞争,而现有的其他部门法如《知识产权法》在对其进行规制的过程中暴露出短板与不足。