论爬虫协议对互联网竞争关系的影响

从爬虫协议的法律性质出发,研究了爬虫协议的内容,区分了爬虫协议以及根据爬虫协议制定的robots.txt。从反不正当竞争法角度而言,设置排斥性条款的robots.txt可能违背爬虫协议的自由和公平精神,从而违反公认的商业道德和诚实信用原则。从反垄断法角度而言,如果没有合理理由,具有市场支配地位的服务商利用robots.txt进行拒绝交易和歧视对待行为,可构成垄断行为。

互联网竞争中设置爬虫协议黑名单的定性——由“百度与360大战”引发的思考

在"百度与360大战"中,从《反不正当竞争法》的角度看,百度和360之间存在竞争关系,百度设置爬虫协议黑名单的行为并不构成不正当竞争,但360不遵守爬虫协议黑名单的行为违反了商业道德,对市场竞争造成了损害,有构成不正当竞争之嫌。从《反垄断法》的角度看,百度并不占据互联网内容提供市场的支配地位,也并未控制"关键设施",其行为具有合理的理由,并不会损害市场竞争,因而百度的行为并不构成反垄断法上的拒绝交易行为。

我国对违反“爬虫协议”行为的法律规制研究

随着大数据时代来临,一些与"爬虫协议"有关的案件先后宣判,以违反"爬虫协议"为代表的数据抓取类不正当竞争行为不断进入普通民众视野,并引发了学界和业界的高度关注。违反"爬虫协议"行为具有诸多危害性,但新近颁行的反不正当竞争法并未将对该行为的规制问题纳入互联网专条中,因而法院只能依据一般条款对其作出裁判,这显然已不能适应社会的需要。因此,有必要对相关法律条款加以进一步优化和细化,以便更有效地规制违反"爬虫协议"的行为,保障各方合法权益,形成多方共赢局面。

媒介技术变迁下爬虫协议判定互联网不正当竞争的法律效力研究——兼评“今日头条诉微梦创科公司不正当竞争案”

从Web1.0到Web2.0,互联网场域发生了巨大改变,相关技术在其中的作用也随之改变。对技术定性不同,其法律效力也有所不同。传统搜索引擎场景中,爬虫协议可被认定为行业惯例或技术规范。但当其适用场景从搜索引擎转到互联网移动媒介时,爬虫协议的效力发生变化,搜索引擎的行业惯例无法判断移动媒介场景下涉及爬虫协议的互联网竞争行为。“今日头条诉微梦创科不正当竞争案”正是爬虫协议在新场景中适用时所引发的典型案例。面对新场景下爬虫协议法律效力不清的困境,采用后果取向型裁判方法,直接考量经营者与消费者的相关利益、公共利益,评判竞争行为的正当性是更有效的做法。

《反不正当竞争法》视角下爬虫协议规制的现实困境与出路探寻

爬虫协议通常借助robots.txt文件制定来向搜索引擎传递可抓取信息的范围,以此达到维护网站经营者合法权益的目的。在行业中,搜索引擎对网站内容进行信息抓取工作时,必须对该协议表示尊重,这已成为一种行业惯例。现有司法裁判规则也对爬虫协议从一般条款具体化的路径进行了确认,然而层出不穷的爬虫纠纷挑战了现有规则下爬虫协议的权利分配机制,以“行为正当主义”为标准进行判断,网站经营者设置不合理的爬虫协议极可能违背正当竞争,而现有的其他部门法如《知识产权法》在对其进行规制的过程中暴露出短板与不足。

爬虫协议作为商业道德评判行为正当性的考量维度--评北京字节跳动科技有限公司与北京微梦创科网络技术有限公司不正当竞争纠纷案

被诉行为正当与否要以商业道德作为判断依据时,有必要谨慎考察商业道德内容。爬虫协议(Robots协议)是随着互联网的兴起和搜索引擎技术的应用而产生的,属于搜索引擎行业的惯例,但不具有技术措施的效果。本文通过评析针对性设置爬虫协议引发的不正当竞争纠纷案,从具体内涵、发展演变、法律适用和利益平衡四个维度,对与爬虫协议相关的行业惯例作为商业道德评判经营者行为正当性进行分析讨论,明确行业惯例会随着行业发展区分应用场景,通过考察行为效果、权衡多方利益、维护经营自主权等方面认定被诉行为的性质,认为在非搜索引擎应用场景下,应当对经营者所设置的限制他人抓取的爬虫协议给予更多容忍。

“爬虫协议”的定性及其竞争法分析

"爬虫协议"是广泛应用于互联网站点与搜索引擎间的一种通信技术协定,在搜索引擎中广泛使用。从法律角度看,网络内容服务商与搜索引擎之间因彼此的公开信息和搜索查询行为构成信息服务合同关系,而爬虫协议则是合同条款之一,并与商业习惯或道德规范有着一定的联系。除此之外,当爬虫协议作为一种竞争工具而存在时,它的不同运用方式,会对市场竞争产生重要影响,亦需要法律对其做出判断。

网络爬虫行为的入罪路径及其限度

恶意爬虫蕴含计算机信息系统破坏、计算机信息系统侵入、计算机信息系统数据泄露三重风险,有必要对其进行刑事规制。为避免刑事打击泛化,应依据网络爬虫运行流程对其作出情景化区分,根据不同情境下网络爬虫所含风险特征作法律性质辨析,以此建构恶意爬虫入罪路径,并划定刑事规制范围。当数据抓取行为违反授权判断型技术措施、所抓取数据已侵害数据安全法益、达到相当危害程度,则属于恶意网络爬虫,应予刑事规制。

向量空间协议爬虫动态污点Bug数据补齐算法

采用网络协议爬虫方法对Web网页跨站脚本的动态污点Bug进行检测和数据补齐,根本上保证Web安全。传统方法采用主成分分析和驱动爬虫方法进行Bug数据补齐,当用户提交的数据没有经过严格的过滤和验证的时,Bug漏洞不能得到有效检测。提出一种基于向量空间动态污点传播模型的Web协议爬虫算法,实现对动态污点Bug检测与数据补齐,构建向量空间模型,计算Bug数据和漏洞检测中的模糊关系的隶属度,提取动态污点Bug数据模态特征进行网络爬虫,优化对动态污点数据的检测性能。仿真实验结果表明,该算法能提高数据补齐的准确性,聚类性好,收敛性提高,保证了系统安全防御的实时性,在Web程序安全设计中应用前景广阔。

网络爬虫行为的刑事规制研究——以侵犯公民个人信息犯罪为视角

网络爬虫在其被使用以来的二十余年时间里,之前被人们视为没有问题的中立技术,如今被人们视为“道德上可疑的并可被视为违法”的技术。结合侵犯公民个人信息的具体领域和行为,情境化地探讨网络爬虫行为违法性及其刑事规制问题,具有重要意义。网络安全法与公民个人信息保护法等确立的公民个人信息保护合法性原则,以及网络爬虫领域规范爬虫行为的行业规则即爬虫协议(Robots协议),是判断爬虫行为形式上非法的重要标准。对爬虫行为侵犯公民个人信息是否构成犯罪还应从实质上加以判断。行为人在权限许可范围内使用爬虫行为获取公民个人信息,或采取爬虫行为非法收集的公民个人信息无法识别特定自然人身份等行为,不构成犯罪。通过形式判断与实质判断、形式入罪与实质出罪双重机制,可以合理实现对网络爬虫行为的刑事规制。

大数据时代网络爬虫行为刑法规制限度研究

网络爬虫技术具有中立性,网络爬虫行为有善恶之分。恶意网络爬虫行为侵犯数据法益,符合相关犯罪构成要件,确实存在一定的刑事风险。然而,我国刑法理论对爬虫行为入罪讨论过剩、出罪研究不足;司法实践对网络爬虫行为的法律适用从民事侵权、不正当竞争上升为刑事犯罪,且刑事判决日趋递增,使得网络爬虫行为刑事风险不断扩张,导致网络爬虫技术被污名化,甚至有被扼杀之危险,这一趋势在行为认定方面不断突破罪刑法定原则底线。必须明确网络爬虫行为合法性边界,抓取开放数据和单纯违反行业规则的爬虫行为无需适用刑法,突破反爬防护措施和抓取非开放数据并非都要承担刑事责任,从形式违法和实质侵害两个维度,具体划定网络爬虫行为刑法规制的限度。

从行业惯例的角度分析robots协议的司法约束力——由3B大战引发的思考

robots协议也称爬虫协议、爬虫规则等，是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，而搜索引擎则通过读取robots．txt文件来识别这个页面是否允许被抓取。但是，这个robots协议不是防火墙，也没有强制执行力，搜索引擎完全可以忽视robots．戗t文件去抓取网页的快照。那么，当百度基于robots协议诉奇虎不正当竞争时，法院该判令奇虎遵守robots协议吗？文章以此案例导出，通过对robots协议的法律性质作出认定，从行业惯例的角度去分析robots协议的司法约束力，并认为在法律缺失的条件下，符合习惯构成要件的robots协议应该得到遵守。

浅论利用爬虫爬取数据行为的正当性标准——基于《反不正当竞争法》的视角

本文探讨爬虫爬取数据行为的正当性标准。首先从爬虫协议的性质出发,认为由于爬虫协议有人为设置以排除和限制竞争的可能,故不能想当然地作为判断爬取行为是否正当的标准,爬取行为是否正当仍然要从《反不正当竞争法》所保护的法益出发。进而分析了经营者、其他经营者、消费者三方主体间的两对关系,认为判断爬取行为是否正当要将目光放在爬取的次数、数量、使用方式以及何为处理信息的“合理范围”上,从而均衡各方利益,促进信息流通,鼓励创新。

网络爬虫获取数据的商业秘密规制路径研究

人类社会已经进入大数据时代,大数据获取是整个大数据产业链中的重要环节,通过网络爬虫获取数据是一种重要的数据获取方式.为了限制爬虫获取数据,企业会通过爬虫排除协议,以及采取其他技术措施的方式对网络爬虫进行反爬.司法实践中已经有相当数量的案例认定网络爬虫获取数据的行为构成了对计算机信息系统数据、个人信息、受版权保护的作品及邻接权保护客体等相关法益的侵害,但目前几乎没有将爬虫获取数据认定为侵害商业秘密的公开案例.爬虫排除协议是互联网领域普遍接受的商业习惯,具有法律上的约束力,且反爬技术措施的保护强度并不弱于司法解释所列举的保护措施的强度,通过商业秘密对网络爬虫获取数据的行为进行规制具有可行性.

网络爬虫软件的研究与开发

作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱。然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求。基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生。主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用。首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等。其次,提出使用向量空间模型进行主题相关度计算。为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术。最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫。

数据抓取行为的反不正当竞争法规制研究

数据抓取行为有利于数据共享的同时,也成为了新型不正当竞争手段。数据抓取行为因其技术中立性和行为隐蔽性,对其法律性质的认定应当分类讨论,同时也增加了数据不正当抓取行为的认定难度。竞争法框架下,可以通过互联网专条中的兜底条款、一般条款以及商业秘密保护条款对数据不正当抓取行为进行规制。由于专条兜底条款和商业秘密条款保护对象的局限性,司法实践中常通过一般条款认定数据抓取的不正当竞争性。在司法实践形成类型规制的情形下,有必要增设“数据抓取不正当竞争行为”条款、增强爬虫协议的法效性。

网络爬虫行为的罪责认定路径:数据确权与利益平衡

确定网络爬虫的刑事责任边界,核心问题在于对数据获取行为是否取得授权的判断。关于数据犯罪中的“未经授权”或“超越授权”,美国判例先后存在代理范式、合同范式、撤销范式、代码范式等不同认定路径。上述范式背后所代表的合约权利标准和技术障碍标准各有利弊,二者并非互择一,而应是递进互补的关系。网络爬虫刑事责任的认定,应当首先通过场景式、类型化的思路进行数据确权分析。在此前提下,合约权利的违反奠定了数据爬取行为的基础不法。对合约的形式应当进行限定,其中爬虫协议发挥着举足轻重的作用。在此基础上,技术障碍的突破进一步提升和确证了刑事不法,由此可以限制处罚范围的过度扩张。技术障碍的认定不宜过度严苛,典型的反爬措施可以归入此类,对此应当妥善考虑企业数据权利、平台运营模式等多重利益的平衡。

网络爬取行为的法律规制及完善

在司法实务中,司法机关根据网络爬取行为对象不法层面的法益侵害和行为不法层面的归责而进行相应的法律规制。面对权益保护与行为规制路径的竞合、刑法扩张适用的缺陷和私益保护模式的不足,需要进行法律规制路径的梳理与司法价值取向的转变。即采用以权益保护为主、行为规制为辅的追责梯度,根据技术区分原则限制刑法的扩张适用,平衡私益保护和公益保护。此外应创新法治理念,协同适用公法与私法机制,向法律风险双向沟通以及网络公共领域的多元主体协同治理的方向转变。具体包括:引入强制缔约机制,增强爬虫协议的法效性;增设行业公约,实现多方耦合共治。

《反不正当竞争法》一般条款的实施问题研究--以数据竞争为视角

《反不正当竞争法》第二条即为该法的一般条款,该条款在处理不正当数据竞争纠纷中发挥着至关重要的作用,不仅在理论上得到普遍的认可,也在实践中被广泛使用。虽然使用一般条款规制数据竞争行为具有深厚的理论与实践基础,但由于数据竞争行为在反不正当竞争案件中具有特殊性,一般条款对它的使用仍然存在一些问题。实践中,以爬虫协议和OpenAPI协议为基础的不正当竞争纠纷是数据竞争纠纷的典型代表。审理该类案件过程中,法院普遍将爬虫协议或OpenAPI协议视为商业道德,将违反协议获取消费者数据信息的行为视为损害消费者福利的行为,而违反协议抓取企业数据的行为视为损害市场竞争秩序的行为,还有个别法院赋予数据权利化的保护倾向。文章认为《反不正当竞争法》不是"权利法",而是"权益法",它不是要保护个别经营者或者消费者的权利,而是要维护整个竞争市场的秩序,保障经营者、消费者整体之间的利益均衡。在传统的竞争领域如此,在判断数据或竞争是否具有正当性时更需坚持。上述问题不予以重视和解决,将模糊《反不正当竞争法》和其他部门法的实施界限,成为该法实施过程中的一大顽疾。

数字经济背景下数据爬取行为的不正当竞争规制--以司法裁判路径为视角

当前司法实践对数据爬取纠纷采取静态的权利路径规制,从数据控制者享有的数据权利出发,以是否违反数据爬虫协议作为判定爬取行为正当性的关键因素,存在利益保护单向化问题,无法应对不断涌现的数据市场新型行为这一认定困境。鉴于国内外数据爬取行为不正当竞争的裁判思路转变,司法机关在适用反不正当竞争法第2条规制数据爬取不正当竞争纠纷时,需要以公平、效率等竞争法基本价值为导向,转向以数据利益权衡为路径的结果导向型裁判思路。