爬取公开信息行为入罪的逻辑解构与标准重构——从“反反爬行为”的性质切入

在涉及网络爬虫程序的数据犯罪案件中,绕过反爬虫措施的“反反爬行为”因其“技术侵入性”和“法益侵害性”,成为爬取公开信息行为入罪的主要依据。然而,反爬虫措施不是计算机安保措施,故“反反爬行为”的“侵入性”在技术层面上并不成立。同时,为保护“数据控制权”而认定绕过反爬虫措施抓取数据行为侵害数据安全的观点,亦不具有正当性、合理性和可行性。实际上,基于计算机技术的原理、数字经济发展的需求、维护法秩序统一的需要,只有当“反反爬行为”突破基于特定身份的访问权限,从而破坏封闭网络空间的信息安全时,相应爬取数据行为和提供爬虫程序行为才成立数据犯罪。因而绕过反爬虫措施抓取公开信息的行为,不应构成非法获取计算机信息系统数据罪。

大数据时代数据抓取行为的竞争法规制与反思

作为数据时代的新型商业行为,数据抓取既具有中立性,也具有竞争性,体现了平台企业间数据共享利益与数据竞争利益之间的博弈。我国竞争法对数据抓取行为的规制主要适用一般条款与互联网专条,然而条款的模糊性、商业道德的不确定性、法官的权益侵害式判断逻辑都不利于对数据抓取行为正当性的合理界定。实践中应当从数据抓取的行为本身出发,秉承社会福祉最大化理念,运用狭义比例原则对数据抓取行为进行衡量。

网络爬虫行政、民事、刑事一体化治理路径构建研究

网络爬虫作为一项衍生于数据化时代的新兴技术在当下已然具有不可估量的积极效能,然而其中更值得给予关注的是其背后盘根错节的法律风险。在对网络爬虫的概念以及其正反层面的影响进行剖析后可发现,在实行客观违法并合主观故意的基础上,通过所爬取的数据类型映射的不同法益认定不同罪名的规制方式实然存在许多偏颇之处,因此需要通过健全行刑衔接机制、以广义授权整体外化客观行为、明晰所爬取数据法益实质归属等途径,联动行政、民事、刑事视域进行一体化治理,以创制网络爬虫治理的全新模式。

面向订票服务器端爬虫的可视检测方法研究

恶意下载爬虫对电子商务造成了不可忽视的损失,为此设计了一套适用于各航空公司的通用查订票爬虫检测系统.首先系统以航线图、柱状图、饼图等多种可视化手段展现各时段的爬虫检测效果;其次基于SVM分类器,并结合IP地址聚合和查询量排序技术,设计了高效识别动态IP爬虫等多种爬虫的检测算法;最后通过特征筛选、IP历史详情查询等可视界面支持用户手工筛选训练样本,以更新SVM分类模型.以某航空公司访问E-Build服务器的日志数据进行的实验结果表明,该系统能够有效地抓取多种爬虫,大大降低无效查询量,并且能方便地更新分类模型,保持检测算法的长效性.

基于决策树算法的爬虫识别技术

网络爬虫指的是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本^([1])。但是实际上爬虫还分为正规爬虫和非正规爬虫,所谓的正规爬虫就是通过正规途径和手段获取网站信息和数据,非正规爬虫又称为恶意爬虫,主要用于非法盗窃数据,给网站服务器增加负担以及偷窥一些敏感信息数据等。本文将会基于决策树算法设计一种新爬虫检测技术,并根据爬虫检测结果提供一些反爬机制,对恶意爬虫进行进行评屏蔽等,进而实现对网站和服务器以及部分数据,信息的保护,降低互联网资源重叠现象。

履带起重机臂架后倾动力学仿真

履带起重机在突然卸载时臂架后倾是整机稳定性和防后倾机构设计要考虑的工况。应用ADAMS软件对臂架及整机在履带起重机在突然卸载时臂架后倾工况时的动力过程进行仿真,并对防后倾机构的刚度和阻尼进行参数优化,以达到减轻臂架振动、提高整机防后倾稳定性的目的。

对反爬虫网站的应对策略

随着网络的发展和网络爬虫技术的普及,越来越多的个人用户使用了网络爬虫技术从网站获取信息,而过多的网络爬虫会对目标网站的运营造成一定的影响。某些网站为了防止自己的网站不被除搜索引擎以外的网络爬虫访问,使用了一些反爬虫技术。笔者探讨了一些常见的反爬虫措施以及对应用了该类机制的网站的进行爬虫活动的手段和策略。

网络爬虫行为的入罪路径及其限度

恶意爬虫蕴含计算机信息系统破坏、计算机信息系统侵入、计算机信息系统数据泄露三重风险,有必要对其进行刑事规制。为避免刑事打击泛化,应依据网络爬虫运行流程对其作出情景化区分,根据不同情境下网络爬虫所含风险特征作法律性质辨析,以此建构恶意爬虫入罪路径,并划定刑事规制范围。当数据抓取行为违反授权判断型技术措施、所抓取数据已侵害数据安全法益、达到相当危害程度,则属于恶意网络爬虫,应予刑事规制。

基于反过滤规则集和自动爬虫的XSS漏洞深度挖掘技术

为解决Web网站跨站脚本攻击(XSS)问题,通过对XSS漏洞特征及过滤方式的分析,提出了通过反过滤规则集转换XSS代码并用自动爬虫程序实现漏洞代码的自动注入和可用性检验的XSS漏洞挖掘技术,依此方法可以获取XSS漏洞代码的转换形式及漏洞的注入入口,以实现对Web跨站漏洞深度挖掘.提出的XSS漏洞挖掘技术在邮箱XSS漏洞挖掘及Web网站XSS漏洞检测方面的实际应用验证了该技术的有效性.

基于网页浏览行为的反爬虫研究

在大数据的背景下,数据的潜在价值被不断地挖掘出来。能够有效识别或阻挡爬取行为的反爬虫方法对于商业服务网站来说尤为重要。基于网页浏览行为,提出一种新的反爬虫方法。该方法通过对真实用户和网络爬虫浏览网页的行为进行特征提取,然后构造并使用决策树对一个用户是否属于爬虫进行预测。该方法对网络爬虫的敏感性高,并具有较低的假阴率。

动态网页解析下的分布式网络爬虫系统设计

由于Web前端技术和反爬虫技术的发展,系统的复杂性也在逐渐增大,爬虫在爬取数据时获取动态网页数据、应对反网络爬虫以及集群稳定性还存在问题,这些问题对爬虫系统获取动态网页数据的效率存在着很大影响。文章基于分布式网络的爬虫器,对上述问题进行了深入的研究和分析。首先,对所设计的分布式爬虫系统进行了需求分析;其次,结合系统需求,给出了系统整体结构和各模块的设计;最后,重点分析了系统中的关键技术,即爬虫的健壮性分析、网页动态加载分析。

基于Scrapy框架的爬虫和反爬虫研究

伴随着互联网的快速发展,获取信息已经成为人们日常生活中必不可少的一部分。在众多信息来源中,通过浏览器进入网站获取信息是绝大多数人的选择,但如果按照这种方式正常地进行信息获取,获取信息速度较慢,量较小,由此便产生了网络爬虫。网络爬虫又称为网络蜘蛛或网络机器人,可以按照使用人定制的规则,短时间内在万维网上搜集大量特定信息。网络爬虫在爬取信息的同时,也带了一些问题,如大量信息被非正常获取,是一种损失,同时,大量爬虫对网站维护也是一个巨大的负担。如何在维护网民正常访问的前提下,有效阻止这些爬虫就显得十分重要。因此,文中主要研究Python语言开发的开源爬虫框架Scrapy所开发的爬虫,对目前网站常用的一些反爬虫手段进行分析,基于Scrapy框架以及具体网站,举例说明爬虫如何应对网站这些反爬措施。

网络爬虫反爬策略研究

网络爬虫在工作时会对目标站点发送大量的请求,这样的爬虫工作方式决定了其会消耗不少目标站点的服务器资源,这对于一个服务器不大的中小型站点来说负载是巨大的,甚至会导致该站点直接崩溃。另外某些网站也不希望自己的内容被轻易的获取,如电商网站的交易额,这些数据是一个互联网产品的核心,因此采取一定的手段保护敏感的数据。因此很多网站都在站点中加入了反爬机制。例如User-Agent+Referer检测、账号登陆及Cookie验证等。文章讨论了几种主流的方法来避免爬虫被目标站点服务器封禁,从而保证爬虫的正常运行。

大型履带起重机防后倾系统机液耦合动力学分析

以750 t履带起重机液压防后倾系统为例,基于多体动力学和虚拟仿真技术建立机液耦合模型,分析了在突然卸载时系统对主臂稳定性的影响及突然卸载系数的变化规律。应用ADAMS和AMESim软件分别建立刚柔耦合模型和液压系统模型,并进行联合仿真。在不同起重量、不同工作角度工况下,分析该液压防后倾系统对臂架抗倾覆稳定性的作用,同时获得臂架系统的动态响应曲线。根据臂架突然卸载时的受力情况,计算突然卸载系数,并对比GB/T 3811《起重机设计规范》以探讨突然卸载系数的变化规律,为履带起重机安全性能设计计算提供参考依据。

基于网页对比的校园二级网站防篡改监控系统的设计与实现

在高校信息化建设过程中,校园网内大量的二级网站内容和安全监管工作存在着多种薄弱环节。提出了针对高校中大量二级网站防篡改监控系统的方案,使用爬虫程序抓取二级网站的网页内容。使用网页对比工具对网页的新旧数据作比对,运用正则表达式定制忽略列表以过滤自动变更的信息,将有变动的网页展示给监控人员;监控人员对结果作出审核确认,及时发现网页异常改动的情况,从而在第一时间知道并应对可能发生的篡改事件。

双面履带式抗翻转机器人的设计

研发了一种探知复杂地面环境的抗翻转双面履带机器人,包括机器人本体结构设计、参数优化分析和控制模块三个部分内容。机器人本体设计采用了运动稳定和越障能力很强的履带式传动,对机器人的外观作了新颖的设计;针对履带机器人履带容易脱落的问题进行了分析从而找到解决方法;采用无线网络远程控制和现场信息实时反馈的方式达到探知环境信息的目的。机器人运动灵活,对环境的适应性强。在火灾和矿井事故现场探测有广阔应用前景。

基于Python的网络爬虫与反爬虫技术研究

论文主要为网络爬虫的设计及实现、反爬虫技术的实现及相关技术的研究。通过研究目标网站爬虫门槛的协商及通过的条件,及反爬虫相关技术及最新发展。基于Python设计及实现一个完整的网络爬虫,最终完成了对目标网站所有文章数据的提取和存储,并借助对实验室内部网站的测试并实现了绕过反爬虫及反爬虫技术的研究,并对网络爬虫及反爬虫技术进行了理论说明和发展展望。

面向跨境电商的网络抓取技术研究

网络爬虫已成为提高跨境电商数据化运营效率的一项热门技术。本文通过叙述商业爬虫软件采集商品页面信息的基本方法,论述了爬虫程序提取商品价格与评价信息的常用算法,分析了抓取Ajax生成的Json信息、实现动态翻页和应对网站的反对爬虫的技术和方法。实践证明,由于电商平台反爬虫策略会动态调整,如何利用人工智能技术更好地模仿人类行为来实现有效的信息采集是跨境电商爬虫技术提升的要点。

基于python的分布式网络反爬虫数据有序性研究

爬虫产生的负面影响导致网站无法正常访问、运行,故反爬虫技术应运而生,针对反爬虫数据存在的无序性问题,提出面向分布式网络反爬虫数据有序性研究,降低数据后续处理难度。基于python语言及其Scrapy结构,架构分步式网络反爬虫模型,采取人为纠错、主成分分析线性降维以及数据转换等预处理手段,获取特征清晰的反爬虫数据集;根据反爬虫数据样本集与训练集的合并集,结合有向图,利用k最邻近分类算法划分反爬虫数据类别,针对分布式网络反爬虫数据的无序性,设计比特序列递推算法,赋予反爬虫数据有序性。仿真阶段中,经对比百度图片与反爬取到的图片顺序,验证所提方法的有效性,通过探索带宽环境对数据有序性的影响可知,其有序性不受带宽环境影响。

大数据时代网络爬虫行为刑法规制限度研究

网络爬虫技术具有中立性,网络爬虫行为有善恶之分。恶意网络爬虫行为侵犯数据法益,符合相关犯罪构成要件,确实存在一定的刑事风险。然而,我国刑法理论对爬虫行为入罪讨论过剩、出罪研究不足;司法实践对网络爬虫行为的法律适用从民事侵权、不正当竞争上升为刑事犯罪,且刑事判决日趋递增,使得网络爬虫行为刑事风险不断扩张,导致网络爬虫技术被污名化,甚至有被扼杀之危险,这一趋势在行为认定方面不断突破罪刑法定原则底线。必须明确网络爬虫行为合法性边界,抓取开放数据和单纯违反行业规则的爬虫行为无需适用刑法,突破反爬防护措施和抓取非开放数据并非都要承担刑事责任,从形式违法和实质侵害两个维度,具体划定网络爬虫行为刑法规制的限度。