网络爬虫行为版权侵权的行政规制

网络爬虫是一项能够根据指令自动搜索并抓取指定网络信息内容的新兴互联网技术,存在被滥用之风险。作为爬取网络版权数据信息的工具,网络爬虫行为版权侵权现象时有发生。目前,对于网络爬虫行为版权侵权的规制多见于民法与刑法领域,忽视了行政规制。目前存在的网络爬虫行为侵权规制过于依赖司法手段、缺乏针对网络爬虫行为的必要规范以及行政机关针对网络爬虫行为的互联网监管缺失等问题,阻碍了网络爬虫行为版权侵权行政规制的应用与发展。对此,可以从构建网络爬虫行为版权侵权的全覆盖预警系统、完善网络爬虫行为版权规范内容和设置网络爬虫使用者自律管理义务等方面着手,充分利用行政手段遏制网络爬虫行为版权侵权,保护版权权利人的合法权益。

基于深度哈希算法的学生画像个性化推荐系统的设计与实现

为了提升学生画像个性化推荐的效果,研究设计了一种基于深度哈希算法的学生画像个性化推荐系统。通过使用深度哈希算法结合经过处理的学生信息,进行了学生信息特征标签的提取,并构建了学生画像标签维度模型,从而提升了学生画像的生动性。根据学生画像标注的学生特征,在学校课程资源特征数据集中进行搜索匹配,并根据排序后的检索结果生成推荐结果。实验结果表明,该系统能够有效地采集和预处理学生信息,并成功构建学生画像,完成学生画像的个性化推荐。

大数据时代下网络爬虫行为的刑法规制

大数据时代的到来,网络爬虫技术已然成了一项不可或缺的重要技术。随着爬虫技术对生活各方面不断渗透,可以窥见爬虫的入侵、抓取、提供环节均可能招致法律风险,甚至进入罪名规范辐射范围之内。在技术规制的失效、Robot协议的不足以及行业标准的缺失之时,刑法规制的必要性体现于此。当然刑法应当遵循谦抑性原则,在明确数据属性与法益保护范围的基础上跳脱出罪名适用“口袋化”的现状。

面向专用信息获取的用户定制主题网络爬虫技术研究

进入大数据时代,互联网已成为各行各业进行信息采集的重要阵地。面对爆炸式增长的网络信息资源,如何快速高效地筛选出所需的信息成为亟需解决的现实难题。在互联网海量数据和专用信息采集人员之间构建一个满足特定需求的信息筛选机制,可以大幅度提高专用信息获取工作效率。主题网络爬虫是所有互联网信息获取手段必须具备的首要环节,为了提高专用信息采集的准确性,文章进行了面向公开网络的用户定制主题网络爬虫技术研究。针对大数据时代信息筛选困难的问题,文章通过将用户的兴趣偏好融入到主题网络爬虫的抓取过程中,有效提高了信息筛选力度,并通过实验验证了文中方法能够提高查准率。

从技术到犯罪:恶意网络爬虫行为入罪的类型认定与裁判思路探索

网络爬虫作为一种脚本或算法程序,其模拟人工点击访问网站等计算机系统,具有精准性、高效性、广覆盖等特征,常被作为检测系统漏洞和爬取数据的工具,被广泛应用到社会各领域。囿于当前网络爬虫行为的法律边界尚不明确,恶意网络爬虫行为日益泛滥,常僭越法律底线,异化为各种形态的犯罪。司法实践中,涉网络爬虫行为的非刑事立法缺乏体系化和精准度,恶意网络爬虫行为入罪呈现出“口袋化”趋势,常受到理论界诟病。从犯罪行为类型化分析,刑法视野下的恶意网络爬虫行为可分为窃取型、侵入型和扰乱型访问;在认定恶意网络爬虫行为刑事非法性时,可通过行为的合法性、正当性和必要性进行判断,并综合考量行为人主观认识、网络爬虫的功能、行为对象、客观结果等要素,进而破解恶意网络爬虫行为入罪时的“口袋化”困境。

微博分析研究综述

微博,是当前重要的社会信息传播平台之一,具有易操作、传播快等特点,人们可以通过微博直接快速地表达对突发事件、公众人物、热门产品等的观点。为了利用海量微博信息,需要综合多种分析方法挖掘其潜在价值。综述了当前微博分析领域的研究现状,提出了自主研发的微博分析系统,探讨了未来微博分析的研究方向。首先,介绍了微博分析的主要技术方法,包括利用微博开放平台和利用网络爬虫技术。利用微博提供的开放接口,可以方便快捷地获取微博信息,如微博内容、用户评论、用户个人详情、粉丝数、关注数等。但也存在诸多限制,如每小时只能抓取有限次数、微博平台并不开放所有信息资源等。利用网络爬虫技术可以获取更多信息,如基于全网的网络爬虫的信息采集技术可以覆盖更广的范围,基于主题的网络爬虫的信息采集技术可以选择性爬取预先设定的主题等。其次,介绍了目前微博分析的热点问题,包括微博用户行为和微博内容两方面。微博用户行为分析包括:1)传播网络研究,利用Gephi等可视化工具,呈现出微博在传播过程中的传播路径、传播范围、关键转发节点等信息,可用于预测未来传播情况;2)传播因素研究,通过分析用户行为,揭示信息传播的可能原因;3)用户影响力分析,不同学者给出不同的度量方法,而要精准地评价用户影响力需要综合考虑多方面因素,如粉丝数、转发数、被提及数、回复、社会关系等。关于微博内容的分析包括:1)微博文本预处理,包括分词和去停用词2个步骤;2)微博热点话题发现,常用方法包括基于词频的统计方法和文本聚类方法,这两种方法都有利于提高发现热点话题的效果,但没有考虑到话题动态演变的特性;3)情感分析,也被称为观点挖掘,一直是微博研究领域的热点问题,可以利用微博表情图片抽取情感词,并结合构建语义词典和机器学习的方法对微博进行情感分类,最终判断微博情感极性,可用于舆情监控、商业预测和产品选择等方面。再次,提出了自主研发的微博分析系统——阅微,重点介绍了其情感分析、地域分布和传播图3个模块。情感分析模块,基于情感词典的方法对用户的评论内容进行情感分类;地域分布模块,提取参与用户的地理位置信息并加以统计分析,呈现出微博传播在全国范围内的分布情况;传播图模块,利用可视化手段展现微博信息的传播扩散情况,如转发关系、转发层级、转发范围等情况。最后,归纳全文,从技术和应用2个方面归纳微博分析的挑战问题:可从技术上突破微博接口资源限制,提高微博分析的效率和精准度;同时从微博应用方面发展事件监控、管理和商业方面的应用。

基于网络爬虫结合关联大数据的用户信息提取

针对传统方法筛选用户访问记录过程中,抓取页面行为特征不够全面,影响了用户信息采集成功率等问题,提出基于网络爬虫结合关联大数据的用户信息提取方法。利用网页爬虫技术,协助浏览器抓取网络页面,统计访问模式和网页浏览内容,获取历史行为数据,挖掘用户感兴趣的关联大数据,对行为特征进行预测评分,排序其重要程度,得到用户信息提取列表,进一步筛选列表页面信息,得到能够反映用户兴趣的资源信息。选取时间为30天的手机网络流量数据集进行对比实验,结果表明,上述方法相比传统方法提高了信息采集成功率,提取用户信息更加完整,同时提高了提取信息准确率,提取结果与用户关联程度更高。

一种多源统一爬虫框架的设计与实现

面向深层网数据的爬虫技术与反爬虫技术之间的对抗随着网站技术、大数据、异步传输等技术的发展而呈现此消彼长的趋势。综合对比当前主流的爬虫和反爬虫技术,针对高效开发、快速爬取的需求,MUCrawler(多源统一爬虫框架)被设计成一种可以面向多个网站数据源,以统一的接口形式提供爬虫开发的Python框架。测试结果显示,该框架不但能够突破不同的反爬虫技术获取网站数据,在开发效率、鲁棒性和爬取效率等方面也体现出较好的运行效果。

基于网页浏览行为的反爬虫研究

在大数据的背景下,数据的潜在价值被不断地挖掘出来。能够有效识别或阻挡爬取行为的反爬虫方法对于商业服务网站来说尤为重要。基于网页浏览行为,提出一种新的反爬虫方法。该方法通过对真实用户和网络爬虫浏览网页的行为进行特征提取,然后构造并使用决策树对一个用户是否属于爬虫进行预测。该方法对网络爬虫的敏感性高,并具有较低的假阴率。

网络爬虫技术的理性思考及多元规制方法

大数据时代,恶意爬取数据的现象屡见不鲜。这使得网络爬虫行为的规制问题更具研究意义。然而,当前学界对爬虫技术的应用存在一定的认知偏差,并过于夸大了法律规范的社会效果。对此,文章期望通过加强有关法律的体系整合、明确相关监管机构的权限划分、健全国家级数据中心群与数据共享网络、以及加强数据行业协商性“立法”的多元规制方法,促进数据产业的健康发展。

基于机器学习算法的校园网学生上网行为评估方法研究

随着互联网的迅速发展,大学生上网时间和频率呈指数上升趋势。在大数据环境背景下,作为教育工作者和学生管理者,如何通过上网数据了解大学生真实的学习生活情况,培养学生良好的网络习惯是高等教育质量提升的新机遇和挑战。文章提出了一种在线获取学生网络流量及上网日志的模型,利用随机森林(Random Forest,RF)和梯度增强决策树(Gradient Boosting Decision Tree,GBDT)两种机器学习方法进行数据分析,实现对学生上网行为的准确评估。并且为指导学生养成良好的网络习惯提出相应的建议和对策,以求提高高等教育的质量。

基于数据挖掘的用户行为特征分析算法研究

从用户行为特性的研究现状出发,在研究各种数据挖掘算法的基础上,以分析用户行为特征为目的,采用所编写的网络爬虫软件来获取某网络论坛上的实时数据,并利用K-Means聚类算法对所获取的用户数据进行聚类分析,由此完成对用户行为特性的分析.

滥用爬虫技术的刑事风险与刑法应对

当前爬虫技术已经异化,出现大量非法收集个人信息、窃取商业秘密、窃取数据等违法犯罪现象.从现实案例来看,爬虫技术的使用存在多个方面的社会风险,比如个人信息遭受泄露、计算机信息系统数据被非法收集、公共利益受到损害以及危及国家安全.现行刑法对滥用爬虫技术的规制体现在责任形式上主要是故意犯罪,过失犯罪只能通过其他罪名来间接体现,且效用非常有限.立法机关应当高度关注滥用计算机技术的过失犯罪问题,对于产生严重后果的行为应立法确认过失犯罪.面对网络空间主权的出现,刑法对危害国家安全、公共安全的罪名应当作出适当调整.与此同时,在人工智能时代应体现刑法的积极应对,为顺应现代科技发展,也需要对个人信息保护范围进行适当扩充.

基于隐马尔科夫模型的网络爬虫检测算法仿真

在网站的建设与维护中,为了提升服务器效率,加强安全保密性等原因需要区分普通用户和网络爬虫程序。但是一些不完善或恶意的设计使得针对爬虫程序的检测变得困难,这些爬虫程序不仅加重网站的负担,也危害了网络的安全。为了解决这一问题,本文提出一种利用行为模式进行检测的技术,采用隐马尔科夫模型描述行为模式,并使用Matlab仿真实现高精度的检测效果。结果表明,利用隐马尔科夫模型的检测技术可以实现高精确度和低错误率的网络爬虫检测。

基于数据挖掘的电商农产品评论分析——以三只松鼠碧根果为例

随着电子商务的快速发展,农产品电商越来越受到重视,但电商企业在农产品上行过程中还存在很多问题。本文用python方法,设计爬虫,抓取"三只松鼠"天猫店的碧根果产品的评论。对评论文本进行分析后,得出结论,农产品上行需要重视产品研发,严格把控产品质量、提升运营服务能力、完善供应链的建设、明确产品定位以及提升品牌知名度。

基于网络爬虫与页面代码行为的XSS漏洞动态检测方法

在Web应用程序中,跨站脚本漏洞是一种十分常见的安全性漏洞,其促使恶意用户把代码注入合法用户使用的页面上,以进行XSS攻击。XSS漏洞在攻击Web应用程序、获取用户隐私数据等方面十分常见,传统XSS漏洞检测工具,尚未实现对AJAX Web应用程序的针对检测,精确度也相对较差。对此,笔者对以网络爬虫与页面代码行为为基础的XSS漏洞动态检测方法进行了详细分析,实践表明,其不仅可以大大节约时间与人力成本,还能够在很大程度上提高漏洞动态检测的准确性。

数据分类分级视域下网络爬虫行为的刑事入罪标准

数据安全是总体国家安全的重要组成部分。网络爬虫技术作为侵犯数据安全最主要的手段之一,在当下面临着刑事风险扩张的问题,在个案中存在罪名认定模糊的现象。我国《数据安全法》规定的数据分类分级制度为解决网络爬虫行为的刑事入罪标准问题提供了路径。对诸多有关网络爬虫行为刑事入罪标准界定的主张进行评介、祛魅,发现须严格按照数据分类分级制度的标准对网络爬虫行为应否入罪进行判定。基于此,对数据分类分级制度在网络爬虫行为刑事入罪标准中的具体应用进行形塑,或能为数据安全与发展提供更好的法律保障。

网络爬取行为的法律规制及完善

在司法实务中,司法机关根据网络爬取行为对象不法层面的法益侵害和行为不法层面的归责而进行相应的法律规制。面对权益保护与行为规制路径的竞合、刑法扩张适用的缺陷和私益保护模式的不足,需要进行法律规制路径的梳理与司法价值取向的转变。即采用以权益保护为主、行为规制为辅的追责梯度,根据技术区分原则限制刑法的扩张适用,平衡私益保护和公益保护。此外应创新法治理念,协同适用公法与私法机制,向法律风险双向沟通以及网络公共领域的多元主体协同治理的方向转变。具体包括:引入强制缔约机制,增强爬虫协议的法效性;增设行业公约,实现多方耦合共治。

LTE网络用户行为分析系统的设计与实现

针对传统信令监测系统数据业务识别度低、统计能力不强等问题,在传统的监测系统基础上,提出了一种采用网络爬虫(web crawler)技术和深度包检测(deep packet inspection,DPI)技术的LTE网络用户行为分析系统。该系统对应用层业务内容进行精细化识别,进一步分析了移动互联网的用户行为特征。经现网测试验证,设计的用户行为分析系统达到了预期的效果,对移动互联网用户行为分析、精准化营销领域具有推广意义。

在线课程平台用户付费行为影响因素研究——基于腾讯课堂数据的实证分析

本文针对学习者的付费行为展开讨论,分析了学习者为商业化在线课程付费行为的影响因素。与以往基于问卷调查获得样本的方式不同,本文以腾讯课堂为例,运用网络爬虫技术获得样本,最大限度的保证了样本的大量性、随机性与客观性。实证分析结果表明,开课机构的权威性、简单的课程名称、价格较高的精品课程、良好的课程服务都将显著促进学习者的付费行为;特别是课程名称和课程价格对课程收入的非线性影响关系表明,简单的课程名称和较高的课程价格将加倍扩大课程的收入增长。