网络爬取行为的法律规制及完善

在司法实务中,司法机关根据网络爬取行为对象不法层面的法益侵害和行为不法层面的归责而进行相应的法律规制。面对权益保护与行为规制路径的竞合、刑法扩张适用的缺陷和私益保护模式的不足,需要进行法律规制路径的梳理与司法价值取向的转变。即采用以权益保护为主、行为规制为辅的追责梯度,根据技术区分原则限制刑法的扩张适用,平衡私益保护和公益保护。此外应创新法治理念,协同适用公法与私法机制,向法律风险双向沟通以及网络公共领域的多元主体协同治理的方向转变。具体包括:引入强制缔约机制,增强爬虫协议的法效性;增设行业公约,实现多方耦合共治。

网络爬虫软件的研究与开发

作为一种快捷、高效访问网络海量数据的工具,通用搜索引擎自诞生以来备受人们喜爱。然而在设计上它却存在着很多不足,并且随着万维网的快速发展而日益不能满足人们的需求。基于这种背景,用于对网页进行定向抓取的主题爬虫应运而生。主题爬虫的设计理念是利用最少的资源,尽可能快而准确地抓取网络中用户关心的网页,目前已经有着非常广泛的应用。首先,了解主题爬虫提出的历史背景及当前国内外的发展状况,分析与主题爬虫设计相关的技术知识,如HTTP协议、HTML解析、中文分词等。其次,提出使用向量空间模型进行主题相关度计算。为了能够充分利用网页中丰富的启发式信息,综合运用了网页内容分析和网页链接分析技术。最后,基于对主题爬虫设计与实现方法的研究,使用Java开发一个多线程主题爬虫。