Web恶意代码主动检测与分析系统的设计与实现

在深入研究了客户端蜜罐的基础上,提出了动态与静态相结合的Web恶意代码检测方法,实现了Web恶意代码主动检测与分析系统(HoneyCat)。该系统主动对指定的网站进行检测,并对可疑的页面进行分析,通过动态跟踪检测IE进程对注册表和文件的操作以及其网络行为,发现是否存在可疑行为,然后对有可疑行为的网页进行静态分析。静态分析利用漏洞特征库定位恶意代码的准确位置和所利用的漏洞。对于无法识别所利用漏洞的页面生成一个分析文件,为手工分析提供帮助,有助于对漏洞的研究,并有机会发掘未知漏洞。经过测试发现该系统运行稳定,准确率高,能有效地检测出页面中的恶意代码。

网络爬虫的刑法规制

网络爬虫作为数据时代获取数据资源、开发数据价值的重要技术手段,为人们的生产生活带来较大便利的同时,也存在诸多刑事安全风险。在现实层面,通过对判决案例的筛选分析,网络爬虫的使用不仅发生于互联网领域犯罪中,也易诱发其他关联违法犯罪行为;在理论层面,应明确以国家安全、社会安全、个体安全为内容的数据法益的独立性,并摒弃以技术中立性原则作为使用网络爬虫侵犯数据法益构成犯罪的开脱之词;在技术层面,虽然技术是中立的,但使用技术的行为却有是非之别。将代码理论作为区分网络爬虫善恶的标准,将使用恶意网络爬虫的行为纳入刑法调整范畴之内,并对危害结果这一标准要件的界限加以明确。在罪名设置上,通过解释学方法将使用恶意网络爬虫致损的行为纳入现有罪名体系中进行评价。

基于语法结构的源代码搜索的研究

现有的源代码搜索引擎大都是基于文本的搜索,没有利用代码在语法上的特性,因此在搜索准确性方面受到极大的限制。本文从语法结构角度,提出一种源代码的过滤方法,构造基于语法结构的代码过滤器,从而抽取对搜索有用的信息。通过该方法实现了一个基于语法结构的源代码搜索引擎。实验表明本文所建立的源代码搜索在搜索准确度、搜索结果展示的友好性方面都有改进。

QR二维码在井下搜救系统中的应用

由于矿井环境复杂,万一不幸发生矿难,井下通信设施一般很难正常使用,且搜救人员无法进入矿难中形成的狭小空间,同时考虑到井下用电不便,黑暗潮湿的环境特点,结合物联网及ZigBee等无线通信技术,提出井下爬虫机器人搜救系统,系统采用QR码定位标签来确定爬虫机器人在井下的位置信息,能快速有效地开展救援工作.

基于客户端的恶意网页收集系统

设计一个基于客户端的恶意网页收集系统。系统通过设置主题爬虫,有针对性地获取可能包含恶意脚本的网页文件,通过分析恶意代码常见的挂木马方式与恶意代码样本,设计正则表达式来提取网页恶意代码的特征码,利用相应算法扫描并匹配利用爬虫获取的网页文件,如发现网页文件中包含可疑的恶意脚本,则将它的域名URL、恶意网页路径与恶意代码脚本类型存入恶意网页库中,以实现恶意网页的搜集。

基于网页源码结构理解的自适应爬虫代码生成方法

针对网页频繁改版带来的网页源码变动,尤其是文章日期、正文或来源机构等网页源码中目标实体的元素结构或属性标识变动所引起的爬虫代码失效、人力维护成本过高的问题,提出一种基于网页源码结构理解的自适应爬虫代码生成方法。首先,通过分析网页结构特征变动规律提取相应爬虫代码;然后,利用Encoder-Decoder模型表征网页源码及代码的变动,通过融合网页源码自身结构语义特征、网页源码变动特征及网页代码变动特征,得到自适应代码生成模型;最后,完善自适应系统的感知、生成和激活机制,从而形成具有自适应处理能力的爬虫系统。经实验验证,所提自适应代码生成模型的最终准确率为78.5%,与TF-IDF+Seq2Seq和TriDNR+Seq2Seq两种生成模型相比,所提模型在网页源码变动的表示和代码生成的有效性上具有一定的优越性。因此,所提方法能够解决网页源码变动引起的爬虫代码运行问题,为网络资源获取即爬虫技术的自适应处理能力提供新思路。

基于人机交互大数据的软件源码漏洞检测仿真

为防止软件使用者受到不法侵害和个人信息泄露,研究基于人机交互大数据的软件源码漏洞检测仿真方法。创建包含三个模块的软件源码漏洞检测模型,将IE浏览器作为客户端软件,使用源码获取模块的网络爬虫算法获取客户端软件的可疑软件源码,生成可疑软件源码集合,利用源码主动访问模块的高交互式客户端蜜罐技术,主动访问集合内重要度较高的元素,构成可疑软件源码检测点集合,据其运用软件源码漏洞检测模块的混合深度学习模型,实现软件源码漏洞检测。实验结果表明,上述方法的可疑软件源码抓取效率较高,且抓取覆盖率始终高于95%;所提方法的软件源码漏洞检测个数和所处位置与实际结果完全吻合。

藏文网页搜索关键技术研究

通过分析藏文网站中藏文字符的编码特点,结合搜索引擎的特点对藏文网页搜索的关键技术进行了研究。对藏文网页的URL处理技术、限定爬虫、藏文网页倒排索引的建立、网页的检索和结果排序等进行了详细地阐述,提出了较完整的藏文网页搜索方法,对于藏文网页信息的搜索和利用有一定的实用价值。

基于Python爬虫技术抓取台风报文的研究与实现

中国东南沿海地区或南部地区在每年夏天经常会被台风侵袭,暴雨造成的洪水漫堤、河水泛滥等给百姓造成巨大的经济损失。台风报文资料作为台风的原始数据,有利于提高预测台风的准确率,因此做好获取中央气象台的台风报文工作是非常重要的。为了更加高效地应对台风造成的灾害,需要获取台风原始数据,对此研究基于Python爬虫技术实现台风报文的抓取。

基于python网络爬虫的浏览器伪装技术探讨

随着大数据时代的来临,人们对研究资源的需求越来越多,而爬虫技术是一种很好的自动获取网络海量数据的重要手段。通过对网络爬虫访问网页内容反触机制的分析和研究,提出了应用python技术对浏览器发送Headers请求信息的伪装,并将爬取的网页内容保存到指定的位置。通过Fiddler测试验证发现,发出的用户请求的Headers信息与浏览器访问的Headers信息基本一致,达到了对网站内容爬取的目的。

基于网络爬虫与页面代码行为的XSS漏洞动态检测方法

在Web应用程序中,跨站脚本漏洞是一种十分常见的安全性漏洞,其促使恶意用户把代码注入合法用户使用的页面上,以进行XSS攻击。XSS漏洞在攻击Web应用程序、获取用户隐私数据等方面十分常见,传统XSS漏洞检测工具,尚未实现对AJAX Web应用程序的针对检测,精确度也相对较差。对此,笔者对以网络爬虫与页面代码行为为基础的XSS漏洞动态检测方法进行了详细分析,实践表明,其不仅可以大大节约时间与人力成本,还能够在很大程度上提高漏洞动态检测的准确性。

基于Python语言的网络爬虫KMR研究

传统网络爬虫关键词检索方法忽略了对用户喜好特征值的计算,导致检索结果存在误差,且响应速度也较慢。提出基于Python语言的网络爬虫关键词匹配检索研究。结合用户喜好,从用户标签、检索历史、浏览行为等方面获取用户相关信息,构建用户特征模型,并计算Python语言的伪代码特征值。确定爬虫路径,获取关键词与非关键词节点特征权重,实现网络爬虫关键词的匹配检索。仿真结果表明,上述方法检索精度高,针对不同数量的关键词均有较快的响应速度。

协同履带式四足搜救机器人设计及其步态分析

在对国内外相关研究现状调研、分析的基础上,设计出一款四足机器狗,其采用了稳定的金属结构,产生了仿生运动步态,可实现较强的复杂地形自适应运动能力。结合履带结构发挥其在平坦地面及较平坦复杂路面的快速前行的优势,并且减少四足爬行对电力的大量需求限制,实现仿生四足与履带式结构双优势的协同结合。公布了一种基于磁编码减速电机的协调履带式四足机器人的机械结构方案;基于三角支撑原理,公布了其行走的步态方案分析。

互联网信息发布系统设计

系统利用邮件、微博等互联网业务平台,向目标用户发布信息。采用网络爬虫技术和关键词匹配解决帐号、地址的自动采集,通过邮件自动激活账号和验证码识别技术突破自动注册和登陆等主要技术难点。系统实现了电子邮件的编辑和批量发布;利用新浪、腾讯等多种微博的REST API完成微博信息的发布。系统软件框架设计为三层复用结构,基础层功能包括数据库的读写访问适配,以及基础传送协议栈;支撑层独立于具体协议实现业务逻辑;表现层完成人机交互界面呈现。

组织机构代码信息公众查询平台防治网络爬虫问题

随着互联网技术的逐渐成熟,公共部门通过公共网络服务平台对外提供服务已成为趋势,但这也造成源自网络的安全威胁的增加。本文对组织机构代码信息公众查询平台防治网络爬虫问题进行了分析,并针对该问题提出一些防护措施。