基于混合嵌入和胶囊网络的恶意URL分类模型

作为最常见的网络安全威胁之一,恶意URL攻击每年都会造成巨大的经济损失,尽管研究人员已经提出了许多方法来检测恶意URL,但现有方法存在不能充分利用URL提供的有用信息和对URL中的区分性特征提取不充分的问题,导致分类性能不佳。提出了一种基于混合嵌入和胶囊网络的恶意URL分类模型,引入高速网络和胶囊网络从URL的混合嵌入表示中提取区分性特征,提高了模型的分类性能。在公开数据集ISCX-URL2016上的实验结果表明,该文模型与其他基线方法相比,实现了更好的分类性能,能够有效应对混淆技术的多样性。

网络信息资源归档挑战与对策——基于URL无序性和时效性差异的视角

根据西方网络信息资源归档最新理论与实践成果及将异常现象作为示踪剂的研究方法,本研究尝试将网络信息资源归档系统的后台异常现象引导至前台讨论,从URL无序性和时效性差异的研究视角阐释解构、规范URL的必要性以及通过自动代码或搜索工具对时间戳展开简单聚合或排序的弊端,提出超越以算法为中心的归档逻辑并广泛关注网络基础设施动态与关系互动或对我国网络信息资源归档研究具有一定启示。

基于URL主题的查询分类方法

互联网上很多资源蕴含人类群体智慧.分类网站目录人工地对网站按照主题进行组织.基于网站目录中具有主题标注的URL设计URL主题分类器,结合伪相关反馈技术以及搜索引擎查询日志,提出了自动、快速、有效的查询主题分类方法.具体地,方法为2种策略的结合.策略1通过计算搜索结果中URL的主题分布预测查询主题,策略2基于查询日志点击关系,利用具有主题标注的URL,对查询进行标注获取数据并训练统计分类器预测查询主题.实验表明,方法可获得比当前最好算法更好的准确率,更好的在线处理效率并且可基于查询日志自动获取训练数据,具有良好的可扩展性.

高效的基于段模式的恶意URL检测方法

提出一种高效的基于段模式的检测恶意URL的方法,该方法首先解析已标注的恶意URL中的域名、路径名和文件名3个语义段,然后通过建立以三元组为词项的倒排索引快速计算恶意URL每个语义段的模式,最后基于倒排索引查找到的段模式来判定给定的URL是否是恶意URL。不仅如此,该方法还支持基于Jaccard的随机域名识别技术来判定包含随机域名的恶意URL。实验结果表明,与当前先进的基准方法相比,该方法具有较好的性能和可扩展性。

中国大学网站URL引用网络结构特征与相关因素研究

以100所中国大学网站所构成的URL引用网络为对象,借助社会网络分析方法揭示了其主要网络特征,并结合大学的科研能力、师资力量、国家支持力度、区域政治经济水平等,探索了可能影响网络结构的相关因素。研究发现:中国大学网站URL引用网络具有明显的核心-边缘结构特征,此结构受大学科研能力、师资力量和国家支持力度等因素影响;存在若干信息交流能力较强的网站,且大学网站的信息交流能力与大学科研能力、师资力量、国家支持力度与所在区域政治经济水平等因素紧密相关。

一种面向大规模URL过滤的多模式串匹配算法

对大量有害的URL进行过滤,是目前网络安全应用系统中所亟需的关键技术.使用经典的串匹配算法检测庞大的URL规则集,需要消耗大量的计算资源和存储资源,性能十分低下.该文设计了一种适合于大规模URL过滤的多模式串匹配算法——SOGOPT.该算法在经典的SOG算法基础上,针对URL规则的特点,提出了最优窗口选择、模式串分组规约这两种优化技术,大幅度提高了SOG算法的匹配速度,在大规模URL规则集上效果尤其显著.该文设计的算法非常适合于大规模(100万级)URL实时在线匹配的应用环境.

基于异常特征的钓鱼网站URL检测技术

典型的网络钓鱼是采用群发垃圾邮件,欺骗用户点击钓鱼网站URL地址,登录并输入个人机密信息的一种攻击手段。文章通过分析钓鱼网站URL地址的结构和词汇特征,提出一种基于异常特征的钓鱼网站URL检测方法。抽取钓鱼网站URL地址中4个结构特征、8个词汇特征,组成12个特征的特征向量,用SVM进行训练和分类。对PhishTank上7291条钓鱼网站URL分类实验,检测出7134条钓鱼网站URL,准确率达到97.85%。

一种快速的基于URL的垃圾邮件过滤系统

垃圾邮件是当前Internet上关注一个焦点问题,随着垃圾邮件的伪装技术的不断更新,以前主要的几种垃圾邮件过滤技术面临着新的挑战。针对目前垃圾邮件大都含有要宣传网站的URL地址的特点,我们构建了一个基于URL的垃圾邮件过滤系统,通过查询邮件中是否含有URL黑名单中的URL地址,来识别垃圾邮件。在URL地址查询过程中,采用Hplf散列函数来加速查询。通过试验测试,该系统能有效地减少垃圾邮件的数量。

基于域名信息的钓鱼URL探测

提出一种基于域名信息的钓鱼URL探测方法。使用编辑距离寻找与已知正常域名相似的域名,根据域名信息提取域名单词最大匹配特征、域名分割特征和URL分割特征,利用上述特征训练分类器,由此判断其他URL是否为钓鱼URL。在真实数据集上的实验结果表明,该方法钓鱼URL正确检测率达94%。

一种基于并行Bloom Filter的高速URL查找算法

URL查找是众多网络系统中重要的组成部分,如URL过滤系统、Web缓存等.随着互联网的迅速发展,URL查找面临的主要挑战是实现大规模URL集合下的高速查找,同时保证低存储和低功耗.本文提出了一种基于并行Bloom Filter的URL查找算法,CaBF.该算法高度并行化,提供大规模URL集合下的高速最长前缀匹配,并很好地适应集合中不同数量的URL组件.理论分析和真实网络数据集上的实验表明,该算法相比现有算法可以降低假阳性概率达一个数量级(或者在满足相同假阳性概率的前提下降低存储和硬件逻辑资源消耗).此外,该方法的体系结构很容易映射到FPGA等硬件器件上,提供每秒超过150M次的URL查找速度.

基于哈希表的高性能URL过滤器研究

防火墙通过 URL 过滤控制对因特网信息资源的访问 .为了在高速防火墙上实现 URL 过滤 ,本文提出了位图法以改进URL过滤器的哈希表数据结构 ,提高哈希表查找速度 ;提出了快速压缩法 ,降低过滤器的空间占用 .经过位图法和快速压缩法改进 ,并应用高速缓存优化后 ,采用实验对 U RL 过滤器进行性能评价 ,发现 URL 过滤的平均时间下降了 2 5 3.7% ,空间下降了2 5 .7% .

URL重写技术及在国内外授权访问系统中的应用研究

本文针对专为图书馆电子资源远程访问而开发并在国外获得广泛应用的EZproxy的技术及发展进行了研究,重点包括其URL重写策略、用户认证及授权访问机制,同时论述了URL技术在国内相关软件中的应用,以期通过研究,对URL重写技术的了解,促进其在远程授权访问等相关系统中的应用,有效解决图书馆电子资源远程访问的需求。

一种去除重复URL的算法

通过对Bloom Filter算法及其改进型在Web信息采集时的去重策略进行分析,结合Dynamic Bloom Filter算法,采用动态数组对集合元素进行表示,提出了一种去重应用策略,实现了对集合中重复URL的频度查询和删除操作支持,最后使用该去重策略进行了实验并和其他策略进行了比较,实验证明该应用策略能够在误判率较低的情况下取得较好的去重效果。

一个实用的针对URL的哈希函数

在Web信息处理的研究中,不少情况下需要对很大的URL序列进行散列(hashing)操作.本文提出了一个针对URL数据集合的均匀哈希函数,它是ELFhash函数的变型.通过对天网搜索引擎采集的1亿多个URL集合的抽样实验表明它能有效使得URL集在哈希表中均匀散布.并通过与MD5和SHA-1的对比,认为它是实用的.最后,指出了进一步的研究方向.

利用URL-Key进行查询分类

针对查询分类问题,借助互联网中人工组织的分类网站领域URL,利用URL-key在各个类别中使用的频度,提出基于方差的领域URL-key识别方法,利用机器翻译、拼音翻译和搜索结果反馈等技术对URL-key进行过滤,构建领域URL-key。然后结合伪相关反馈技术,选取URL-key为特征,构建URL-key向量,利用SVM对查询串进行分类。实验结果表明,该方法不仅F值比对比方法提高7%,而且资源的使用也远远小于对比方法,提高了系统的时效性。

基于URL智能白名单的Web应用未知威胁阻断技术研究

在网络空间对抗不断加剧的情况下,我国各重要行业单位信息化深度发展过程中建设的大量Web应用系统的安全面临严峻考验,各行业单位防护技术及措施存在不足,急需建立有效技术防护体系。文章提出一种基于URL智能白名单的Web应用未知威胁阻断防护方案,从合规行为角度入手,以访问控制白名单和非合规行为阻断为核心,通过建立业务白名单动态模型、URL访问控制白名单,实现应对Web应用未知威胁的主动防御体系,提升我国重要行业单位Web应用系统安全防护水平。

基于Rabin指纹方法的URL去重算法

针对现有URL检索算法占用存储空间较大,对重复率高的URL集合检索速度较慢,使Web Spider的效率降低的问题,提出了一种改进的URL去重算法。此算法基于Rabin指纹方法,以URL的指纹为地址,仅用一位数据标识一条URL,每次检索仅需对相应的一位数据的值做一次判断。实验表明,该算法能有效去除URL集合中重复的URL,提高检索速度。

基于URL共现分析的医疗健康类网站竞争态势研究

[目的/意义]互联网医疗行业发展迅猛,探究当前医疗健康类网站的市场竞争态势,有助于更新人们对互联网时代下医疗行业的认识,同时为从业人员提供市场决策支持。[方法/过程]以站长之家医疗健康类网站综合排名前50位的网站为研究对象,借助微软必应(Bing)搜索引擎获取这些网站之间的URL共现频次,对共现矩阵进行社会网络分析,聚类分析和多维尺度分析等,来揭示它们的竞争关系和市场格局。[结果/结论]结果显示网站的中心性排名与站长之家排名显著相关,同时可将50家网站分为健康资讯和在线问诊类、网上药店类、医学工具类三大类,同一类团内各网站功能相似,市场竞争激烈。市场中影响力较大的为健康资讯和在线问诊类网站。分析结果与行业事实竞争格局大致相符,为URL共现分析用于竞争情报分析又提供了又一实证研究。

探究URL共现分析作为商业竞争情报研究的新方法

共链分析是研究商业竞争情报的有效方法,近年来链接数据源的缺失阻碍了该领域的发展。探究URL共现方法,作为共链分析法的替代方法,在商业竞争情报中的适用性。所提出的方法在一组团购网站公司上进行测试,数据利用Webometric Analyst软件通过必应API收集,共现矩阵利用社会网络分析法和聚类分析法进行分析,所得竞争图谱和行业事实竞争格局进行比较。结果显示,URL共现方法可以和共链分析法一样应用到商业竞争情报中。

一种应用于Web服务器集群系统的URL分配算法

基于内容的Web服务请求调度算法有利于均衡服务器集群系统的负载。已有的请求分配算法大多先运用Hash方法对请求的URL进行散列,在此基础上再按一定规则对请求内容进行负载均衡调度。在分析了Web服务流量分布不均衡及已有URL散列方法存在不足的基础上,提出了一种基于URL词典排序及内容等分的URL分配算法LOCEP。该算法通过对URL进行词典序排序,按内容等分,依访问流量排序及分段互补等一系列方法将Web负载尽可能均匀地分布到多个后端服务器中。仿真实验结果表明,该算法比现有的URL散列方法具有更好的负载均衡能力。