基于哈希压缩算法的网络流量恶意代码监测方法

传统方法在网络流量恶意代码监测中的应用效果不佳,不仅漏检率高,而且错检率也较高,无法达到预期的高精度监测效果,为此提出基于哈希压缩算法的网络流量恶意代码监测方法。首先,利用Cuckoo沙箱提取网络流量动态应用程序编程接口(Application Programming Interface,API)调用序列,根据API调用序列局部信息熵提取网络流量时间序列特征;其次,利用哈希压缩算法判断提取的时间序列特征与恶意代码熵时间序列特征的相似性,识别出恶意代码;最后,进行实验分析。实验结果表明,设计方法的错检率与漏检率均在1%以内,优于对照组。

基于哈希压缩算法的网络流量监控方法研究

介绍了网络流量监控的研究背景以及部分技术指标,对网络流量监测技术及网络流量监控系统的架构、形式以及应用现状进行了总结,进而提出一种基于哈希压缩算法的网络流量监控方法,详细介绍了该方法的实现框图和步骤,同时给出了该方法基于FPGA的硬件实现结构。

选择性压缩算法对区块链轻量级节点的优化研究

区块链中的轻量级节点存在因不能存储完整区块链账本而无法参与区块链验证过程的局限,削弱了区块链分布式特性,可以通过压缩轻量级节点中存储的区块链账本以降低存储开销进而增强其区块链验证能力.本文提出区块链选择性压缩(BSC)算法,基于Hyperledger Fabric区块链架构,首先,针对区块链主链生成检查链,通过哈希指针链接检查链和主链并在检查链中存储用于验证主链区块完整性的哈希根路径;然后,对检查链中的检查点进行合并更新,降低检查链的存储开销;最后,选择性保留主链中的区块并计算验证主链完整性所需的哈希路径,降低主链的存储开销.仿真结果表明,对比EPBC算法和Snapshot算法,BSC算法在存储开销和验证能力方面有较好的表现.

关联规则挖掘结合简化粒子群优化的哈希回溯追踪协议

针对源路径隔离引擎(source path isolation engine,SPIE)不能回溯追踪早期经过路由器的攻击数据包问题,提出了一种IP回溯追踪协议(IP trace-back protocol,ITP),该协议根据压缩哈希表、Sinkhole路由算法和基于网络取证的数据挖掘技术抵抗网络攻击。其中包含简化粒子群优化(simplified particle swarm optimization,SPSO)关联算法的分析管理器(attack analysis manager,AAM)通过分析来自Sinkhole路由器和入侵检测系统(intrusion detection systems,IDS)的攻击包的关联性生成攻击模式和攻击包规则,并将该结果通知系统管理器,Sinkhole路由器和IDS通过数据挖掘技术分析攻击包之间的关联性。通过比较SPIE,概率包标记(probabilistic packet marking,PPM)和i Trace的性能可以看出,ITP不仅能实时追踪后向攻击,而且能定期使用压缩哈希表(compressed hash table,CHT)完成追踪任务。因此,在抵抗Do S攻击方面,ITP性能优于SPIE,PPM和i Trace,此外,在回溯执行时间方面,相同跳跃数下,ITP比iTrace低2-3 s。

两种面向推荐系统的数据压缩方法

今日头条的服务器每天都会产生规模庞大的训练数据,为方便进行训练,这些数据都具有特定的格式和分布特征。使用不同类型的通用压缩算法(字典类型及非字典类型)进行测试,发现单独任何一种算法都无法在满足业务需求(速率需求和CPU占比等)的同时获得较为可观的压缩比。针对今日头条的训练数据,提出了分段聚类压缩和Hash recoding压缩两种策略。实验结果表明,分段聚类压缩方式在更好地保证了压缩率的同时提高了压缩速率的目的;Hash recoding压缩方式则更好地达到了以少量压缩速率的损失换取更可观的压缩率的目的。分段聚类方式搭配Gzip压缩算法的组合能使压缩速率提高300%以上;Hash recoding方式匹配Snappy压缩算法能使压缩率缩小50%以上。根据实际需求,不论选择哪种策略,对于降低今日头条的运营成本,提升业务处理的效率,提供更好的用户体验,都有一定意义。

基于Hash和CAM的IPv6路由查找算法

分析实际网络中的IPv6前缀分布规律与增长趋势,提出一种基于Hash和内容可寻址存储器(CAM)的IPv6路由查找算法。将长度能被8整除的前缀存储在8个Hash表中,发生Hash冲突的前缀存储在CAM中,长度不能被8整除的前缀按照一定的组织方式存储在随机存取存储器中。分析结果表明,该算法具有较高的存储利用率、查找速率及更新速率,并且易于扩展和硬件实现。

一种应用于机器学习的恶意网页特征提取方法

基于机器学习的恶意网页检测技术进行研究。目前流行的“特征码”“白名单”等方式,仅能够检测已知的恶意网页;机器学习方法,能够检测出未知的恶意网页,但在处理网页特征时要面临数据量大、复杂和繁琐的问题。提出一种哈希压缩的方法,用于处理网页的特征数据。该方法在保证检测模型的漏报率和误报率下可实现将150万的特征映射在2万的特征空间内,对提取出的特征数据运用K折交叉验证法训练多个传统机器学习模型和集成学习模型。并通过评估模型的检测效果,筛选出表现最好的分类检测模型。