基于关联关系和MapReduce的僵尸网络检测

现有僵尸网络检测方法的计算量较大,导致检测效率低,而云计算的强大数据处理和分析能力为僵尸网络的检测提供了新的思路和解决方案。为此,设计并实现一种基于MapReduce模型的并行僵尸网络检测算法,基于云协同和流间关联关系对僵尸网络进行检测。提取流间关联关系,将具有关联关系的流聚集到同一个集合中,计算主机的分数,若分数大于阈值则判断为可疑的僵尸主机。实验结果表明,该算法对P2P僵尸网络的检测率能够达到90%以上,误报率控制在4%以下,并且随着云服务器端计算节点的增多,其处理云客户端上传数据及检测僵尸网络的效率更高。

基于MapReduce检测僵尸网络的贝叶斯算法的实现

利用贝叶斯算法检测僵尸网络具有较高的准确性,但僵尸网络具有流量大的特征,同时贝叶斯分类训练阶段需要对大量的网络数据集进行训练,用单一结点来检测僵尸网络将会遇到计算时间和计算资源瓶颈。为此设计了基于MapReduce检测僵尸网络的贝叶斯算法,把贝叶斯算法训练阶段的先验概率、条件概率和检测阶段的后验概率的计算并行化处理。通过大量运行在Hadoop平台上的实验表明,该方法提高了检测僵尸网络的效率。

检测僵尸网络的贝叶斯算法的MapReduce并行化实现

僵尸网络严重威胁互联网的安全,目前主流的僵尸网络检测方法准确性较低,针对此问题,考虑贝叶斯算法具有较高的准确性,提出了基于Hadoop平台的MapReduce机制的贝叶斯算法。该方法以主机对作为分析对象,提取2个主机对通信的流量特征,将这些特征作为贝叶斯分类算法的输入,通过并行化计算贝叶斯算法训练阶段的先验概率和条件概率形成贝叶斯分类器,使其学会辨认僵尸网络的流量。在检测阶段利用训练阶段形成的贝叶斯分类器和并行化计算后验概率,实现检测僵尸网络。通过实验表明,该方法检测僵尸网络是有效的,检测正确率在90%以上,并且该方法较单机检测僵尸网络的贝叶斯算法效率有了较大的提高。

云数据的划分存储和查询研究

随着网络数据、生产数据的大幅增长,数据存储和查询面临着严峻的挑战.数据划分技术可将海量数据分布存储在多台机器中,既能解决单机存储容量问题,也能通过划分区间来缩小数据查询范围.为此,研究了海量数据背景下数据划分存储和查询的方法,设计了将海量数据按角度和距离值计算其所属数据区间,并分布存储到该区间对应的机器文件中,从而实现了大数据量的文件以小数据量的文件存储,使得查询数据时可以先通过索引表找到所属的数据区间其所在文件,再进行查询即可,这样缩小了数据查询范围,而且还可以通过多机器协同查询,加快查询速度.对采用以上方法划分存储的数据进行了Top-K查询,验证了方法的有效性.