海量冗余数据冲击下网络入侵检测方法

针对冗余数据冲击下网络入侵数量较大,无法很好地区分正常行为和入侵行为,导致检测准确性差的问题,该文提出一种海量冗余数据冲击下网络入侵检测方法。利用独热编码方式对网络入侵数据进行编码处理,将其转换为数值类型特征。采用PCA算法对海量冗余数据进行压缩,通过数据聚类算法实现网络入侵压缩数据采样,改善海量冗余数据质量,去除网络数据中的噪声;通过改进K-means算法划分数据类簇,筛选内部异常点;利用支持向量机方法为每个类簇构建单分类器,进而判别攻击类型,减少误报率,通过梯度下降法实现网络入侵数据的寻优,实现海量冗余数据冲击下的网络入侵检测。经实验测试结果表明,所提方法可以有效降低网络入侵检测时间,提升检测结果的准确性。

基于均值滤波的大规模无线传感网能耗及海量数据去冗余方法研究

随着无线传感网络结构日趋复杂及逐渐朝大规模方向转变。科学、高效地解决传感网内的海量数据冗余及巨大能量消耗问题变得十分困难,本文通过对节点数据图像化建模,提出了一种基于节点数据图像的均值滤波算法来达到降低大规模无线传感网中的冗余数据量及能量消耗。首先从传感网的部署结构出发,通过节点之间的位置关系进行节点分簇并标记簇头节点,然后依据各簇内节点获取的数据信息进行图像化建模,建模完成后以各簇簇头节点获取的数据为参照标准对图像化后的簇内节点进行均值滤波,从而将簇内节点划分为活跃节点与休眠节点,活跃节点为传感网提供有效数据而休眠节点提供冗余数据,需要进入休眠状态。从仿真结果可知:在实际数据集与模拟数据集结合验证下,一个大规模、结构复杂的无线传感网被分为若干个簇并有效的完成了各簇内的节点数据图像化建模。在整体数据有效且不失真的前提下,各簇内实现了将可能存在的部分节点转化为休眠节点且成功将休眠节点转为休眠转态,不再产生、传递数据,从而降低传感网内的整体数据量及数据传递消耗的能量。因此本文提出的算法能够有效地处理规模大、结构复杂的无线传感网中存在的数据冗余及巨大能量消耗问题,通过该算法不仅降低了无线传感网中的冗余数据量,而且降低了无线传感网的能量消耗,提高了无线传感网的生命周期。

数据挖掘中关联弱化问题的解决方法分析

当前的支持向量机和均值聚类等数据挖掘算法中,几乎都是依靠数据之间的关联性来完成数据匹配。一旦数据库中含有大量的冗余数据,将造成数据之间的相关性降低,关联性被破坏,导致传统的数据挖掘算法效率降低。为了避免上述缺陷,提出了一种弱化关联规则修补挖掘算法。利用弱聚类方法,在数据选择过程中,不将所有的元素都进行初始分类处理,只计算某一元素属于某一个类别的概率,确定多个弱聚类中心,计算不同数据之间的弱聚类关联性,从而实现关联规则较弱的冗余环境下准确的数据挖掘。实验结果表明,这种算法能够有效提高海量冗余环境下的数据挖掘效率,取得了令人满意的效果。