融合孤立森林和局部离群因子的离群点检测方法

单一的离群点检测方法对所有数据采用同一种异常标准,无法综合考虑全局和局部信息,存在精度不足和效率低下等问题。为解决上述问题,提出一种融合孤立森林(iForest)和局部离群因子(LOF)的离群点检测方法(FSIF-HDLOF),即利用高效的iForest对原始数据集进行剪枝,再采用LOF对剪枝后的数据集进行更精确的检测。在剪枝及检测阶段,算法针对iForest和LOF的不足进行相应改进。结合数据点在剪枝及检测阶段的异常信息,定义加权融合公式来确定离群点。实验结果表明,FSIF-HDLOF实现了检测精度与效率的良好平衡,尤其在大数据量且低离群点比例的数据集上的检测精度优势较大。

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。