基于数据间相关性的异常检测方法

Anomaly detection based on correlation between data

随着大数据的飞速发展,对数据的分析和处理成为研究热点之一,对数据的异常发现成为主要问题。本文提出基于数据间相关性的异常检测方法。传统的预警方法针对时序上的一种数据进行异常算法分析。本文提供对在时序上有着相关性的两种数据进行时序上的平滑相关性系数计算,对得到的平滑相关性系数序列进行高斯平滑滤波,得到相关性系数的平滑结果作为对比数据。本文利用原始数据的发生概率得到若干次数的仿真数据,然后进行平滑相关性系数计算,使用结果与原始数据相关系小波分解结果进行动态时间规整计算距离得到距离的正常范围为12.107至24.225,在本范围外的距离都处理为异常。本文还通过随机抽取样本的中的数据来组成不同长度的数据组,采用插入和替换两种方法来对仿真数据进行破坏,用于测试本文提出的异常检测方法的灵敏度。