基于滑动窗口和ARMA的Argo剖面数据异常检测算法

针对由于Argo浮标的随机性和抛弃性而导致难以保证剖面数据质量的问题,根据滑动窗口(Sliding Window,SW)与自回归移动平均(AutoRegressive Moving Average,ARMA)模型的特点,提出了一种基于滑动窗口和ARMA的Argo剖面异常检测算法。利用滑动窗口将Argo剖面时间序列进行划分,再通过建立ARMA模型获取剖面的预测值,然后确定置信区间,最后通过判断观测数据是否在置信区间内实现异常检测。通过全球Argo浮标剖面数据进行实验,在滑动窗口宽度10~20,置信度在80%~90%时,敏感度可以达到85%以上,且准确度在99%以上。

基于KL距离的自适应阈值网络流量异常检测

针对现有网络流量异常检测方法检测精度低且对网络环境动态变化适应性差的问题,根据网络流量在相邻时间周期内的强相关性特性,提出一种自适应阈值的网络流量异常检测方法。利用滑动窗口控制KL距离值数量,建立指数加权移动平均模型获取下一时刻的KL距离预测值,并采用滑动窗口划分的KL距离子序列与预测值确定自适应阈值范围,通过判断观测值是否在自适应阈值范围内实现网络流量异常检测。实验结果表明,该方法能有效检测网络流量异常,具有较高的检测精度。

改进Kmeans算法的海洋数据异常检测

为解决Kmeans算法随机指定初始点聚类和海洋Argo浮标数据异常问题,提出一种改进Kmeans算法的海洋数据异常检测方法。提出一种改进Kmeans算法DMKmeans(density mathematics Kmeans),选取给定邻域范围内最近邻数据点最多的点为初始中心点,迭代聚类,直到准则函数收敛,聚类结束;基于DMKmeans算法对数据集聚类,使用数学模型为准则进行海洋监测数据异常检测。通过海洋监测数据异常检测仿真实验,将DMKmeans算法与传统Kmeans算法及MinMaxKmeans算法做对比分析,其结果表明,提出算法能有效提高聚类准确率和异常检测率。

基于主曲线的Argo温盐剖面异常检测方法

针对Argo浮标由于环境变化等因素引起数据观测误差的问题,提出一种主曲线与温盐关系模型相结合的异常检测方法。采用K主曲线拟合数据获得温盐主剖面,建立温盐关系模型,利用该模型得到在不同温度下盐度的上下界,通过对比观测值是否在上下界区间内实现对Argo温盐剖面的异常检测。通过实际Argo浮标剖面数据进行验证,所提方法可以有效检测出异常剖面点,具有较高的灵敏度和特异度。