基于错误发现率的高维数据流在线监控方法

关于多数据流的监控,大多假设数据流之间是独立的。从统计过程控制的角度,给出了在线监控高维数据流的一般框架。鉴于数据的分布可能存在多样性,本文采用对称数据聚合方法建立了稳健的监控统计量,利用统计量的渐进对称性选取数据驱动的阈值,基于错误发现率对相关的非正态数据流进行在线监控。以AR (1)模型刻画数据流间的相关性,通过蒙特卡洛模拟,研究了所提出方法的错误发现率和功效水平。数值模拟结果表明所提出的方法具有较理想的性能。

计算机网络大规模高维数据流异常数据挖掘

研究计算机网络大规模高维数据流异常数据挖掘方法,有效挖掘计算机网络大规模高维数据流异常数据,提升计算机网络安全性。使用基于Python网络爬虫的数据采集技术采集计算机网络大规模高维数据流,经软件总线模型完成数据流清洗预处理,降低数据流规模与维度后,利用基于枢纽现象与加权离群分数的离群数据挖掘算法,经计算机网络数据流数据对象K近邻查询、K近邻数据对象离群分数和求解与加权、区分度阈值生成等操作,获取计算机网络数据流异常数据,并通过构建卷积神经网络异常数据类型识别模型,有效识别异常数据类型。实验结果表明:该方法可有效挖掘计算机网络大规模高维数据流数据中存在的异常数据,异常数据挖掘与识别准确性较高,可显著提升计算机网络安全性。

非规则流中高维数据流典型相关性分析并行计算方法

为了满足在计算资源受限的环境下高维数据流处理的实时性要求,提出一种方法——基于GPU(graphicprocessing unit)的非规则流中高维数据流的处理模型和具体的可行架构,并分析设计了相关的并行算法.该六层模型是将GPU处理数据的高宽带性能结合进滑动窗口中数据流的分析,进而在该框架下基于统一计算设备架构(compute unified device architecture,简称CUDA),使用数据立方模型以及降维约简技术并行分析了多条高维数据流的典型相关性.理论分析和实验结果均表明,该并行处理方法能够在线精确地识别同步滑动窗口模式下高维数据流之间的相关性.相对于纯CPU方法,该方法具有显著的速度优势,很好地满足了高维数据流的实时性需求,可以作为通用的分析方法广泛应用于数据流挖掘领域.

高维数据流的自适应子空间聚类算法

高维数据流聚类是数据挖掘领域中的研究热点。由于数据流具有数据量大、快速变化、高维性等特点,许多聚类算法不能取得较好的聚类质量。提出了高维数据流的自适应子空间聚类算法SAStream。该算法改进了HPStream中的微簇结构并定义了候选簇,只在相应的子空间内计算新来数据点到候选簇质心的距离,减少了聚类时被检查微簇的数目,将形成的微簇存储在金字塔时间框架中,使用时间衰减函数删除过期的微簇;当数据流量大时,根据监测的系统资源使用情况自动调整界限半径和簇选择因子,从而调节聚类的粒度。实验结果表明,该算法具有良好的聚类质量和快速的数据处理能力。

高维数据流的聚类离群点检测算法研究

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测(CODHD-Stream)算法.该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的K-means聚类算法将数据集划分成微聚类,并检测微聚类的离群点.通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度.

高维数据流异常节点动态跟踪仿真研究

针对传统方法难以对异常节点动态实时跟踪,且运行时间较长问题,提出一种基于高维数据流异常节点动态跟踪方法。首先,根据网络数据流的特性,通过时间系列中的平均距离和累计距离,实施高维数据流异常检测。然后建立传感器测量模型得到所有节点的观测方程。再运用最小二乘法,得到目标状态的初始化信息并完成定位。利用网络节点生存期函数,在满足目标跟踪可靠度要求的前提下选取生存期最大的节点参与目标跟踪。采用动态成簇策略,阶段性的选择唤醒任务节点检测目标,根据离散时间线性一致性算法,使其达到可观测状态。最后采用协方差矩阵的平均值来完成高维数据流异常节点动态跟踪。实验结果表明:上述方法能够大幅降低系统的能耗,节省大量时间,具有高效性、准确性和优质的鲁棒性。

基于超网络和投影降维的高维数据流在线分类算法

为了提高高维数据流在线分类的准确率,设计一种基于超网络和投影降维的高维数据流在线分类算法。将高维数据流的特征子集建模为超网络模型,算法的学习目标是搜索最优的超边集合,选出判别能力强的特征子集。利用高斯核将高维空间的数据点投影到低维空间,采用梯度下降法计算数据点间的相似性矩阵。基于贝叶斯分类器模型更新机制,动态地学习新到达的数据流,基于学习的结果更新超网络的超边,再利用超网络指导分类器进行分类。仿真结果表明,该算法实现了较高的分类准确率,并且对于噪声也具有较好的鲁棒性。

基于信息熵的高维数据流子空间聚类方法

提出了一种数据流概率密度估计方法,在此基础上,经计算得到整个数据集在低维空间投影的信息熵,基于该信息熵实现了一种新的高维数据流的子空间聚类算法EPStream.实验表明,与传统的算法相比,该算法在聚类精度和时间方面都有所提高.

基于概要数据结构的高维数据流聚类算法

为了在高维数据流中有效地形成聚类,针对经典算法CELL-Tree存在的问题,提出一种新的概要数据结构PL-Tree以及基于此数据结构的算法PLStream,并采取衰减窗口模式来适应数据流的变化,采用剪枝策略控制内存中聚类模型的规模.实验表明,PLStream算法能较好地适应高维数据流,比CELL-Tree算法具有更好的时间和空间效率.

基于粒度理论的高维数据流并行计算方法

以实现多种形态高维数据流的高效、精确并行计算为出发点,提出基于粒度理论的高维数据流并行计算方法。使用基于动态粒度的数据流挖掘模型,高效挖掘高维数据流;利用基于局部保持投影原理和主成分分析原理压制高维数据流噪声,减少高维数据流噪声隐患;依据降噪后不同高维数据流特点,采用高维数据流相关性分析并行计算方法,得到高维数据的皮尔逊积差相关系数,实现数据流关联,并基于数据流十字转门模型,定义适合高维数据流分析的滑动数据流窗口模式,实现高维数据流的并行计算。实验结果验证,上述方法挖掘高维数据流的内存消耗低,高维数据流数据去噪能力强,具备较高的高维数据流并行计算精度,且并行计算效率高。

基于高维数据流的异常检测算法

传统基于欧氏距离的异常检测算法在高维数据检测中存在精度无法保证以及运行时间过长的问题。为此,结合高维数据流的特点运用角度方差的方法,提出一种改进的基于角度方差的数据流异常检测算法。通过构建最佳数据集网格和最近数据网格的小规模数据流计算集,以快速即时地衡量最新数据点的异常程度,将改进的算法用于无线传感器网络采集的电梯真实数据流检测,实现电梯故障检测。实验结果表明,与ABOD、HODA等算法相比,改进算法能有效识别高维数据流中的异常点,可适用于实时性要求高的传感器高维数据流。

一种高维数据流的稳健监控方法

基于高维数据流在实时检测问题中的重要性,将EWMA统计量与拟合优度检验及异质混合物检验相结合,提出一种监控高维数据流的新方法。经过大量模拟和研究发现,该方法不仅实用,且监控比较稳健。

基于控制过度遗漏发现概率的高维数据流异常诊断

随着科技的创新和社会的进步,数据采集技术得到显著提升,高维数据流(High-dimensional Data Stream,HDS)在医学、机械、工业工程等领域开始广泛出现。除了HDS的在线监控之外,精确而高效的故障诊断也变的越来越重要。在本文中,我们将HDS的故障诊断问题阐述为一个新颖的多重检验问题,并通过控制过度遗漏发现概率(Missed Discovery Excessive Probability,MDX)来对HDS进行异常诊断,克服了传统诊断方法的限制,并能够显著的提高异常诊断的稳健性和精确度。我们给出了MDX的Monte-Carlo近似计算方法,并在此基础上提出了Oracle和DataDriven诊断程序。我们通过模拟研究和一个实例分析来阐明所提方法的优越特性。

一种高维数据流在线监测方法

在线监控高维数据流时,经常遇到部分信息价值较低甚至没有信息价值的数据流对监控结果产生干扰。为了解决这一问题,在统计过程控制中引入了最大信息系数方法,提出了一种基于最大信息系数的高维数据流在线监测方法。该方法能有效筛选出高维数据流中具有较高信息价值的数据流,加快失控状态的报警速度。通过数值模拟和案例分析对所提方法的效果进行检验。结果表明,相较于现有的控制图,所提方法在检测均值漂移时具有更好的监控性能。

引入局部向量点积密度的数据流离群点快速检测算法

现有数据流离群点检测算法在面对海量高维数据流时普遍存在运算时间过长的问题。为此,提出一种引入局部向量点积密度的高维数据流离群点快速检测算法。以保存少量中间结果的方式只对窗口内受影响的数据点进行增量计算,同时设计2种优化策略和1条剪枝规则,减少检测过程中各点之间距离的计算次数,降低算法的时空开销,从而提高检测效率。理论分析和实验结果表明,该算法可以在保证检测准确性的情况下有效提高数据流的离群点检测效率,并且可扩展至并行环境进行并行加速。