基于时间序列压缩分割的监测数据异常识别算法研究

为有效识别桥梁健康监测数据的异常,减少误预警、漏预警现象,保障桥梁监测数据的质量和有效性,针对大跨度斜拉桥长期监测数据的缺失、离群和漂移3类异常数据,提出基于时间序列压缩分割的监测数据异常识别算法。该算法将原始监测数据时间序列通过基于序列重要点(Series Importance Point, SIP)的时间序列线性分段(Piecewise Linear Represent, PLR)算法(PLR_SIP)得到数条时间子序列;然后采用欧氏距离进行时间子序列的相似性分析,并基于改进的局部离群因子(Local Outlier Factor, LOF)算法计算每条时间子序列的局部离群因子;最后将其与设定的阈值相比较,从而识别出监测数据的异常。为验证该算法的准确性与工程实用性,对某公路大跨度斜拉桥健康监测数据进行异常识别。结果表明:采用PLR_SIP算法对原始时间序列压缩分割得到的时间子序列能够准确地反映原序列的变化趋势和范围;改进的LOF算法突破了传统LOF算法仅能识别离群值这类无持续时间异常的局限性,能够排除噪声的干扰,实现对离群、缺失和漂移3种异常的识别。该算法无需定义训练集,直接以原始监测数据作为算法的输入,同时能够自适应调整阈值参数,具有良好的可扩展性、实时性、准确性和高效性,适用于处理实时、大量的桥梁健康监测数据。

MELOF算法的理论分析与拓展

介绍LOF算法、记忆效应以及MELOF算法,对记忆效应进行理论证明,验证MELOF算法的正确性,同时分析该算法的不足和记忆效应的一些特性。针对MELOF算法中的不足进行改进,介绍未来的研究方向,即参数自动选择和利用分而治之思想提高运行效率等。

基于数字孪生的配电网局部异常因子故障辨识仿真

为进一步提高对配电网局部异常因子故障辨识的精度,提出基于数字孪生的配电网局部异常因子故障辨识仿真。通过实时获取配电网运行电气参数并进行预处理,以此为基础提取基于时间序列的故障特征量列矩阵,使用多维标度分析(MDS)方法从降维处理后的故障特征中检测出配电网异常物理节点,再根据配电网网络拓扑得到异常物理节点对应的故障区段,最后结合局部异常因子(LOF)算法计算各物理节点所对应的局部异常因子值,从而获取故障诊断结果,完成对配电网故障的精准辨识。仿真结果表明,运用该方法可以实现对配电网故障的精准辨识。

基于局部离群因子的电力计量数据异常值自动化监测系统

针对电力计量数据异常导致的电力系统故障,提出基于局部离群因子的电力计量数据异常值自动化监测系统。该系统集成多传感器采集数据,通过通信模块传输至处理模块。该模块先运用AP聚类算法将数据聚类成多个类簇,再使用局部离群因子模型计算离群度,通过离群度数值得到异常类簇,则该异常类簇为异常值,再将监测结果传输到用户PC端,实现电力计量数据异常值自动化监测。实验结果表明,该系统聚类电力计量数据时的疏密度数值较高,可有效检测异常值,应用性能较为显著。

基于网格LOF和自适应K-means的离群点检测算法

为了提高大数据背景下离群点检测方法的准确性和时效性,深入研究并分析了聚类算法的特征,提出了一种基于网格局部异常因子(LOF)算法和自适应K-means算法的改进型离群点检测聚类算法。先对大数据信息使用网格LOF算法进行预处理,过滤掉数据中孤立的离群点,再用自适应K-means算法精确地进行离群点检测。最后,试验结果表明,该算法相比于同类离群点检测算法节约了检测运行时间,并提高了检测准确度,对大数据集和高维数据也有较理想的离群点检测效果。

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。

基于电力大数据的用户侧数据异常检测方法研究

针对现有电力大数据的异常检测方法存在的准确度低、检测效率慢等问题,在数据挖掘的基础上,提出了一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法。从全局和局部两个方面对电力大数据进行异常检测,提高了电力大数据检测的优越性。为了验证该方法检测结果的优越性,通过仿真对该方法进行对比分析。结果表明,与传统的异常检测方法相比,该方法具有更高的检测效率,能够更准确地检测出用户侧电力数据异常值。

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。

一种基于聚类和快速计算的异常数据挖掘算法

传统局部离群因子(LOF)算法在动态增量数据库环境下,进行二次异常数据挖掘需重新计算所有数据对象局部偏离因子,存在效率较低的问题。为此,提出一种基于聚类和快速计算的异常数据挖掘算法。对传统DBSCAN算法进行改进,并且在该改进算法聚类的基础上,仅对部分数据对象计算局部偏离因子。实验结果表明,该算法在动态增量数据库环境下,与LOF与lncLOF算法相比,不仅计算时间效率高,而且能提高挖掘异常数据的精度。

基于加权距离的局部离群点检测算法

针对不同属性对数据点之间距离贡献的不同,提出了一种用于距离度量的属性加权策略。标称属性通过属性取值的信息熵进行加权,数值属性通过属性取值的标准差进行加权,混合属性根据标称属性和数值属性综合加权,加权策略可以放大离群点与正常数据之间的差别。仿真实验区分不同的属性类型对所提加权策略进行了验证,实验结果证明了策略的有效性。

基于局部异常因子的无监督学习集成异常检测

研究了基于局部异常因子(LOF)的无监督学习模型共享的集成学习异常检测方法,首先在局部采用LOF无监督学习得到检测模型,然后通过交换局部模型的方式实现集成异常检测.该方法能够从检测数据中自动发现异常样本,无需预先了解数据的分布特征,不对数据进行任何假设,适用范围广.方法通过交换检测模型实现数据有效信息的共享,相比集中式方法,减少了网络传输耗费.实验仿真表明,该方法能取得优于或和集中模型相当的检测性能.

基于负载模式识别的Web应用在线异常检测方法

负载模式的动态变化会影响系统度量,使得异常难以准确检测.针对此问题,提出一种基于负载模式识别、在线检测Web应用异常的方法.该方法基于在线增量式聚类算法,运行时识别动态变化的负载模式,根据特定负载模式对应的度量空间,利用局部异常因数检测异常状态,并量化异常程度,并通过学生t测试方法计算度量异常值,以定位异常原因.实验结果表明,所提方法能够准确识别负载模式变化,有效检测出Web应用典型错误所引起的异常状态,并定位异常原因.

基于密度偏倚抽样的局部距离异常检测方法

异常检测是数据挖掘的重要研究领域,当前基于距离或者最近邻概念的异常数据检测方法,在进行海量高维数据异常检测时,存在运算时间过长的问题.许多改进的异常检测方法虽然提高了算法运算效率,然而检测效果欠佳.基于此,提出一种基于密度偏倚抽样的局部距离异常检测算法,首先利用基于密度偏倚的概率抽样方法对所需检测的数据集合进行概率抽样,之后对抽样数据利用基于局部距离的局部异常检测方法,对抽样集合进行局部异常系数计算,得到的异常系数既是抽样数据的局部异常系数,又是数据集的近似全局异常系数.然后对得到的每个数据点的局部异常系数进行排序,异常系数值越大的数据点越可能是异常点.实验结果表明,与已有的算法相比,该算法具有更高的检测精确度和更少的运算时间,并且该算法对各种维度和数据规模的数据都具有很好的检测效果,可扩展性强.

基于加权改进模糊C均值聚类的欠定混合矩阵估计

语音欠定混合矩阵估计问题中,针对模糊C均值聚类(FCM)算法对初始聚类中心敏感、易受噪声点干扰、鲁棒性差的缺陷,提出一种基于加权的进化规划与FCM相结合的改进算法(WE-FCM)。首先,利用进化规划(EP)算法强大的搜索能力优化FCM得到基于进化规划的FCM算法(EP-FCM),以获得较佳的初始聚类中心;然后,利用局部离群点检测(LOF)算法对EP-FCM加权以降低噪声点的影响。通过仿真实验得出,所提算法在源信号数为3路和4路时归一化均方误差值与偏离角度值均远小于经典的K均值聚类(K-means)算法、K-Hough、基于遗传算法的FCM算法(GAFCM)和基于密度峰值的FCM算法(FDP-FCM)。实验结果表明,所提算法明显提高了FCM算法的鲁棒性和混合矩阵的估计精度。

基于Consume2Vec模型的校园一卡通大数据分析

现有的一卡通数据挖掘方法大多采用统计、聚类、关联规则等浅层机器学习和数据挖掘方法,忽略了消费数据的时序性,缺乏对数据的深度表达。基于深度神经网络,提出了能够对消费数据时序性和关联性进行深度挖掘的Consume2Vec模型,并在此模型的基础上构建消费异常检测模型。通过在大规模一卡通消费数据上进行实验,验证了两个具体Consume2Vec模型的性能,并从不同维度将学生划分为不同群体进行对比分析,发现学生的消费规律和特点。

基于数据分析方法的动力电池系统滥用故障诊断

为了提高对于电池滥用故障的检测能力和诊断效率,针对电动汽车动力电池系统以电压、电流和电功率作为主要控制参数的特点,提出了一种基于数据分析方法的动力电池系统滥用故障检测方法。该方法采用局部异常因子(LOF)算法和感知器网络,研究由于电池滥用对电压、电流等数据的一致性和离散分布的影响。结果表明,由于故障造成的异常数据点,其LOF值远大于正常数据,在感知器分类结果中通常输出为"0"。利用LOF算法可以有效找出数据集中的异常数据点,利用LOF算法处理后的数据对感知器进行训练,可以对数据集进行快速分类,进而判断电池是否发生了滥用故障。该方法可为动力电池系统故障检测提供参考。

ATM交易状态特征分析与异常检测

考虑ATM交易过程当中产生的一系列参数,如交易量、交易成功率和响应时间等,对交易状态特征进行分析并建立了异常检测模型。针对成功率与响应时间2个参数,利用聚类算法将数据点划分为正常点、疑似异常点、异常点3大类。对于疑似的异常点,再根据其时间序列周围点的分布情况确定是否确实为异常点;对于交易量参数,首先通过LOF局部离群因子对离群点进行识别,再结合交易量随时间的移动均线及标准差加以辅助筛选,得到初步的疑似异常点,进一步通过与不同天同一时刻数据进行比较,最终确定是否为异常点。根据上述模型,本文将异常情况划分为3个预警等级,并对重大故障情况进行预测。

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.

基于分阶段离群点检测的电力市场异常辨识

为了监管电力市场中存在的各类违规行为,保证市场的公平竞争,提出了一种基于分阶段离群点检测算法的电力市场异常行为辨识方法。梳理不同交易阶段异常行为的特征,提取相应的特征指标,采用主成分分析法对其进行降维,分阶段地进行异常行为的检测。同时利用平均距离改进局部离群因子算法,显著地提升了算法的检测效果。通过某地区电力市场提供的交易数据进行实验分析,实验结果表明,该方法能有效识别市场中的异常行为,为市场监管人员利用海量数据进行有效监管提供了新思路。

基于K-Medoids聚类的分布式光伏台区线损异常感知算法

为保证分布式光伏台区稳定运行,精准有效地划分台区线损数据,提出基于K-Medoids聚类的分布式光伏线损异常感知算法,精准判断分布式台区线损异常程度。采用局部异常因子(LOF)算法判断分布式光伏台区数据局部异常程度,并筛选和去除受孤立点影响产生的异常线损数据。采取K-Medoids聚类方法聚类分析筛选后的分布式光伏台区数据,将异常线损率区间结合异常线损数据的聚类中心和欧式距离,完成台区线损异常感知。并创新性地引入粒度计算优化K-Medoids聚类算法聚类中心,提升异常数据感知效果。试验结果表明,所提算法可有效避免孤立点对异常感知效果的影响,精准有效地感知分布式光伏台区线损异常,并清晰划分台区线损数据类别。