基于时间序列压缩分割的监测数据异常识别算法研究

为有效识别桥梁健康监测数据的异常,减少误预警、漏预警现象,保障桥梁监测数据的质量和有效性,针对大跨度斜拉桥长期监测数据的缺失、离群和漂移3类异常数据,提出基于时间序列压缩分割的监测数据异常识别算法。该算法将原始监测数据时间序列通过基于序列重要点(Series Importance Point, SIP)的时间序列线性分段(Piecewise Linear Represent, PLR)算法(PLR_SIP)得到数条时间子序列;然后采用欧氏距离进行时间子序列的相似性分析,并基于改进的局部离群因子(Local Outlier Factor, LOF)算法计算每条时间子序列的局部离群因子;最后将其与设定的阈值相比较,从而识别出监测数据的异常。为验证该算法的准确性与工程实用性,对某公路大跨度斜拉桥健康监测数据进行异常识别。结果表明:采用PLR_SIP算法对原始时间序列压缩分割得到的时间子序列能够准确地反映原序列的变化趋势和范围;改进的LOF算法突破了传统LOF算法仅能识别离群值这类无持续时间异常的局限性,能够排除噪声的干扰,实现对离群、缺失和漂移3种异常的识别。该算法无需定义训练集,直接以原始监测数据作为算法的输入,同时能够自适应调整阈值参数,具有良好的可扩展性、实时性、准确性和高效性,适用于处理实时、大量的桥梁健康监测数据。

一种基于局部异常因子(LOF)的k-means算法

聚类分析算法是数据挖掘技术的一个重要分支,目前其研究已经广泛应用于教育、金融、零售等众多领域并取得了较好的效果。本文结合了基于划分和密度的聚类思想,提出了一个适用于挖掘任意形状的、密度不均的、高效的聚类算法。

IncLOF:动态环境下局部异常的增量挖掘算法

异常检测是数据挖掘领域研究的最基本的问题之一 ,它在欺诈甄别、贷款审批、气象预报、客户分类等方面有广泛的应用 以前的异常检测算法只适应于静态环境 ,在数据更新时需要进行重新计算 在基于密度的局部异常检测算法LOF的基础上 ,提出一种在动态环境下局部异常挖掘的增量算法IncLOF ,当数据库中的数据更新时 ,只对受到影响的点进行重新计算 ,这样可以大大提高异常的挖掘速度 实验表明 ,在动态环境下IncLOF的运行时间远远小于LOF的运行时间 ,并且用户定义的邻域中的最小对象个数与记录数之比越小 。

基于局部异常因子算法的三维声纳单帧重建研究

海洋环境的复杂性会使三维声纳获取到的点云中存在异常点,从而影响点云的后期处理和可视化。将获取到的声纳数据依次进行三维波束成像、最大值滤波和坐标系转换,进而得到原始点云。提出将局部异常因子(LOF)算法应用到点云去噪、剔除干扰的异常点,并用一种改进三角网生长方法进行单帧重建。改进三角网生长法简化了三角网生成中关键的“第三点”搜寻过程,通过实际数据处理分析得知:相比于传统阈值去噪方式,基于LOF算法的去噪方式能够在保持目标真实轮廓的前提下有效剔除非目标点;经过所提去噪方式的声纳数据能够得到更贴合实际目标轮廓的三维重建结果。

局部异常因子优化的椭圆拟合算法及其在光纤振动传感相位解调中的应用

已有的椭圆拟合算法利用李萨如图形解决了非理想3×3耦合器所引入的解调结果误差,但在研究中没有充分考虑电路噪声与相位噪声对李萨如图形的影响.针对噪声影响提出了基于局部异常因子优化的3×3耦合器椭圆拟合解调方法,可以有效地消除李萨如图形中因噪声产生的离群点.仿真结果表明,该方法能够实现准确解调,利用蒙特卡洛分析得出综合误差率约为0.13%,验证了方法的稳定性.与传统最小二乘拟合方法相比,所提方法有效地提高了信号解调的稳定性和精确度.

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。

启发式k-means聚类算法的改进研究

启发式k-means聚类算法通过在k-means第一次迭代后查看附近的集群来预测每个数据点可能会被划分到的集群子集,有效地加快了算法的运行速度。但由于启发式算法存在随机选择初始聚类中心以及无法有效识别数据集中离群点的缺陷,导致聚类结果的误差平方和较大并且轮廓系数偏小。针对这一问题,提出了CHk-means算法,该算法引入仔细播种方法,克服了启发式k-means算法随机选择初始聚类中心带来的局部最优解问题;该算法引入局部异常因子LOF算法对离群点进行检测,降低了离群点数据对聚类结果的影响。在多个数据集上对3种算法进行对比试验,结果表明CHk-means算法可有效降低聚类结果的误差平方和,增强聚类的轮廓系数,使聚类质量得到明显改善。

一种改进的LOF异常点检测算法

LOF异常点检测算法在实际应用中有两个缺陷:一是离群因子值只与参数K有关,当K取值不同时,离群因子的值将不同,之前是异常点的数据可能不再是异常点。二是对于未知异常点个数的数据集,选择参数K以保证离群点的挖掘数量合理难以做到。因此,提出一种结合平均密度的改进LOF异常点检测算法。首先分析数据集中数据点的平均密度,根据密度的分布情况确定数据集的异常点个数M1及异常集D1,然后通过计算离群因子确定M2(M2=M1)个异常点及异常集D2。取D1与D2的交集作为最终的离群集。实验结果表明,改进算法在检测精准性方面有显著提高,误报率较低,综合评价指标F值比LOF算法有显著增强。

基于LOF+SVM的异常用电用户分阶段识别方法

准确的电力异常用户识别方法能为供电企业锁定存在窃电行为或其他违规行为的电力用户提供参考。大多数基于机器学习的异常识别模型采用了无监督算法,但模型的准确度还较低。针对上述问题,提出一种结合无监督的局部离群因子(LOF)算法与有监督的支持向量机(SVM)算法的两阶段异常用电用户识别方法。基于分析异常电能表区别于正常电能表的电流电压表现,构建异常识别模型的输入特征;采用无监督的LOF算法进行采样,筛选出可疑样本交给人工进行标记,然后利用标记样本训练有监督的SVM模型;在之后的检测工作中,直接将LOF算法筛选出可疑样本交给SVM模型进行识别。实例结果表明,该方法对电力异常用户的识别准确度高,对供电企业的窃电稽查工作具有指导意义。

基于CNN-LSTM-LOF的过程故障预测模型

在现代工业过程中,故障预测可以及时预测设备的潜在故障,减少事故的发生以及降低经济损失,因此故障预测对于过程系统至关重要。由于过程系统的复杂性以及运行数据集分布不均,使用正常数据集离线预测运行状态的方法没有较好的泛用性,且不太准确。针对以上问题,将卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合,用于提取设备运行数据的特征,在线预测之后的运行状态;随后将预测结果送入在离线状态下训练好的局部异常因子(LOF)模型中,计算预测出时间序列的异常值;最后将异常值与离线状态下训练出的故障阈值进行比较,大于阈值则认为存在潜在故障。将模型用于田纳西-伊斯曼(TE)时间序列进行验证,并与传统的故障预测方法进行比较,实验结果表明:本文所提模型对于多故障以及单故障预测相比传统故障预测方法均具有更好的效果,可以提前1个采样窗口检测到数据异常,有应用于工业故障预测的潜力。

基于LOF分析算法的异常用电行为研究

综合分析历史电量和负荷等数据特征,建立用电行为特征库,提出一种基于用电特征分析的无监督方式异常用电检测方法。该检测方法引入离群点查找算法,量化海量数据中不同异常用电行为,将其提取为异常用电特征序列,再构建基于局部离群因子(Local Outlier Factor,LOF)检测算法,实现疑似异常用电用户的在线快速识别与精准定位,提高现场检查的命中率,降低运营成本。

一种基于误差和关键点的地震前兆观测数据异常挖掘算法

地震前兆观测数据是对地震进行分析和预测的重要依据。但是当前往往是以人工处理为主要手段,面对海量的前兆观测数据,迫切需要切实可行的异常挖掘算法。提出了基于误差和关键点的自顶向下(error andkey-point top-down,EKTW)分段算法以及基于时间邻域的局部异常因子(time-neighbourhood local outlier factor,TLOF)分析方法。相比于传统的分段算法在高分辨率下近似效果不佳、对发现短时高频异常会造成一定程度影响的缺陷,EKTW分段算法通过对时间序列中的关键点的识别和保留进行了弥补和加强。而基于时间邻域的局部异常因子(TLOF)则考虑到了地震前兆观测数据中的时间属性,在异常挖掘中以时间邻域对象作为参考来评价离群程度。实验表明,以上算法对发现地震前兆观测数据中的两类典型异常具有较好的效果。

基于加权距离的局部离群点检测算法

针对不同属性对数据点之间距离贡献的不同,提出了一种用于距离度量的属性加权策略。标称属性通过属性取值的信息熵进行加权,数值属性通过属性取值的标准差进行加权,混合属性根据标称属性和数值属性综合加权,加权策略可以放大离群点与正常数据之间的差别。仿真实验区分不同的属性类型对所提加权策略进行了验证,实验结果证明了策略的有效性。

MELOF算法的理论分析与拓展

介绍LOF算法、记忆效应以及MELOF算法,对记忆效应进行理论证明,验证MELOF算法的正确性,同时分析该算法的不足和记忆效应的一些特性。针对MELOF算法中的不足进行改进,介绍未来的研究方向,即参数自动选择和利用分而治之思想提高运行效率等。

基于异常点检测和改进K-means算法的台区用户相别辨识方法

解决配电台区用户线变不匹配问题是推进配电网智能化管理的关键一步。大数据技术的快速普及为实现低成本、高效率的台区用户相别辨识提供了可能。提出了基于异常点检测和改进K-means算法的台区用户相别辨识方法。首先通过局部因子算法对聚类分析数据进行预处理,剔除不属于待分析台区的用户数据。然后,根据实际应用场景特点对K-means算法进行改进,包括确定聚类个数、初始质心,并选用相关系数作为评估样本相似度的指标。最后利用改进的K-means算法对预处理后的数据进行聚类分析,实现低压台区用户相别的精准辨识。算例分析表明,所提方法能够有效提升用户辨识准确率,且在不同的数据环境中可保持较高的稳定性。

考虑样本异常值的改进最小二乘支持向量机算法

针对最小二乘支持向量机对异常值敏感、缺乏鲁棒性的情况,提出一种考虑样本异常值的改进最小二乘支持向量机算法。该算法首先通过采用局部异常因子检测算法为每个数据样本计算一个LOF因子,根据其因子值能够有效地将样本分成正常样本和异常样本,然后针对不同样本进行单独设置样本权重。其有效地保证了在降低异常样本权重的同时而不使正常样本权重受到影响,使最小二乘支持向量机在达到目标函数最优化的同时能够保证正常数据信息不丢失,以提高模型的鲁棒性。最后,通过引入"信息熵"和"平均粒距"来改进粒子群算法,将其应用于模型的参数优化。经过实验仿真表明,该算法能够有效地提高模型的鲁棒性,随着异常样本的增多,其模型精度提高大约67%。

基于网格LOF和自适应K-means的离群点检测算法

为了提高大数据背景下离群点检测方法的准确性和时效性,深入研究并分析了聚类算法的特征,提出了一种基于网格局部异常因子(LOF)算法和自适应K-means算法的改进型离群点检测聚类算法。先对大数据信息使用网格LOF算法进行预处理,过滤掉数据中孤立的离群点,再用自适应K-means算法精确地进行离群点检测。最后,试验结果表明,该算法相比于同类离群点检测算法节约了检测运行时间,并提高了检测准确度,对大数据集和高维数据也有较理想的离群点检测效果。

基于k-medoids聚类算法的低压台区线损异常识别方法

针对低压台区线损异常情况的判断问题,以电力公司用电信息采集系统采集的日线损率数据为基础,提出了一种基于k-medoids聚类算法的低压台区线损异常识别方法,并以某地区819个台区为例进行算法可靠性的验证.首先应用局部异常因子LOF算法对低压台区异常日线损率数据进行判断、筛选和剔除;其次应用k-medoids聚类算法对日线损率数据进行聚类分析,得到低压台区日线损率数据的聚类中心点和欧氏距离,从而实现低压台区线损异常情况的判断;最后通过819个低压台区的实际数据验证算法的合理性.结果表明,算法能够对低压台区线损的异常情况做出准确的判断.

基于异常点检测和改进kNN算法的台户关系辨识方法研究

台户关系识别是电网公司实现营配贯通的基础。为此,提出一种基于异常点检测和改进kNN算法的台户关系辨识方法。首先,利用局部异常因子算法剔除不属于待辨识台区的用户,保证待辨识台区和用户具备映射关系。然后,对传统的kNN算法进行改进,避免k值选取带来的过拟合或训练误差较大等缺陷,提升算法的准确性和鲁棒性,最终实现台区用户的有效辨识。算例分析表明,所提的台区用户辨识方法能够准确有效识别台户关系,且更适合实际辨识工况。

基于网络性能评价的多元时序相似度算法

针对传统的网络性能相似性评价方法从数据整体进行分析,存在无法描述局部特征且忽略了各个变量间影响与联系等问题,文中提出一种基于网络性能评价的多元时序相似度算法。通过异常检测和聚类的方法提取时序的关键信息,在此基础上,采用MDTW算法对模式表示后的多元时序进行相似性度量,结合被动测量的方式采集相关数据进行实验分析。实验结果表明,基于网络性能评价的多元时序相似度算法相较于传统DTW算法,准确率提高约14%,且平均耗时缩短至3 s,有效提高了相似性度量的准确度和效率。