基于时间序列压缩分割的监测数据异常识别算法研究

为有效识别桥梁健康监测数据的异常,减少误预警、漏预警现象,保障桥梁监测数据的质量和有效性,针对大跨度斜拉桥长期监测数据的缺失、离群和漂移3类异常数据,提出基于时间序列压缩分割的监测数据异常识别算法。该算法将原始监测数据时间序列通过基于序列重要点(Series Importance Point, SIP)的时间序列线性分段(Piecewise Linear Represent, PLR)算法(PLR_SIP)得到数条时间子序列;然后采用欧氏距离进行时间子序列的相似性分析,并基于改进的局部离群因子(Local Outlier Factor, LOF)算法计算每条时间子序列的局部离群因子;最后将其与设定的阈值相比较,从而识别出监测数据的异常。为验证该算法的准确性与工程实用性,对某公路大跨度斜拉桥健康监测数据进行异常识别。结果表明:采用PLR_SIP算法对原始时间序列压缩分割得到的时间子序列能够准确地反映原序列的变化趋势和范围;改进的LOF算法突破了传统LOF算法仅能识别离群值这类无持续时间异常的局限性,能够排除噪声的干扰,实现对离群、缺失和漂移3种异常的识别。该算法无需定义训练集,直接以原始监测数据作为算法的输入,同时能够自适应调整阈值参数,具有良好的可扩展性、实时性、准确性和高效性,适用于处理实时、大量的桥梁健康监测数据。

MELOF算法的理论分析与拓展

介绍LOF算法、记忆效应以及MELOF算法,对记忆效应进行理论证明,验证MELOF算法的正确性,同时分析该算法的不足和记忆效应的一些特性。针对MELOF算法中的不足进行改进,介绍未来的研究方向,即参数自动选择和利用分而治之思想提高运行效率等。

基于网格LOF和自适应K-means的离群点检测算法

为了提高大数据背景下离群点检测方法的准确性和时效性,深入研究并分析了聚类算法的特征,提出了一种基于网格局部异常因子(LOF)算法和自适应K-means算法的改进型离群点检测聚类算法。先对大数据信息使用网格LOF算法进行预处理,过滤掉数据中孤立的离群点,再用自适应K-means算法精确地进行离群点检测。最后,试验结果表明,该算法相比于同类离群点检测算法节约了检测运行时间,并提高了检测准确度,对大数据集和高维数据也有较理想的离群点检测效果。

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。

一种基于聚类和快速计算的异常数据挖掘算法

传统局部离群因子(LOF)算法在动态增量数据库环境下,进行二次异常数据挖掘需重新计算所有数据对象局部偏离因子,存在效率较低的问题。为此,提出一种基于聚类和快速计算的异常数据挖掘算法。对传统DBSCAN算法进行改进,并且在该改进算法聚类的基础上,仅对部分数据对象计算局部偏离因子。实验结果表明,该算法在动态增量数据库环境下,与LOF与lncLOF算法相比,不仅计算时间效率高,而且能提高挖掘异常数据的精度。

基于加权距离的局部离群点检测算法

针对不同属性对数据点之间距离贡献的不同,提出了一种用于距离度量的属性加权策略。标称属性通过属性取值的信息熵进行加权,数值属性通过属性取值的标准差进行加权,混合属性根据标称属性和数值属性综合加权,加权策略可以放大离群点与正常数据之间的差别。仿真实验区分不同的属性类型对所提加权策略进行了验证,实验结果证明了策略的有效性。

基于Consume2Vec模型的校园一卡通大数据分析

现有的一卡通数据挖掘方法大多采用统计、聚类、关联规则等浅层机器学习和数据挖掘方法,忽略了消费数据的时序性,缺乏对数据的深度表达。基于深度神经网络,提出了能够对消费数据时序性和关联性进行深度挖掘的Consume2Vec模型,并在此模型的基础上构建消费异常检测模型。通过在大规模一卡通消费数据上进行实验,验证了两个具体Consume2Vec模型的性能,并从不同维度将学生划分为不同群体进行对比分析,发现学生的消费规律和特点。

基于加权改进模糊C均值聚类的欠定混合矩阵估计

语音欠定混合矩阵估计问题中,针对模糊C均值聚类(FCM)算法对初始聚类中心敏感、易受噪声点干扰、鲁棒性差的缺陷,提出一种基于加权的进化规划与FCM相结合的改进算法(WE-FCM)。首先,利用进化规划(EP)算法强大的搜索能力优化FCM得到基于进化规划的FCM算法(EP-FCM),以获得较佳的初始聚类中心;然后,利用局部离群点检测(LOF)算法对EP-FCM加权以降低噪声点的影响。通过仿真实验得出,所提算法在源信号数为3路和4路时归一化均方误差值与偏离角度值均远小于经典的K均值聚类(K-means)算法、K-Hough、基于遗传算法的FCM算法(GAFCM)和基于密度峰值的FCM算法(FDP-FCM)。实验结果表明,所提算法明显提高了FCM算法的鲁棒性和混合矩阵的估计精度。

基于数据分析方法的动力电池系统滥用故障诊断

为了提高对于电池滥用故障的检测能力和诊断效率,针对电动汽车动力电池系统以电压、电流和电功率作为主要控制参数的特点,提出了一种基于数据分析方法的动力电池系统滥用故障检测方法。该方法采用局部异常因子(LOF)算法和感知器网络,研究由于电池滥用对电压、电流等数据的一致性和离散分布的影响。结果表明,由于故障造成的异常数据点,其LOF值远大于正常数据,在感知器分类结果中通常输出为"0"。利用LOF算法可以有效找出数据集中的异常数据点,利用LOF算法处理后的数据对感知器进行训练,可以对数据集进行快速分类,进而判断电池是否发生了滥用故障。该方法可为动力电池系统故障检测提供参考。

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.

基于k-medoids聚类算法的低压台区线损异常识别方法

针对低压台区线损异常情况的判断问题,以电力公司用电信息采集系统采集的日线损率数据为基础,提出了一种基于k-medoids聚类算法的低压台区线损异常识别方法,并以某地区819个台区为例进行算法可靠性的验证.首先应用局部异常因子LOF算法对低压台区异常日线损率数据进行判断、筛选和剔除;其次应用k-medoids聚类算法对日线损率数据进行聚类分析,得到低压台区日线损率数据的聚类中心点和欧氏距离,从而实现低压台区线损异常情况的判断;最后通过819个低压台区的实际数据验证算法的合理性.结果表明,算法能够对低压台区线损的异常情况做出准确的判断.