基于IKNN和LOF的变压器回复电压数据清洗方法研究

基于回复电压极化谱提取特征参量是目前广泛应用的变压器油纸绝缘状态评估方法,但极化谱易受工况干扰、人工失误等因素影响而出现特征数据异常的情况,严重降低评估准确性。针对上述问题,该文提出了一种基于局部离群因子(LOF)和改进K最近邻(IKNN)的回复电压数据清洗方法。首先,选取回复电压极化谱的回复电压极大值Urmax、初始斜率Sr与主时间常数tcdom作为老化特征参量,并基于LOF算法对非标准极化谱中的异常特征量数据进行识别与筛除。其次,利用模糊C均值(FCM)聚类算法减小噪声点对KNN算法的干扰,并通过加权欧氏距离标度突出各特征量间的关联性,进而构建出基于IKNN的数据填补模型架构以实现特征缺失数据的填补。最后,代入多组实测数据验证所提数据清洗方法的实效性。结果表明,数据清洗后的状态评估准确率相较于原有数据上升了50%左右,有效提高了变压器回复电压数据质量,为准确感知变压器运行状况奠定坚实的基础。

基于LOF算法的核辐射自动监测系统设计与实现

为适应对高精度、全覆盖的核辐射监测要求,本文基于局部离群因子算法(Local Outlier Factor,LOF)设计了一套完善的核辐射自动监测系统。首先,结合具体情况,进行核辐射自动监测站布点,实时获取核辐射监测数据并通过无线通信网络传至服务器,采用传输加密技术保障数据传输过程的安全性与可靠性;其次,通过引入LOF算法有效识别监测数据中存在的传感器故障或者设备缺陷导致的无效监测异常值,无效值将不列入数据统计;最后,将有效的监测实时数据传送至监测指挥中心。系统试运行测试结果表明:该系统能有效针对各种硬件故障导致的无效数据进行高可靠性的实时监测和识别,无效数据判断准确性超过95%,提高了核辐射环境自动监测的稳定性和可靠性,有效防范核辐射造成的危害,为促进生态系统的可持续发展提供参考。

基于LOF+SVM的异常用电用户分阶段识别方法

准确的电力异常用户识别方法能为供电企业锁定存在窃电行为或其他违规行为的电力用户提供参考。大多数基于机器学习的异常识别模型采用了无监督算法,但模型的准确度还较低。针对上述问题,提出一种结合无监督的局部离群因子(LOF)算法与有监督的支持向量机(SVM)算法的两阶段异常用电用户识别方法。基于分析异常电能表区别于正常电能表的电流电压表现,构建异常识别模型的输入特征;采用无监督的LOF算法进行采样,筛选出可疑样本交给人工进行标记,然后利用标记样本训练有监督的SVM模型;在之后的检测工作中,直接将LOF算法筛选出可疑样本交给SVM模型进行识别。实例结果表明,该方法对电力异常用户的识别准确度高,对供电企业的窃电稽查工作具有指导意义。

基于时间序列压缩分割的监测数据异常识别算法研究

为有效识别桥梁健康监测数据的异常,减少误预警、漏预警现象,保障桥梁监测数据的质量和有效性,针对大跨度斜拉桥长期监测数据的缺失、离群和漂移3类异常数据,提出基于时间序列压缩分割的监测数据异常识别算法。该算法将原始监测数据时间序列通过基于序列重要点(Series Importance Point, SIP)的时间序列线性分段(Piecewise Linear Represent, PLR)算法(PLR_SIP)得到数条时间子序列;然后采用欧氏距离进行时间子序列的相似性分析,并基于改进的局部离群因子(Local Outlier Factor, LOF)算法计算每条时间子序列的局部离群因子;最后将其与设定的阈值相比较,从而识别出监测数据的异常。为验证该算法的准确性与工程实用性,对某公路大跨度斜拉桥健康监测数据进行异常识别。结果表明:采用PLR_SIP算法对原始时间序列压缩分割得到的时间子序列能够准确地反映原序列的变化趋势和范围;改进的LOF算法突破了传统LOF算法仅能识别离群值这类无持续时间异常的局限性,能够排除噪声的干扰,实现对离群、缺失和漂移3种异常的识别。该算法无需定义训练集,直接以原始监测数据作为算法的输入,同时能够自适应调整阈值参数,具有良好的可扩展性、实时性、准确性和高效性,适用于处理实时、大量的桥梁健康监测数据。

启发式k-means聚类算法的改进研究

启发式k-means聚类算法通过在k-means第一次迭代后查看附近的集群来预测每个数据点可能会被划分到的集群子集,有效地加快了算法的运行速度。但由于启发式算法存在随机选择初始聚类中心以及无法有效识别数据集中离群点的缺陷,导致聚类结果的误差平方和较大并且轮廓系数偏小。针对这一问题,提出了CHk-means算法,该算法引入仔细播种方法,克服了启发式k-means算法随机选择初始聚类中心带来的局部最优解问题;该算法引入局部异常因子LOF算法对离群点进行检测,降低了离群点数据对聚类结果的影响。在多个数据集上对3种算法进行对比试验,结果表明CHk-means算法可有效降低聚类结果的误差平方和,增强聚类的轮廓系数,使聚类质量得到明显改善。

IncLOF:动态环境下局部异常的增量挖掘算法

异常检测是数据挖掘领域研究的最基本的问题之一 ,它在欺诈甄别、贷款审批、气象预报、客户分类等方面有广泛的应用 以前的异常检测算法只适应于静态环境 ,在数据更新时需要进行重新计算 在基于密度的局部异常检测算法LOF的基础上 ,提出一种在动态环境下局部异常挖掘的增量算法IncLOF ,当数据库中的数据更新时 ,只对受到影响的点进行重新计算 ,这样可以大大提高异常的挖掘速度 实验表明 ,在动态环境下IncLOF的运行时间远远小于LOF的运行时间 ,并且用户定义的邻域中的最小对象个数与记录数之比越小 。

MELOF算法的理论分析与拓展

介绍LOF算法、记忆效应以及MELOF算法,对记忆效应进行理论证明,验证MELOF算法的正确性,同时分析该算法的不足和记忆效应的一些特性。针对MELOF算法中的不足进行改进,介绍未来的研究方向,即参数自动选择和利用分而治之思想提高运行效率等。

基于LOF的K-means聚类方法及其在微震监测中的应用

矿山微震事件集群是分析矿震的重要参考之一,其准确的划分对矿山微震分布特征和微震活动分析具有重要作用。提出了1种基于局部离群因子(Local Outlier Factor,LOF)的K-means聚类算法并构建了综合SSE评价指标和模型,通过LOF算法检测异常微震事件和选取初始聚类中心,利用Krzanowski-Lai指数确定最佳聚类分组数;采用模拟计算比较了不同数据集大小的聚类效果。结果表明:基于LOF的K-means聚类方法评分最高,聚类结果最好;并利用该聚类方法分析用沙坝矿1649个微震事件的分布特征与微震活动性。实例表明,K=7为最佳聚类分组数,聚类簇的划分受断层滑移和矿山生产活动的影响。

基于网格LOF和自适应K-means的离群点检测算法

为了提高大数据背景下离群点检测方法的准确性和时效性,深入研究并分析了聚类算法的特征,提出了一种基于网格局部异常因子(LOF)算法和自适应K-means算法的改进型离群点检测聚类算法。先对大数据信息使用网格LOF算法进行预处理,过滤掉数据中孤立的离群点,再用自适应K-means算法精确地进行离群点检测。最后,试验结果表明,该算法相比于同类离群点检测算法节约了检测运行时间,并提高了检测准确度,对大数据集和高维数据也有较理想的离群点检测效果。

基于AP-LOF离群组检测的配电网连接验证

现有配电网连接验证工作将可疑异常值视为具有二元属性的独立个体,因此难以有效识别和验证具有高度内在相关性的局部离群组.针对这一问题,提出了基于AP-LOF离群组检测的配电网连接验证方法.通过引入近邻传播(affinity propagation,AP)聚类方法,将待校验台区用户聚类为多簇,并基于局部离群因子(local outlier factor,LOF)算法对所有簇心进行离群点检测,从而准确识别出台区内的离群组用户.以某电力公司实际用户电压数据进行算例分析,结果证明了AP-LOF算法在配电网连接验证中的适用性和有效性.

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。

一种基于局部异常因子(LOF)的k-means算法

聚类分析算法是数据挖掘技术的一个重要分支,目前其研究已经广泛应用于教育、金融、零售等众多领域并取得了较好的效果。本文结合了基于划分和密度的聚类思想,提出了一个适用于挖掘任意形状的、密度不均的、高效的聚类算法。

基于LOF分析算法的异常用电行为研究

综合分析历史电量和负荷等数据特征,建立用电行为特征库,提出一种基于用电特征分析的无监督方式异常用电检测方法。该检测方法引入离群点查找算法,量化海量数据中不同异常用电行为,将其提取为异常用电特征序列,再构建基于局部离群因子(Local Outlier Factor,LOF)检测算法,实现疑似异常用电用户的在线快速识别与精准定位,提高现场检查的命中率,降低运营成本。

动态检测数据驱动的高速铁路有砟轨道几何不平顺超限大值预警方法

为了对高速铁路有砟轨道几何不平顺幅值超限进行准确预警,结合局部异常因子算法,提出了一种动态检测数据驱动的轨道几何不平顺维修作业识别方法。首先,基于支持向量机(Support Vector Machine,SVM)算法对轨道几何不平顺超限劣化过程进行分析,将影响列车运行的持续劣化超限作为研究对象;随后,使用局部异常因子(Local Outlier Factor,LOF)算法对轨道几何不平顺维修作业进行识别,依据识别结果划分超限劣化过程;最后,对两次维修作业之间的检测数据进行分析,验证轨道几何不平顺幅值的劣化为线性过程,并对几何不平顺幅值进行预测。利用该方法对某线路进行劣化分析,并与近6年的动态检测数据对比。结果表明:该方法识别维修作业准确度达91%;基于鲁棒回归的劣化模型能够准确预测轨道几何不平顺超限大值。该方法不需历史维修作业数据,可自动划分劣化过程,通过几何不平顺幅值预测模型对超限发展进行预测,及时预警几何不平顺超限大值。

基于多模型并行集成框架的风电功率异常数据识别

风电机组在实际运行过程中因通信故障或人为因素会产生大量异常数据,对工况评估和出力预测带来较大影响,故需要对风电功率异常数据进行处理。通过分析风电功率数据特征和异常数据产生原因,提出了一种多模型并行集成框架的风电功率异常数据识别方法。该方法采用最近邻隔离方法和局部离群因子方法的构建异常检测模型池,再经并行集成框架进行二次筛选合并,得出最终识别结果。利用单一最近邻隔离方法、局部离群因子方法和顺序集成方法在不同风电场实际数据集上进行对比验证。算例验证结果表明,所提方法能有效识别各类异常数据,提升风功率预测模型精度,具有较强的通用性。

基于ICEEMDAN-IPSO-ELM的硅油溶解气体浓度组合预测方法

高压电缆充油终端作为电力系统中传输电能的重要设备,对充油电缆终端内填充的硅油溶解气体浓度进行可靠预测,可为硅油的故障诊断提供一定的支撑。因此,提出一种基于局部异常因子与ICEEMDAN-IPSO-ELM的硅油中溶解气体浓度预测模型。首先,搭建模拟电缆终端内部硅油老化实验平台,通过色谱分析获得硅油中溶解气体浓度序列,进而对硅油中溶解气体浓度时间序列进行数据清洗,采用局部离群因子检测方法判断异常值并进行合理的修正,进而采用改进自适应白噪声完全集合经验模态分解将修正后的硅油中溶解气体浓度序列进行分解,得到不同时间尺度的本征模态函数分量,可以有效降低高、低频分量间的相互影响;其次,针对具有不同特征的频率分量搭建极限学习机网络预测模型,针对极限学习机模型参数较难选取的问题,采用改进粒子群优化方法对模型的权值和阈值参数寻优求解,在一定程度上优化了粒子群方法的寻优能力,并提高了组合预测方法的可靠性;最后,将不同频率分量的计算结果加和,便可得到硅油中溶解气体浓度的预测含量。具体实例表明,与其他预测模型相比,该方法能够可靠预测出硅油中溶解气体含量的未来走势,为硅油故障诊断技术提供了有力的保障。

基于RoBERTa与改进局部离群因子算法的专利新颖性测量

现有的专利新颖性测量方法需要依赖特定的领域知识以及专家的介入,性能差且耗时长,为此,提出了一种不依赖特定领域知识及专家的全自动化系统的识别新颖性专利的方法。首先利用鲁棒优化的BERT方法(robustly optimized BERT approach,RoBERTa)表示专利向量,以解决需要依赖技术领域的知识来表示专利的多义词问题;其次,利用数据点的密度分布并结合信息熵改进局部离群因子(local outlier factor,LOF)算法来确定离群点个数及数据点集,提高离群点的检测精度,结合RoBERT与改进的LOF在数值尺度上度量专利的新颖性。实验验证表明,所提方法测量的专利新颖性的得分与现有文献中的相关专利指标显著相关,并且识别出的新颖性专利具有更高的技术影响。

基于电力大数据的用户侧数据异常检测方法研究

针对现有电力大数据的异常检测方法存在的准确度低、检测效率慢等问题,在数据挖掘的基础上,提出了一种将孤立森林算法和局部离群因子算法相结合的电力大数据异常检测方法。从全局和局部两个方面对电力大数据进行异常检测,提高了电力大数据检测的优越性。为了验证该方法检测结果的优越性,通过仿真对该方法进行对比分析。结果表明,与传统的异常检测方法相比,该方法具有更高的检测效率,能够更准确地检测出用户侧电力数据异常值。

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。

一种基于聚类和快速计算的异常数据挖掘算法

传统局部离群因子(LOF)算法在动态增量数据库环境下,进行二次异常数据挖掘需重新计算所有数据对象局部偏离因子,存在效率较低的问题。为此,提出一种基于聚类和快速计算的异常数据挖掘算法。对传统DBSCAN算法进行改进,并且在该改进算法聚类的基础上,仅对部分数据对象计算局部偏离因子。实验结果表明,该算法在动态增量数据库环境下,与LOF与lncLOF算法相比,不仅计算时间效率高,而且能提高挖掘异常数据的精度。