在DBSCAN+LOF的大扰动工况下PMU装置不良数据检测算法研究

针对传统k-means算法异常点检测算法在大扰动情况下易产生误检、误判的问题,提出基于DBSCAN+LOF的电力系统PMU不良数据检测算法。结果表明:PMU正常数据存在较强的时空相似性,PMU不良数据的时空相似性均较弱,大扰动PMU数据存在较强的空间相似性,但时间相似性较弱;根据3种数据的时空特征,可利用DBSCAN算法检测出异常点,再利用LOF算法计算局部离群因子,通过局部离群因子大小来判别大扰动PMU数据和PMU不良数据;将提出的算法应用到电力系统短路故障中,结果显示在短路故障发生和切除时刻,LOF计算结果显示为大扰动PMU数据,在故障切除后,LOF计算结果显示为PMU不良数据,检测结果与实际情况完全相符,算法是合理有效的。

基于LOF与RF法冲击地压危险性等级评价

冲击地压是我国煤矿目前面临的一种危害性极大的灾害,如何准确对冲击地压灾害评价是目前亟需解决的问题。根据发生地质条件和开采技术条件选取煤厚、倾角、构造情况、煤层倾角变化、厚度变化、瓦斯浓度、顶板管理和卸压情况等9个指标。考虑指标存在离群值,导致冲击地压评价模型准确率下降,本文提出了LOF与Random Forest(RF)组合的冲击地压评价模型,采用LOF消除冲击地压评价数据集中的离群值,建立LOF与RF组合的冲击地压模型。结果表明LOF与RF组合模型大大提高了评价模型的准确率,为冲击地压评价提供一种方法。

基于LOF-SMOTE算法的地下水影响下矿山岩溶塌陷风险预测研究

矿山岩溶地表塌陷成因复杂,形式多样,为准确预测矿山岩溶塌陷,结合岩溶发育机理,本研究提出基于LOF和SMOTE算法的BP神经网络预测模型。首先通过LOF算法剔除因非自然原因而产生的异常数据,再通过SMOTE算法对剔除后的数据进行过采样,合成新数据,以增加样本数目,最后采用BP神经网络模型对矿山岩溶塌陷进行预测。结果表明,实际工程数据经过预处理后的预测模型,与部分小样本预测模型相比,具有更高的预测精度,可为在其他工程中应用提供参考。

基于改进LOF的高维数据异常检测方法

作为数据挖掘的核心问题之一,检测离群点或异常值是及时发现故障和隐患问题的重要判断依据。随着物联网设备量的持续增长,传统的单维异常检测算法已经难以满足日益复杂的大数据应用场景。对多维、庞大的数据流进行异常检测时,容易发生检测速度慢和研判准确度下降的问题。本文提出了一个基于高维数据的改进LOF异常检测算法,以提高检测速度和检测精度。同时构建了一个面向海量监控指标数据的流式处理框架,保障异常检测的正常运行。实验结果表明,改进后的算法在准确率和计算效率上有明显提升。

基于LOF与欧氏距离的液态危化品安全鹤位分配方法

为保障液态危化品装卸过程中的生产安全,引入基于局部异常因子(LOF)与欧氏距离进行安全鹤位分配。首先通过使用LOF计算空位点局部离群程度,再计算空位点与出口间的欧氏距离,采用模糊量化法对得到的2个指标进行无量纲化处理,将2个结果加权计算后生成最终的综合评价指标。针对装卸区域建立坐标系,通过鹤位分配算法评估候选鹤位的安全程度,依照候选鹤位的综合评价得分结果,选取当前轮次得分最高的鹤位作为最终分配结果。同时根据鹤位实时作业进行迭代优化计算,实现安全鹤位分配。实验结果表明,基于LOF与欧氏距离的安全鹤位分配算法可以同时保证作业鹤位的相对较大安全间隔和相对较短避险距离。通过多轮次候选鹤位点选取,装卸安全性得到改善。

基于LOF+SVM的异常用电用户分阶段识别方法

准确的电力异常用户识别方法能为供电企业锁定存在窃电行为或其他违规行为的电力用户提供参考。大多数基于机器学习的异常识别模型采用了无监督算法,但模型的准确度还较低。针对上述问题,提出一种结合无监督的局部离群因子(LOF)算法与有监督的支持向量机(SVM)算法的两阶段异常用电用户识别方法。基于分析异常电能表区别于正常电能表的电流电压表现,构建异常识别模型的输入特征;采用无监督的LOF算法进行采样,筛选出可疑样本交给人工进行标记,然后利用标记样本训练有监督的SVM模型;在之后的检测工作中,直接将LOF算法筛选出可疑样本交给SVM模型进行识别。实例结果表明,该方法对电力异常用户的识别准确度高,对供电企业的窃电稽查工作具有指导意义。

基于多特征和LOF的用户负荷突变检测

负荷突变对电网冲击力大,会造成电网频率和功率振荡。为了对复杂且大体量的用户负荷异常数据进行排查,提出了多特征与LOF(局部离群因子)算法相结合的检测方法。提取负荷数据统计特征平均值、标准差以及波形特征离散系数、峭度、波形因子和脉冲因子,经过PCA(主成分分析)降维后获得有效特征,并采用LOF算法对每天的用户负荷异常数据进行检测。此检测算法在以阿里云为基础的浙电数据中台中运行,结果表明所提方法能够每天定时在海量量测数据中将负荷突变的用户查找出来,实现了在线检测并具有较高的准确率。

基于VMD-Informer-LOF算法的变频器故障提前预警研究

针对风电机组变频器故障时常伴随剧烈温度变化的特点,本文提出一种基于VMD-Informer-LOF算法的故障检测方法。方案综合考虑风机状态变量对变频器的影响,利用变分模态分解(variational mode decomposition,VMD)提取电流电压等电信号的平稳变化分量与高频干扰噪声,并结合排列重要性(permutation importance,PI)筛选对温度具有高灵敏性的变量。同时,基于故障时温度呈现为过低温或过高温的特点,将Informer预测温度值和SCADA(supervisory control and data acquisition)系统实测值重组为二维序列,结合局部离群因子(local outlier factor,LOF)算法识别变频器不同状态下的温度模式,进而实现高效的异常识别。经实验验证,本文所提出的VMD-Informer模型的温度预测拟合优度能够达到0.9841,效果优于LSTM(long short term memory)、XGBoost(extreme gradient boosting)等时序预测方法;同时,结合滑动窗口划分数据,LOF算法能够有效地对窗口内异常数据进行识别,在故障率阈值为0.2的情况下,能够实现提前约14小时发现故障,显著提高了故障预警效果。

基于LOF的配电网FDIA检测算法研究

为了快速、准确检测出配电网中存在的虚假数据注入攻击(FIDA),文章提出了基于离群点检测算法(LOF)的FDIA检测方法。算法首先通过同步相量测量装置(PMU)获取边缘点的量测值,然后计算边缘点电压稳定系数(NVSI),当边缘点存在不同于平常的NVSI,利用LOF对边缘点进行有效筛选,对比分析后得出受攻击的节点。实验表明,该文方法与传统前期FDIA检测算法相比,在降低检测边缘点的同时,不仅确保了检测准确率而且提升了计算效率。

基于时间序列压缩分割的监测数据异常识别算法研究

为有效识别桥梁健康监测数据的异常,减少误预警、漏预警现象,保障桥梁监测数据的质量和有效性,针对大跨度斜拉桥长期监测数据的缺失、离群和漂移3类异常数据,提出基于时间序列压缩分割的监测数据异常识别算法。该算法将原始监测数据时间序列通过基于序列重要点(Series Importance Point, SIP)的时间序列线性分段(Piecewise Linear Represent, PLR)算法(PLR_SIP)得到数条时间子序列;然后采用欧氏距离进行时间子序列的相似性分析,并基于改进的局部离群因子(Local Outlier Factor, LOF)算法计算每条时间子序列的局部离群因子;最后将其与设定的阈值相比较,从而识别出监测数据的异常。为验证该算法的准确性与工程实用性,对某公路大跨度斜拉桥健康监测数据进行异常识别。结果表明:采用PLR_SIP算法对原始时间序列压缩分割得到的时间子序列能够准确地反映原序列的变化趋势和范围;改进的LOF算法突破了传统LOF算法仅能识别离群值这类无持续时间异常的局限性,能够排除噪声的干扰,实现对离群、缺失和漂移3种异常的识别。该算法无需定义训练集,直接以原始监测数据作为算法的输入,同时能够自适应调整阈值参数,具有良好的可扩展性、实时性、准确性和高效性,适用于处理实时、大量的桥梁健康监测数据。

LOF流动性风险度量与实证研究

文章从投资者实际投资时所面临的价格冲击入手,提出了流动性风险的概念,并定义了LOF(Listed Open-end Fund)流动性风险指标L,并利用VaR(Value at Risk)、ES(Expected Shortfall)对流动性风险进行度量。针对L序列厚尾分布的特征,采用极值理论的POT(Peaks Over Threshold)模型对其尾部数据进行建模,能更准确地估计度量流动性风险的工具VaR、ES的值,从而更有效地捕捉投资者所面临的流动性风险。最后利用LOF的1小时交易数据进行了实证研究。

基于随机森林回归的船舶特涂维修的日能耗预测

特殊涂装(简称特涂)维修是修船工作的核心内容,能耗的预测是船舶智能能效优化中的一项重要任务。使用随机森林回归(RFR)模型对船舶特涂维修日能耗进行分析,去除异常值、随机化和标准化数据集,然后使用RFR模型对船舶日能耗历史数据进行训练拟和,利用带交叉验证的网格搜索优化RFR模型,使用优化后的RFR模型对船舶特涂维修日能耗数据进行分析,并与其他模型进行对比实验。结果表明,优化后的RFR模型预测效果优于多种其他模型,R2值达93.25%,均方误差明显更低。

基于改进LOF算法的窃电检测方法研究

异常值检测作为数据挖掘领域研究的热点问题之一,广泛应用于窃电识别、反信息欺诈等领域.而LOF算法作为一种依赖数据密度进行异常值识别的算法,因其具有检测精度高、应用场景多元等优势常被应用于窃电识别与检测过程中,但该算法往往存在较高的时间复杂度.针对该问题,提出了一种基于混合剪枝树模型改进的RBT-LOF算法,并在此基础上提出了相应的窃电用户识别模型.RBT-LOF算法首先对混合剪枝树的超平面划分方式进行调整,采用数据第一特征向量找出平衡分割位并重构数据对象;其次使用混合剪枝查询加速数据对象的搜索.实验结果表明:基于RBT-LOF的窃电识别模型较LOF算法、SVM、CNN和WDNet模型具有更高的执行效率和检测精确率.

MELOF算法的理论分析与拓展

介绍LOF算法、记忆效应以及MELOF算法,对记忆效应进行理论证明,验证MELOF算法的正确性,同时分析该算法的不足和记忆效应的一些特性。针对MELOF算法中的不足进行改进,介绍未来的研究方向,即参数自动选择和利用分而治之思想提高运行效率等。

环境监测中异常数据识别与修复

为获取完整、可靠的环境监测数据,提出一种基于GeoHash算法的局部离群因子算法(GeoHash-LOF)。相较于传统的局部离群因子算法(LOF),GeoHash-LOF算法引入了地址划分和区域编码的思想,降低了算法计算量。针对识别出来的异常数据,采用基于遗传算法改进的灰色预测(GA-GM)算法进行修复,通过对灰色预测中的背景值和初值进行择优,从而提高预测值的准确度。以欧洲核能机构所提供的数据为例,将本文所提出的GeoHash-LOF算法、GA-GM算法与其他算法进行比较,结果表明本文所提出的算法异常数据识别效率更高且缺失数据修复拟合度更好。

基于充电曲线特征的退役动力电池快速分选方法

准确快速分选对退役动力电池梯次利用具有重要意义。通过充放电试验获取退役动力电池充电曲线和容量,运用灰色关联分析方法确定与容量相关性最优的电压区间,基于电池老化机理提取最优电压区间对应的充电容量ΔQ、充电时长T、主峰中心电压V 1、充电容量与区间电压比值K作为表征电池不一致性的特征参数。运用局部异常因子算法筛选异常老化电池,利用K-means聚类算法完成退役电池分选,提出静态与动态双维度指标体系评价分选一致性,采用2组退役电池充放电数据进行验证。结果表明:分选后电池的静态一致性和动态一致性最大分别提升55%、82%,且单个电池测试时间平均缩短至30 min。与K-means聚类算法相比,融合局部异常因子算法(local outlier factor,LOF)后,静态一致性和动态一致性最大分别提升50%、33%;与容量增量方法和静态参数方法相比,该方法的静态一致性最大分别提升28%、5%,动态一致性最大分别提升76%、61%。

幅度与频率联合测量的LOFAR浮标定位算法

在LOFAR浮标应用中,为了在目标经过CPA点之前完成其运动参数的估计,提出了一种基于目标辐射噪声幅度和频率联合测量来计算单目标运动参数的无误差理论算法。使用3次等间隔的目标幅度及频率测量值,推导出无误差的目标特征频率、绝对速度、最接近点距离、辐射噪声幅度的理论公式。针对LOFAR实际使用特点,利用最小二乘估计理论提高了目标参数估计精度。计算机仿真表明,该算法在理论上是一个无误差的计算方法,空气模拟实验证明了该算法在工程实际使用中的可行性及有效性。

基于边缘计算的电网主设备状态实时监测方法

针对电网主设备状态实时监测性能和异常检测准确率低的问题,构建了一个基于边缘计算的电网主设备状态实时监测系统。该系统通过传感器模块对电网主设备状态进行实时数据采集;基于即时定位与地图创建(Simultaneous Localization and Mapping,SLAM)对电网主设备进行监测;边缘节点模块利用小波去噪对采集的数据进行处理,采用局部异常因子(Local Outlier Factor,LOF)算法对数据进行异常值检测;网络节点模块利用消息队列遥测传输协议(Message Queuing Telemetry Transport,MQTT)将处理后的结果值传输到管理平台;通过管理平台模块的分析展示、告警处理和权限设定实现对电网主设备状态的实时检测和预警。实验结果表明,该系统采用LOF算法对数据进行异常值检测,其误报率为1.5%,检测率为98.5%,准确率能达到98.6%。采用MQTT协议传输数据的平均时延为31.52 ms,到报率能达到99.78%,具有较好的实用性。

基于改进离群点检测算法的妇科病案编码数据异常检测研究

针对如今妇科病案编码数据分析准确度不高的问题,研究提出了融合自组织映射神经网络和局部异常因子的改进检测算法,并将朋友关系模型融入改进算法中得到融合算法。对研究提出的融合算法进行性能对比分析,结果显示,该算法的识别率和误判率分别为97.5%和0.18%,均优于对比算法。随后对该算法进行实证分析后发现,该算法在数据量为3000时的平均时间开销为73秒,显著优于对比算法。上述结果表明研究提出的融合算法具有良好的异常数据检测性能,将其应用于妇科病案编码数据异常检测中可有效提高妇科疾病的诊断准确率。

LOF的法律障碍及其对策分析

我国基金业的发展已有八年多的历史,当前有关部门试图通过创新激活基金市场,比如推出交易所交易基金(ETFs)以及上市型开放式基金(LOF)。但在当前法律环境下,LOF的推出和顺利运行存在不少障碍,如T+1交易机制、基金管理公司治理结构问题以及开放式基金的回赎幅度限制问题。解决这些问题可以通过重新设定单日赎回额度和最高赎回费率、强制维持高流动性、引进独立董事制度等方法加以完善。