基于孤立森林的取水数据异常值检测

为快速准确地检测出供水企业取水量数据的异常值,提出了基于孤立森林的无监督学习算法,以安徽省水资源取水监测平台提供的A~D四个供水企业取水量数据为例,并通过试验将其与传统箱线图法和有监督学习的k近邻算法进行比较。结果表明,基于孤立森林的无监督学习算法因其独特的树状结构,使其在进行点异常值检测时平均F1、AAUC值分别达到0.9630、0.9980,较k近邻算法分别高约56.40%、22.47%,较箱线图法分别高约18.92%、9.70%。虽然模拟区间异常取水行为时,基于孤立森林的无监督学习算法性能有所下降,但稳定性仍优于k近邻算法和箱线图法,这表明在异常数据类型检测方面基于孤立森林的无监督学习算法具有一定优越性。

基于异常值检测矩阵分解的服务质量预测

基于Qo S感知的Web服务推荐是帮助用户找到高质量服务的解决方案之一.为了准确预测候选服务的QoS值,通常需要收集用户的历史QoS数据.然而,现有的方法大多忽略了历史数据中的异常值会导致预测准确度降低.为了解决这一问题,提出一种基于异常值检测矩阵分解的服务质量预测方法.首先,使用基于K-means的隔离森林算法先对历史QoS数据进行聚类,将历史数据中的异常值剔除;然后,将其用于改进的矩阵分解模型中对未知值进行预测;最后,利用柯西损失来评估观察值与预测值之间的差异.实验采用WSDream数据集进行测试,结果表明,提出的异常值检测模型的响应时间的MAE与RMSE指标平均提高了19.11%和39.59%,吞吐量的MAE与RMSE指标平均提高了9.82%和29.89%,证明所提模型有效改进了预测准确度.

基于节点评估与最大类间方差的孤立森林异常值检测

针对孤立森林(isolation forest, iForest)无法有效检测局部异常值且异常值分数阈值难以精确设定的问题,提出一种基于节点评估(node evaluation, NE)与最大类间方差(Otsu)的iForest异常值检测方法。首先,在样本评估过程中将节点深度与相对质量同时引入评分机制,使算法对全局和局部异常值敏感;然后,为了准确设定分数阈值,采用Otsu自适应设定异常值分数阈值;最后,在不同数据集上验证所提方法的有效性。实验结果表明,该方法可以有效兼顾全局和局部异常值的检测,提高iForest检测异常值的准确性。

基于卫星遥感监测极端气象预报数据异常值检测方法

在遥感数据采集过程中,由于传感器故障、气象条件等原因,可能会导致少量的异常点出现在采集的数据中,这些异常点可能会对极端天气预报的准确性产生负面影响;为此,需要研究一种基于卫星遥感监测极端气象预报数据异常值检测方法;基于改进K-均值聚类算法对缺失的卫星遥感监测极端气象预报数据进行插补,还原数据完整性;划分卫星遥感监测极端气象预报数据的区段,提取每个区段的裕度指标、偏斜度、频率歪度、重心频率4个特征参数,以此为输入,利用蝙蝠算法优化BP神经网络识别异常区段;计算异常区段中每个卫星遥感监测极端气象预报数据的局部离群因子,局部离群因子大于1.0数据为气象预报数据异常值,以此完成气象预报数据异常值检测;结果表明:所提方法插补误差小于±1.0,可以准确识别异常区段中的异常值,且在不同样本中的协调指数高于0.8,检测效果更好。

基于改进高斯混合模型的热工过程异常值检测

热工过程异常数据检测是进行系统建模、控制、优化的基础,也是数据处理的重要组成部分。提出一种基于改进高斯混合模型的无监督热工过程异常值检测算法,利用每一维高斯分量捕获一类特定工况数据集群,通过添加惩罚约束因子修正传统模型的后验概率密度,对误检、漏检项加以惩罚,并根据与集群的相关性差异实现异常数据的识别。仿真实验结果表明,模型在多种误差条件下均可准确定位异常数据位置,具有很强的泛化性能,同时相较于传统高斯混合模型,误检、漏检点的检测效果总体提升了37.8%和15%,反映出模型改进的有效性。

基于Boosting集成框架的新能源发电功率异常值检测方法

新能源发电功率数据是电力大数据的重要组成部分,良好的数据质量为功率预测、负荷预测、电网规划运行、经济调度、需求侧响应等工作研究提供重要保障。新能源发电功率数据中的异常值占少数,因此新能源发电数据属于不平衡数据,传统的异常值检测大多使用单一模型,检测准确率相对较低。此外,在面对具有长尾分布特性的不平衡数据集时,传统单一模型的同权重训练模式容易造成多数类数据过拟合现象,导致检测精度大大降低。针对传统单模型异常值检测方法的不足,该文提出一种基于Boosting集成框架的异常值检测方法。总体框架采用3层递进式训练模式,其中基分类器对原始数据进行初步判断,由基分类器检测结果构成异常正常数量对等的平衡数据,用于训练次级分类器,最终决策器将对分歧样本再次训练。在真实风电数据上的测试结果表明,基于Boosting集成框架的模型相比于几种常用单一模型的异常值检测准确率有较大提升,能有效解决传统单一模型在不平衡数据上检测精度低的问题;与Bagging、Stacking集成框架相比,Boosting集成框架模型拥有最优的检测精准率、召回率和F1评分(F1Score)。

基于ICA和异常值检测的脑电伪迹去除

由于脑电信号极容易受到伪迹信号的干扰,提出通过独立成分分析(ICA)、峰态系数识别、改进的Z-score算法(MZS)/改进的箱线图技术等步骤,识别并去除脑电中的伪迹成分。首先对所有通道脑电数据进行ICA分解,并通过峰态系数辨别伪迹分量;然后提出MZS算法和改进的箱线图技术两种异常值检测方法,检测并有效去除伪迹分量中的伪迹成分;最后重构脑电信号,实现伪迹干扰的去除。实验采用真实数据集,通过观测脑电地形图、前额通道波形直观对比,求取信噪比和相关系数多种方式客观评估去伪迹性能。实验结果表明,与现有的去伪迹方法对比,所提伪迹去除方案可以在去除伪迹的前提下,更大程度地保留原始脑电信号。

基于离群点检测算法的电力大数据异常值检测

目前提出的电力大数据异常值检测方法由于检测过程中无法提取异常特征,因此检测到的异常电流和异常电压所在时间不同,为此提出基于离群点检测算法的电力大数据异常值检测方法。利用高斯混合模型中提取电力大数据异常值的特征,通过离群点检测出符合距离要求的异常值,初步检测易于识别的异常数据。分析离群点与异常值分布密度之间的关联性,确定更深层次的异常值,使用离群点进入数据簇中和聚类中心中寻找缺少异常特征的异常值。实验结果表明,基于离群点检测算法的电力大数据异常值检测方法检测到的异常数据离散情况和振幅波动响应状态具有一致性,异常电流和异常电压所在时间都为0.3~0.4s,证明了方法的可行性。

异常值检测算法在网络性能劣化识别中的研究与应用

随着网络规模的不断扩大,业务形态的复杂度不断增加,单点故障极易造成较大业务影响,因此在设备告警之外,运营商必须具备网络性能劣化的提前感知手段,力求先于投诉发现问题,保障客户感知。但目前性能劣化识别主要依赖单指标静态阈值判断,这种方法无法根据网络状态动态调整阈值,导致网络性能劣化识别率不高。针对此问题,本文基于PyOD算法库完成多个AI异常检测模型的参数调优,对多维指标进行联合检测。较之单指标静态阈值的识别方法,本文提出的异常检测模型对性能劣化更为敏感,即使单个指标未达到告警阈值,仍然能够通过多维指标的细微变化识别异常,有效提升了性能劣化故障识别的准确率。

我国海洋锚系浮标数据异常值检测方法研究——以QF110和QF306为例

利用统计学相关理论和测量数据连续性特点,综合运用极值法则、莱以特法则、局部法则和观测误差控制,初步提出了海洋浮标数据异常值检测方法。基于锚系浮标QF110和QF306观测数据,开展了海面风速、气压、气温、有效波高等异常值检测。结果表明:两个浮标2018年要素观测数据异常值与有效观测量之比低于0.3%,数据质量稳定性均较好;QF110浮标数据缺失少但数值离散度相对较大,QF306浮标则相反,其数据缺失相对较多但量值整体分布较好。

基于鲁棒性随机分割森林算法的变压器损耗异常值检测

在智能电网飞速发展的趋势下,新型数字基础设施建设成为电力企业的核心业务之一,电力企业数据的治理和智能化分析为平台运营、数据增值变现等商业模式创新提供了条件.在电力数字化和智能化治理背景下,使用鲁棒性随机分割森林算法实现变压器损耗数据的异常值智能化检测.通过鲁棒性随机分割森林算法划分样本点以构建鲁棒性随机分割森林结构模型,通过插入和删除样本点对结构复杂度的影响程度给定该样本点的异常值评分.鲁棒性随机分割森林算法适用于实时损耗数据异常检测,兼顾异常值检测效果和运行效率,具有较高的可信度.对真实变压器损耗数据集中进行异常值检测试验,实验结果表明该算法高效、灵活,相较于其他方法,精确率、召回率及运行效率均有显著提升.

多波束测深数据异常值检测算法比较

简要介绍了现行的部分国内外多波束测深数据异常值检测算法,比较和分析了算法的各自优缺点,包括中值滤波、基于趋势面的测深异常检测、抗差估计异常值检测。总结得出,通过综合利用以上各种算法,能有效提高测深数据的异常值检测效果。

小波包分解结合异常值检测自动去除眼电中眨眼干扰的方法

为减少有用眼电信号的损失,提出一种小波包分解和异常值检测(WPT-OD)去除眨眼信号的新方法.该算法首先利用小波包方法将原始信号进行分解,得到低频分量进行重构;然后应用异常值检测中三种常用的准则,即肖维勒准则、皮尔斯准则和修正箱线图法确定眨眼信号的区域,并将该区域置零.实验发现,WPTOD的平均正确率达到98.9%,其中修正箱线图法效果最好,其去眨眼信号与原始信号相关性高达95.33%,损失率仅为4.17%.实验表明:WPT-OD算法能够准确地确定无意识眨眼的起点和终点,可保留更多的有用信号且与原始信号的相关性强.

基于改进K-Medoids的组合聚类算法及异常值检测研究

采用聚类算法和异常值检测算法进行车辆轨迹信息的提取与挖掘,在交通控制与管理、道路拥堵时空分析与治理、用户出行线路规划与推荐,以及自动驾驶决策规划等应用中具有重要意义.针对现有聚类算法和异常值检测算法参数难以控制、算法存在随机性的不足,提出基于K-Medoids与DBSCAN组合的聚类算法.通过对模拟十字交叉路口数据集的训练,得到一个交叉路口最佳聚类模型,并用真实轨迹数据集验证、优化该模型.然后,将交叉路口区域内一段时间内的轨迹聚类数据流进行可视化再现,取得了异常轨迹少、聚类速度快的聚类效果,同时比较选择出算法各个参数的最优值.最后,通过参数传递使DBSCAN算法能够更精确地识别出异常轨迹,为交通治理与自动驾驶决策提供指导.

一种改进的时间序列IO型异常值检测法

文章分析了基于假设检验的时间序列IO型异常值检测方法的不稳健性,提出了一种改进的方法,并利用R语言对异常值的个数分四种情况进行模拟研究,模拟结果表明:改进后的检测法检测能力显著提高。

基于吉布斯抽样的相关观测异常值检测的贝叶斯方法

相关观测的异常值检测是测量数据处理的难题之一。在系统总结和分析前人研究成果的基础上,运用贝叶斯统计推断理论,提出了相关观测异常值检测的贝叶斯方法。首先,基于识别变量的后验概率,提出了相关观测异常值定位的贝叶斯方法;然后设计和构建了计算后验概率的吉布斯抽样方法,基于最大后验估计原理,推导和建立了计算异常值参数的贝叶斯公式;最后对某GPS网相连进行了计算和分析。结果表明,在相关观测条件下,使用新方法能够对多个异常值同时进行检测,有效地消除异常值的不良影响。

基于稳健S估计的长江流域气象异常值检测

高维数据如气象数据中不可避免地存在异常值,应用最广泛的最小二乘法在识别异常值上不具有稳健性和灵敏度.稳健估计方法可使求出的估计量不受异常数据的强烈影响,从而能更好地识别异常点.这里给出了基于稳健S估计的主成分分析模型,其中加入Tukey的双权型函数约束条件.该模型无须对数据分布函数的具体形式做假设,算法的收敛速度较快.之后再结合B样条函数对数据作平滑处理,以平均残差平方和为检验统计量,使用同样具有稳健性的调优箱型图作为判别异常值的界限.实证分析采用了我国长江流域5个城市60多年共约58 000条气象数据,分别运用PCA方法和基于稳健S估计的异常值判别方法对该数据集进行了对比分析.可以明显地看出,相比传统方法,基于稳健S估计的异常值判别方法更突出地给出关于异常值的信息,能更好地识别异常值.

异常值检测中GRUBBS法的改进

GRUBBS检验法在异常值检测中一种较常用的质控方法.本文针对其易出现假受控和假失控现象,提出一种改进算法,即对前4次数据进行修匀处理,合理采集两次有效数据,减少了方差过大过小出现的现象,从第5次开始进行质控.理论分析和实验均表明,新方法减少了假受控与假失控的机会,仿真结果也表明了改进算法的有效性.

基于异常值检测的电梯交通流预测方法

提出一种基于异常值检测的电梯交通流递归预测方法。对电梯交通流进行时间序列分析得到初始季节时间序列模型,引入异常值检测过程,检测出训练数据中的异常值并进行修正,利用修正序列得到最终的季节时间序列模型。把最终的季节时间序列模型转化为状态空间形式,通过卡尔曼滤波实时调整状态向量,实现电梯交通流的在线预测。仿真结果证明该方法有效。

基于交互识别的供水管网数据异常值检测

对国内某供水管网10个监测点8个月的在线监测数据进行时段切分,经监测点间的空间拓扑关系分析确定了最佳监测点数量,并选定监测点的数据构建支持向量回归(SVR)模型。对该模型优化后,使用其建立的置信区间进行人工模拟异常值识别。结果表明,SVR模型拟合性能良好,异常值检出率高达90%,且正常值识别率为100%,实现了选定监测点数据之间的交互识别,有效提取了人工模拟序列中的异常数据。