考虑载客状态的改进孤立森林浮动车异常数据检测算法

为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。

基于DBSCAN聚类算法的卫星数据分区异常检测

随着我国第一颗电磁监测卫星的发射,卫星探测的海量数据不断涌现,探究空间载荷数据变化特征已成为当前研究热点。为了对张衡一号卫星LAP载荷数据进行异常检测,该文将处理后的数据按地理纬度划分为南纬50°到南纬20°,南纬20°到北纬20°,北纬20°到北纬50°三个区域,依次采用DBSCAN密度聚类算法进行聚类异常检测。结果表明,该方法可用于对LAP数据的异常检测。DBSCAN密度聚类算法可用于检测卫星异常数据,为检测卫星探测数据异常、研究空间数据变化特征提供思路参考。

基于改进孤立森林算法的交通流异常数据检测模型

针对交通流异常数据实时检测问题,提出一种基于改进孤立森林算法与K-Means++算法相结合的交通流异常数据检测模型。首先,使用交通流量和交通流速度数据构建交通流序列;然后,利用改进孤立森林算法,构建交通流数据的异常评分模型,并通过K-Means++算法构建滑动窗口计算出异常评分的阈值,以此来实现对交通流数据异常值的实时检测;最后,通过实例分析验证模型的合理性和可行性。研究结果表明:改进孤立森林算法与K-Means++结合的方法可以准确地确定异常评分的阈值进而检测出异常数据;该模型与仅考虑交通流流量的模型、传统孤立森林模型相比,AUC分别高出29.7%和5.3%,与其他常用的LOF、ABOD、OCSVM方法相比,AUC均有所提高。该模型准确率明显提升,在交通流异常数据检测中具有更好的适用性,能够为交通管理部门提供交通状况检测支持,提高交通管理效率。

基于kNN算法的智能电网5G海量接入数据异常检测

为了更好适应智能电网高维数据异常识别,提出了一种加权kNN数据异常值检测识别方法,该方法使用Z阶曲线来识别kNN。利用Z阶曲线,提出了一种加权kNN异常数据检测方法。用信息熵衡量所有属性的重要性,用Z阶曲线对高维数据进行编码并映射为Z值。实验结果表明,智能电网集群计算节点的数量越多,算法的运行速度就越短。发电数据异常检测准确率达到最高99.2%,较随机森林算法提高8.165%。且kNN算法的运行时间均优于随机森林算法运行时间,最小算法运行时间为4 s,进一步表明kNN算法可有效检测智能电网5G海量接入数据。

基于Navie Bayes算法与k-means聚类算法的财务数据库异常检测

为了有效消除用户异常行为对企业财务数据库所带来的安全隐患,以往的数据库异常检测技术(如Navie Bayes算法)通常采用查询反馈,并建立用户行为特征(用户行为轮廓)的方法查找安全隐患,而该方法构建训练集耗时较多,效果不显著。因此,提出一种基于Navie Bayes算法与k-means聚类算法相结合的财务数据库异常检测技术。通过调取财务数据库运行日志中的用户查询内容及相应结果,采用k-means聚类算法进行用户分组,采用Navie Bayes算法构建异常检测模型。应用测试结果表明,与传统的用户行为轮廓算法相比,所提算法的训练效率更高,准确率大幅提高,综合F_(1)值有所提升,提高了财务数据的安全性。

基于SSA-PFCM聚类算法的电力大数据异常检测

为提高电网数据异常检测可靠性,针对已有的PFCM算法存在的聚类中心难以选择的问题,提出了一种将PFCM算法和SSA相结合的电力大数据异常检测方法。其中,SSA算法被用来优化PFCM算法的初始中心。仿真验证表明改进后算法与传统算法相比具有优越性。

基于盲均衡算法的网络大数据异常节点检测

网络大数据具有复杂性、多样性,其在流动期间容易出现异常节点。工作人员需采用智能性能检测的方式,才能减少网络故障问题的发生。相关部门基于网络大数据提出了异常节点的检测方法,采用传感序列采集模型,应用盲均衡算法提取网络环境中的噪声均值,以展现网络大数据异常节点的特征。基于此,文中结合实际,简要分析了盲均衡算法,阐述了基于盲均衡算法的网络大数据异常节点检测方法,以期为相关部门的工作提供支持。

基于混合神经网络算法的电工仪表数据异常检测研究

电力系统本身就是一个高度复杂的系统,包括电网结构、供电设备、负载特性等多方面因素,这些因素之间复杂的相互作用可能会影响电工仪表数据的准确性,因此在异常检测研究中需要考虑系统复杂性带来的挑战。为此,本文提出了基于混合神经网络算法的电工仪表数据异常检测方法。构建电工仪表数据评价指标体系,并以此为依据,基于混合神经网络对电工仪表数据的准确性完成辨识,将辨识结果作为判断数据异常的标准。本文还提到引入随机森林输出电工仪表数据异常检测结果。实验结果表明:与传统方法相比,该研究方法的电工仪表数据异常检测耗时更短,精度更高。

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。

基于改进K-means聚类算法的网络异常数据挖掘与分类方法

为了解决网络异常数据挖掘过程中漏报率、误报率较高的问题,文章提出一种基于改进K-means聚类算法的网络异常数据挖掘与分类方法。文章通过构建并行化频繁项集挖掘环境加速数据处理,利用局部离群点检测剔除异常值,同时引入K-means聚类对数据的最大最小距离展开计算,融合隶属度函数与密度峰值优化算法,改进聚类初始中心选择及簇边界调整,从而提高异常识别准确性和分类效率。通过实验结果证明,该方法能够明显改善聚类效果与性能。

基于融合改进K-means聚类算法的数据检测技术

针对现有医疗财务数据分析系统平台老旧,采用传统K-means算法进行数据处理时性能较差的问题,文中设计了一种财务异常数据检测算法。对于传统K-means算法存在的分类效果不佳、运行效率偏低等不足,该算法结合密度峰值法对样本点的局部密度和高密度距离进行计算,进而优化簇中心的选择。同时融合PCA降维算法减少了数据的冗余信息,进一步提高了运行效率。通过引入LOF离群检测算法对分簇后的数据进行检测,从而得到异常数据结果。实验测试中,所提算法在人工数据集上的平均ARI指标为0.844,真实数据集的准确率则达到了79.2%,在所有对比算法中均为最优,表明该算法具有良好的性能,可以对财务异常数据进行准确地检测。

基于MOPSO算法改进的异常点检测方法

挖掘工业大数据的隐含价值是智能制造的一个重要研究方向,针对工业大数据特点开展异常点检测是实现数据分析的前提。首先,介绍了工业大数据异常点检测解决的主要问题,提出相关定义。其次,基于多目标粒子群算法(MOPSO),提出一种工业大数据异常点检测的改进DBSCAN模型,介绍了模型的算法设计思想、算法步骤,完成了算法伪代码的编写,并提出了算法时间复杂度的计算方法。最后,通过某电芯工厂制造数据,进行了模型仿真与实验,经实验验证,所提模型提高了工业大数据异常点检测的准确率,为数据挖掘在工业异常点检测中的应用提供了参考。

基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法

针对当前电力资产信息管理系统难以准确自主发现异常数据的问题,提出了一种基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法。在管理系统框架下分析了可能存在的异常类型,将改进鲸鱼优化算法(IWOA)用于优化极限学习机自编码器(ELM-AE),建立了电力信息系统异常数据优化检测模型。将模型应用于电力资产信息异常数据检测,并建立性能评估指标体系以衡量其效果。结果表明:所提方法的检测性能评估结果与传统模型相比具有显著优势,能够更为准确地检测电力资产信息中存在的异常数据。

基于聚类分析提取特征的光通信系统异常数据检测

光通信系统易受多种因素影响,传统方法的光通信系统异常数据检测错误率高,检测效率,为了获得理想的光通信系统异常数据检测结果,设计了基于聚类分析提取特征的光通信系统异常数据检测方法。首先设计光通信系统数据传输模型,采用聚类算法提取光通信系统异常数据特征,然后采用深度学习算法建立光通信系统异常数据检测模型,并采用遗传算法优化深度学习算法,最后进行了光通信系统异常数据检测仿真实验,结果表明:本方法的光通信系统异常数据检测正确率超过98%,光通信系统异常数据检测时间为21.6 ms,具有一定的实际应用价值。

基于值导数GRU的电力信息通信数据流量异常检测方法研究

为提高电力信息通信数据流量异常检测的准确度和灵敏度,提出基于值导数门控循环单元(GRU)的电力信息通信数据流量异常检测方法。采用小波变换方法,对电力信息通信数据流量进行降噪处理。利用改进聚类算法,对降噪后电力信息通信数据流量进行聚类处理。将聚类后电力信息通信数据流量输入值导数GRU模型,以实现电力信息通信流量异常检测。试验结果表明:该方法具有较好的电力信息通信数据流量降噪效果,能够有效提高电力信息通信数据流量异常检测准确度和灵敏度。该方法可用于网络通信、物联网中,对信息通信技术的发展具有重要意义。

基于迁移学习的医院财务数据异常检测技术

为提高医院财务数据异常检测的准确性和鲁棒性,设计一种基于迁移学习的医院财务数据异常检测技术。该技术选择一个在相关领域预训练的异常检测模型,并在目标数据集上进行微调;利用改进遗传算法优化模型参数,提升模型性能;通过对多种无监督异常检测方法的结果进行整合,实现全面的异常检测。实验结果表明,相比单一检测方法,综合检测模型在误报率(0.020)、漏报率(0.026)方面均有显著提升,为实际应用提供了有力的支持。

基于联邦平均的异常检测拜占庭容错算法

传统联邦学习训练模型时假定所有参与方可信,但实际场景存在恶意参与方或恶意攻击模型,现有的联邦学习算法面对投毒攻击时,存在模型性能严重下降的问题。针对模型投毒问题,本文提出一种基于联邦平均(federated averaging,Fedavg)与异常检测的联邦检测算法——FedavgCof,该算法考虑到所有参与方之间的差异对比,在中心服务器和本地模型之间添加异常检测层,通过基于聚类的本地异常检测因子(cluster-based local outlier factor,COF)异常检测算法剔除影响模型性能的异常参数,提升模型鲁棒性。实验结果表明,虽然新型投毒方式攻击性更强,但是FedavgCof能够有效防御投毒攻击,降低模型性能损失,提高模型抗投毒攻击能力,相较于Median和模型清洗算法平均提升精度达到10%以上,大幅提升了模型的安全性。

电网动态行为约束下电力状态数据异常检测研究

目前常规的电力状态异常数据检测方法存在检测精度不佳的问题。为了解决这个问题,提出了一种基于电网动态行为约束的电力状态数据异常检测方法。该方法首先分析电网动态行为约束条件,并将源荷数据和运行数据作为提取目标;然后使用插值法对获取到的原始数据进行缺失值填充处理,以确保数据的完整性;接下来,采用灰色关联分析方法对数据之间的关联程度进行分析,以提取关键参量数据;同时,选定聚类中心,并通过判定新输入数据到聚类中心的距离是否高于异常阈值来识别出异常数据。实验结果表明,采用这种方法进行电力数据异常检测时,具备较为理想的检测精度。

基于PSO和外部知识的时序数据异常检测

在时间序列数据的异常检测中,单一模型往往只提取与自身模型结构相关的时序特征,从而容易忽略其他特征.同时,面对大规模的时序数据,模型难以对时序数据的局部趋势进行建模.为了解决这两个问题,本文提出一种基于粒子群优化算法(particle swarm optimization,PSO)和外部知识的异常检测模型PEAD.PEAD模型以深度学习模型作为基模型,引入快速傅里叶变换生成的外部知识来提高基模型对局部趋势的建模能力,随后PEAD模型以Stacking集成学习的方式训练基模型,再使用PSO算法对基模型的输出加权求和,对加权求和后的重构数据进行异常检测,PSO算法能够让模型的最终输出共同关注时序数据的全局特征和时间特征,丰富模型提取的时序特征,从而提高模型的异常检测能力.通过对6个公开数据集进行测试,研究结果表明PEAD模型在大部分数据集上表现良好.

基于孤立森林的电力大数据异常检测与修复

通过采集历史数据构建时间序列数据集,利用孤立森林算法快速准确地检测异常点数据,帮助发现潜在数据问题。检验相邻时刻的数据修复算法的准确性,并将方法应用到数据修复中。本文以A发电企业为例,检测发电指标的异常数据并修复,相对误差可以控制在10%以内。该方法有效提高了电厂数据处理的准确性和效率,提升发电企业发电指标的数据质量,优化了发电系统的运行和管理,满足了能源互联网建设和智能电网技术的要求。