考虑载客状态的改进孤立森林浮动车异常数据检测算法

为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。

基于循环神经网络的配网电压异常数据检测方法

配网电压异常数据检测过程易受到动态数据的影响,导致数据检测精准度较低。为了解决该问题,提出了基于循环神经网络的配网电压异常数据检测方法。在分析循环神经网络结构的基础上,以电压误差标准值为依据,构建电压异常数据检测模型。使用归一化处理方式训练模型,获取异常数据集。在标注数据后,计算线路两端节点电压,并将其与预设置的偏差进行对比,完成对异常数据的检测。由实验结果可知,该方法检测准确率和召回率最大值分别为0.991和0.90,说明使用该方法检测精准度较高。

基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法

针对当前电力资产信息管理系统难以准确自主发现异常数据的问题,提出了一种基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法。在管理系统框架下分析了可能存在的异常类型,将改进鲸鱼优化算法(IWOA)用于优化极限学习机自编码器(ELM-AE),建立了电力信息系统异常数据优化检测模型。将模型应用于电力资产信息异常数据检测,并建立性能评估指标体系以衡量其效果。结果表明:所提方法的检测性能评估结果与传统模型相比具有显著优势,能够更为准确地检测电力资产信息中存在的异常数据。

低速增压风洞测力试验异常数据检测专家系统设计研究

针对低速增压风洞测力试验,分析气动特性曲线的原始数据源,以天平信号、流场状态和模型姿态为主要对象,结合试验控制流程,从单点数据向量、单车次数据矩阵和同期多车次数据集等维度,研究试验数据的异常检测方法策略,并以此为核心知识库,完成异常数据检测专家系统设计开发。试验过程中系统推理机自动在线执行,经过数据识别、规则推理、逻辑推理和知识迭代,实现原始数据的预检测和预诊断。试验应用结果表明,专家系统对天平桥压异常、线性段跳点和零点检测等异常类型检测敏感度高,为异常数据分析指引方向,提升问题数据排查效率。

基于K-means聚类的舰船通信网络异常数据检测

为了解决海上通信环境中的干扰和传输问题,提升舰船通信网络通信质量和可靠性,提出基于K-means聚类的舰船通信网络异常数据检测方法。构建舰船通信网络通信多径信道模型,利用该模型获取舰船通信网络数据。使用基于超窄带滤波的舰船通信网络数据滤波处理方法去除舰船通信网络数据内的干扰噪声,将无噪声的舰船通信网络数据作为输入,使用K-means聚类算法输出舰船通信网络异常数据检测结果。结果表明,该方法采集舰船通信网络数据较为准确,并可有效去除数据内含有的干扰噪声,降低舰船通信网络数据幅值区间,同时可用聚类方式准确检测舰船通信网络异常数据,应用效果较为显著。

基于遗传算法的网络传输异常数据检测方法

针对网络传输过程异常数据与标准数据之间存在相对误差的问题,提出基于遗传算法的网络传输异常数据检测方法。通过遗传网络布局形式,建立标准的遗传适应度函数,利用数据编码标签,处理异常数据;通过定义网络传输数据异常簇点的方式,确定数据信息的传输密度水平,结合相关性检测阈值,实现网络传输异常数据检测。实验结果表明,设计方法的异常数据校正误差指标的最大值未超过2.0×10-3MB,得出该方法有效降低了误差。

基于主成分分析和深度自编码高斯混合模型的无监督异常数据检测方法研究

在异常数据检测中,由于数据量过大和数据特征维度过高,往往会导致数据标定困难、数据冗余、算法效率降低等。针对以上问题,将主成分分析(PCA)特征选择算法与深度自编码高斯混合模型(DAGMM)相结合,提出一种新的无监督异常数据检测方法PCA-DAGMM。该方法首先利用PCA特征选择算法对数据进行预处理,去除对分类效果增益较小的冗余数据,降低运算成本;然后将特征选择后的数据输入到DAGMM模型中进行训练。基于kddcup99数据集和CIC-IDS-2017数据集进行实验,并与多种特征选择算法进行对比,实验结果表明,PCA-DAGMM方法可以有效优化分类器性能,提高分类器训练效率,适用于解决网络流量异常检测问题,F1指数在kddcup99数据集和CIC-IDS-2017数据集上比DAGMM模型分别提高了4.37%和1.06%,训练时间减少了14.43%和8%。

基于改进SVM算法的输变电工程异常数据检测方法设计

输变电工程的异常造价数据检测是电力工程数据分析的重要组成部分,但要对其进行深入的分析处理并投入工程应用,仍存在较多障碍。为解决输变电工程数据难以量化的问题且实现对异常数据的检测,文中基于建筑通用模型BIM技术,将建筑模板与实际数据相融合,设计完成了一套建筑成本估算系统。其针对多维度异常数据难以分类的问题,在改进SVM算法的基础上开发了多维逻辑回归分类器,进而实现了分布式的主动数据分类学习方法。通过实验验证可知,相比于常规算法,所提改进SVM算法的准确率更高,且可对不同工程方案、不同工程建设阶段的造价数据进行快速、准确识别,因此具有良好的应用价值。

基于孤立森林算法的统计报表异常数据检测

孤立森林算法是一种无监督学习的异常数据检测方法,广泛应用于诸多领域,其具有普适性、高效性、可扩展性和可解释性等优势。对于全国药品监管统计调查工作,基于孤立森林算法框架设计了一种统计报表异常数据检测方法。所提出的方法包含三个主要步骤:数据预处理、特征选取与模型构建。在数据预处理阶段,使用对数转换和平滑函数处理数据,提高模型的鲁棒性。特征选取阶段采用分位数和Z分数等统计指标,构建多维特征数据,提供更准确的异常检测信息。在线下实验中,通过PR曲线,与传统异常数据检测算法进行对比,证明其性能优势。在工作实践中,通过投资回报率(ROI)指标,与传统的人工检测方法对比,证明其高效性。所提出的方法对于稀疏数据场景的识别率还有待提高,需要进行适当的调优和验证,在统计报表异常数据检测中具有应用价值和意义,是全国药品监管统计调查工作中贯彻“十四五”加快推进数字化转型,从信息化向智能化转变和发展的具体举措。

基于SOC的列车以太网异常数据检测系统设计

针对列车网络流量增大、数据复杂度增高的新环境,现有的异常数据检测方法存在着大量误判、判别时间长、难以检测未知类型异常数据等问题。提出了一种基于SOC的列车以太网异常数据检测系统,并给出了对应的检测方法。该系统的主处理器基于SOC架构,降低了硬件电路的复杂性,同时还发挥了ARM和FPGA之间大带宽通信的优势,使得数据流处理延迟低,满足实时系统对数据延迟的要求。此外,利用检测设备收集的未知异常数据,可以不断地对检测算法进行更新,实现模型自更新与未知异常数据检测,从而保证系统检测的可靠性,降低误判率。

试析可信评估下农业物联网异常数据检测及补值

智能农业是物联网技术和农业深度融合的产物,具有科学种植、精准操控、绿色农业等诸多优点。物联网中的传感器在采集数据时,会出现数据异常,也会导致数据丢失。如果将这些残缺的数据加以利用,必然会给后续的系统带来巨大的误差,从而导致决策的巨大失误。基于此,对所收集的农业数据,利用马田系统进行异常检测,并对收集到的数据进行补正。

高维随机矩阵描述下的量测大数据建模与异常数据检测方法

随着互联电网运行方式的愈加复杂多变以及广域量测系统部署的越来越完善,以广域测量系统(wide area measurement system,WAMS)量测大数据为基础的实时稳定分析成为必然要求。与此同时,如何对全网多节点毫秒级海量WAMS大数据进行时空同步处理和异常数据检测,成为阻碍其发挥更大作用的关键问题。因此,该文提出基于高维随机矩阵描述的WAMS量测大数据建模与分析方法。首先在对WAMS量测数据时空特性分析的基础上,根据高维随机矩阵理论,进行了WAMS量测大数据的高维随机矩阵模型构建,然后推导了其异常数据检测理论和方法,最后在仿真算例上模拟实测量测数据,通过对比不同异常时刻量测数据的Trace检测和谱分布,验证了该量测大数据的建模方法的有效性与适用性。

基于神经网络的无线传感器网络异常数据检测方法

传感器网络的异常数据检测对于环境监测具有十分重要的意义。基于BP神经网络模型和线性神经网络模型,分别提出了两种无线传感器网络异常数据检测方法。提出的方法在每个当前时刻通过最近的固定长度的历史数据集训练神经网络,来完成下一时刻的预报。通过神经网络的模型残差,确定概率为P的置信区间。当下一时刻数据落入置信区间内,则该数据被判为正常;反之,则为异常。为了比较和验证两种检测方法的性能,在Matlab环境下完成了仿真实验。实验结果表明,基于线性神经网络的异常数据检测方法的检测率(detection rate)达到了97.9%,误报率(false positive rate)不超过0.76%;基于BP神经网络的异常数据检测方法的检测率为96.7%,误报率不超过0.84%。

基于DBSCAN的环境传感器网络异常数据检测方法

随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测。最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据。

基于卷积神经网络的网络节点异常数据检测方法

异常数据检测是保障无线传感器网络节点数据准确性和可靠性的重要步骤。针对无线传感器网络节点异常数据检测问题,提出一种基于卷积神经网络的异常数据检测方法。该方法是对正常数据和注入故障后生成的异常数据进行归一化处理后映射成的灰度图片作为卷积神经网络的输入数据,并且基于LeNet-5卷积神经网络设计了合适的卷积层特征面及全连接层的参数,构造了3种新的卷积神经网络模型。该模型通过卷积层自主学习数据特征,解决了传统检测算法的性能容易受到相关阈值影响的问题。通过网络公开数据集进行模型测试,结果表明该方法具有很好的检测性能和较高的可靠性。

面向群智感知车联网的异常数据检测算法

群智感知车联网利用普通用户的手机或平板电脑等智能终端获得交通数据,解决了车联网以低成本获取足够数据的问题,但却凸显了数据"质"的问题.为此,在分析群智感知车联网的数据结构及数据异常特点的基础上,提出一种适用于群智感知车联网的异常数据检测算法,并依此剔除异常数据,提高数据质量.算法利用核密度估计理论对车联网数据的概率密度进行估计,进而构建信任函数计算被检数据的信任度,后根据统计学理论将信任度小于0的数据判定为异常数据.最后对该算法的可行性及性能进行了仿真,结果表明该算法的性能可满足实用需求,且对比传统的统计检测法在检测率和误检率上具有更好的性能.

基于改进负向选择算法的异常数据检测方法

针对基本实值负向选择算法检测率不高的问题,采用可变尺寸检测器,有效减少了漏洞问题。同时,限制检测器的最小半径,节省了存储检测器所需要的空间。通过对污水处理数据进行检测,实验结果表明,该方法提高了异常数据的检测精度。

钢铁企业高炉煤气发生量异常数据检测

从高炉煤气生产的实际工况出发,对异常数据产生的原因和特点进行分析。针对现有异常检测方法运算效率低下的问题,提出一种改进的局部异常因子检测算法。该算法首先利用五数总括法剔除掉大量的正常数据,然后再用一种相对k距离的比值表示剩余离群点的异常程度,进而判断异常数据。仿真实验表明:改进方法检测所需的时间比传统的局部异常因子方法检测所需的时间更少,且检测效果更加准确、直观。

断路器控制系统中的异常数据检测

针对断路器控制系统中异常数据检测存在的准确度低、时间复杂度高等问题,引入数据流挖掘技术,提出了一种基于滑动窗口和K—近邻距离的数据检测算法。在该算法中,利用断路器系统中的电流或电压信号的有效值对当前滑动窗口中的所有数据进行剪枝,筛选出绝大部分的正常数据,再利用K—近邻距离的数据检测方法对剩下的可能是异常的数据进行进一步的筛选,从而可以较快且较准确地检测出数据流中的异常数据。通过实验证明,在对同一数据流进行检测时,与其它数据检测算法相比较,该算法具有更好的执行效率和准确度。因此文中提出的算法能很好的运用到断路器控制系统中的异常数据检测。

大型云计算信息系统的异常数据检测模型仿真

研究大型云计算信息系统的异常数据检测方法。采用传统方法进行大型云计算信息系统的异常数据检测,由于系统数据量较大且呈非线性分布,在进行异常数据检测时,容易产生收敛速度慢,检测准确率低的不足。为此,提出基于模糊隐马尔科夫模型的大型云计算信息系统的异常数据检测方法。依据相关理论对检测模型的模型系数、方差和转移矩阵等参数进行初始化,将隐马尔科夫检测方法与模糊理论进行结合,分别从三个角度进行数据状态判别,并计算检测结果正确的数据集的隶属度函数,最后进行隶属度合并,并据此对当前数据进行判断,从而实现对大型云计算信息系统的异常数据的有效检测。实验结果表明,采用改进算法进行大型云计算信息系统的异常数据检测,能够有效提高检测效率与有效性,能够满足实际检测需求。