考虑载客状态的改进孤立森林浮动车异常数据检测算法

为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。

基于全局与局部多尺度上下文的电表数据检测

电力系统中配电箱的电表数据检测为电力管理和安全运行提供了重要的数据支持。传统的人工电表数据读取方法效率低下且易出错,而现有深度学习方法因模型参数量大限制了模型的应用。针对上述问题,提出了一种轻量化鲁棒的实时电表检测方法。通过减少特征提取网络的层数和通道数,减少模型的参数量,实现网络的轻量化。在减少网络参数量的同时,为了保证网络的特征表达能力和拟合能力,引入全局上下文和局部多尺度上下文丰富目标特征表达。全局上下文关注电表数据在电表箱中的位置,局部多尺度上下文适应不同尺寸的电表数据。实验结果表明,所提网络在参数量更小的情况下,仍能获得比其他检测方法更高的准确率和更快的检测速度。

基于融合改进K-means聚类算法的数据检测技术

针对现有医疗财务数据分析系统平台老旧,采用传统K-means算法进行数据处理时性能较差的问题,文中设计了一种财务异常数据检测算法。对于传统K-means算法存在的分类效果不佳、运行效率偏低等不足,该算法结合密度峰值法对样本点的局部密度和高密度距离进行计算,进而优化簇中心的选择。同时融合PCA降维算法减少了数据的冗余信息,进一步提高了运行效率。通过引入LOF离群检测算法对分簇后的数据进行检测,从而得到异常数据结果。实验测试中,所提算法在人工数据集上的平均ARI指标为0.844,真实数据集的准确率则达到了79.2%,在所有对比算法中均为最优,表明该算法具有良好的性能,可以对财务异常数据进行准确地检测。

基于循环神经网络的配网电压异常数据检测方法

配网电压异常数据检测过程易受到动态数据的影响,导致数据检测精准度较低。为了解决该问题,提出了基于循环神经网络的配网电压异常数据检测方法。在分析循环神经网络结构的基础上,以电压误差标准值为依据,构建电压异常数据检测模型。使用归一化处理方式训练模型,获取异常数据集。在标注数据后,计算线路两端节点电压,并将其与预设置的偏差进行对比,完成对异常数据的检测。由实验结果可知,该方法检测准确率和召回率最大值分别为0.991和0.90,说明使用该方法检测精准度较高。

新能源汽车数据检测处理系统需求分析

互联网技术的进步促进了车联网的快速发展,新能源汽车数据信息中越来越多地应用到大数据技术HADOOP及SPARK,通过车联网信息平台的数据库,挖掘新能源汽车行驶信息。对新能源汽车数据检测处理系统特点及角色进行了分析,并基于大数据研究了新能源汽车的系统功能和非功能的需求。研究结论为新能源汽车的数据检测、维护及产品质量提供理论支撑和借鉴。

低速增压风洞测力试验异常数据检测专家系统设计研究

针对低速增压风洞测力试验,分析气动特性曲线的原始数据源,以天平信号、流场状态和模型姿态为主要对象,结合试验控制流程,从单点数据向量、单车次数据矩阵和同期多车次数据集等维度,研究试验数据的异常检测方法策略,并以此为核心知识库,完成异常数据检测专家系统设计开发。试验过程中系统推理机自动在线执行,经过数据识别、规则推理、逻辑推理和知识迭代,实现原始数据的预检测和预诊断。试验应用结果表明,专家系统对天平桥压异常、线性段跳点和零点检测等异常类型检测敏感度高,为异常数据分析指引方向,提升问题数据排查效率。

基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法

针对当前电力资产信息管理系统难以准确自主发现异常数据的问题,提出了一种基于IWOA-ELM-AE的电力资产信息管理系统异常数据检测方法。在管理系统框架下分析了可能存在的异常类型,将改进鲸鱼优化算法(IWOA)用于优化极限学习机自编码器(ELM-AE),建立了电力信息系统异常数据优化检测模型。将模型应用于电力资产信息异常数据检测,并建立性能评估指标体系以衡量其效果。结果表明:所提方法的检测性能评估结果与传统模型相比具有显著优势,能够更为准确地检测电力资产信息中存在的异常数据。

GRU神经网络下电力辅助决策模型疑点数据检测

为了保证电力辅助决策模型在电网业务中的应用价值,提出GRU神经网络下电力辅助决策模型疑点数据检测方法。模拟电力辅助决策模型的运行过程,获取模型运行数据。利用GRU神经网络提取数据特征,并运用随机森林算法确定当前数据类型。通过对疑点数据进行审计,确定电力辅助决策模型的疑点数据量,从而实现模型疑点数据的检测。实验结果表明,与传统方法相比,优化设计方法的疑点数据检测误差更小,表明该方法在检测性能方面具有明显优势。

含LCC/MMC交直流混联系统的状态估计及不良数据检测

基于调度系统导出的通用信息模型(common information model,CIM)中的XML和E文档,从数据生成的角度出发,首先将导出文档转化为状态估计原始输入数据,考虑交流系统与电网换相换流器(line commutated converter,LCC)、模块化多电平换流器(modular multilevel converter,MMC)以及LCC与MMC间的相互影响,采用统一迭代法对500kV子网络进行交直流状态估计建模;其次,在原始量测数据的基础上施加高斯噪声,借助最大化残差检验方法以进行不良数据的检测与辨识;最后,通过仿真数据验证了交直流状态估计模型及不良数据检测与辨识的有效性。

基于模型聚类算法的化工生产过程异常数据检测

分析了基于数据和基于模型的两类工控系统生产过程异常检测方法的优缺点。针对化工生产过程中工况参数变量之间的变化随工艺装置与生产条件而变化的实际,提出基于工艺生产模型的特征变量模型,并结合模糊C均值聚类算法对化工生产过程异常数据进行检测,基于TE模型的4个场景的仿真结果验证了该方法的有效性。

基于孤立森林算法的企业分布式财务不良数据检测研究

为了实现企业分布式财务不良数据的高效、精准检测,为企业财务安全决策提供重要数据保障,基于孤立森林算法,对企业分布式财务不良数据检测开展研究。通过分析企业分布式财务元数据管理体系,结合元数据仓库中的元数据目录映射实际企业分布式财务数据列表,提取企业分布式实际财务数据;从噪声干扰处理、数据缺失填补等角度,结合Z-score与中位数插值方法对数据预处理,以保证企业分布式财务数据质量;根据数据方差、标准差、偏度、峰度等统计量,计算完成预处理后数据中不良数据的分布特征,并基于孤立森林算法、融合孤立树的二叉树结构,最终实现企业分布式财务不良数据的高效、精准检测。实验结果表明:利用本文设计方法对数据集中预处理后,能够有效解决数据的异常空间分布状态、填补缺数部分数据,修复受噪声干扰产生的畸变状态;检测消耗时间最高值为5.4s,检测精准度最高值为0.93,检测效率与检测精准度具有比较优势。

卡尔曼滤波下激光雷达扫描大数据检测算法

激光雷达扫描的不规则激光回波信号通过地面反射和空间传播,但是由于颜色较暗的粗糙物体表面反射率较小,信号易发生漫反射,大量反射信号被接收,会形成较大的接收噪声,导致激光雷达扫描大数据出现较大程度的异常。为此提出基于卡尔曼滤波的激光雷达扫描大数据检测算法。利用卡尔曼滤波算法剔除激光雷达数据中的野值;基于此,建立数据硬性约束条件,获取数据流形规则,提取激光雷达数据特征;根据提取的特征,利用支持向量回归算法完成数据分类,实现激光雷达扫描大数据检测。实验结果表明,研究方法检测激光雷达扫描大数据时,查全率始终高于90%,查准率高于95%,平均耗时65.1ms,且以无人小车行驶轨迹的雷达数据为测试对象时,研究方法具有较高的检测精度,说明该方法的研究价值较高,应用效果更好。

基于HDFS分布式云存储系统的重复数据检测与删除研究

传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。

基于两阶段LASSO-ADMM算法的半盲稀疏信道估计和数据检测

基于两阶段LASSO ADMM算法,提出一种适用于多输入多输出(MIMO)系统的半盲稀疏信道估计和数据检测方法。在高信噪比(SNR)环境下,现代无线通信中的传统信道估计方法,如基于导频的方法和子空间方法,常面临低频谱效率和适应性差的问题。为解决这一问题,将信道估计和数据检测任务公式化为一个优化问题,并通过两阶段LASSO ADMM算法求解。利用信道的稀疏性,并通过减少对导频信号的依赖,来提升系统的频谱效率;同时,通过两阶段优化,增强了算法的准确性和鲁棒性。仿真结果表明,与现有技术相比,所提出的方法在多个SNR条件下显示出显著的性能优势,不仅为大规模MIMO系统的信道估计和数据检测提供了新视角,也为未来无线通信系统的设计提供了重要的理论支持。

基于K-means聚类的舰船通信网络异常数据检测

为了解决海上通信环境中的干扰和传输问题,提升舰船通信网络通信质量和可靠性,提出基于K-means聚类的舰船通信网络异常数据检测方法。构建舰船通信网络通信多径信道模型,利用该模型获取舰船通信网络数据。使用基于超窄带滤波的舰船通信网络数据滤波处理方法去除舰船通信网络数据内的干扰噪声,将无噪声的舰船通信网络数据作为输入,使用K-means聚类算法输出舰船通信网络异常数据检测结果。结果表明,该方法采集舰船通信网络数据较为准确,并可有效去除数据内含有的干扰噪声,降低舰船通信网络数据幅值区间,同时可用聚类方式准确检测舰船通信网络异常数据,应用效果较为显著。

基于遗传算法的网络传输异常数据检测方法

针对网络传输过程异常数据与标准数据之间存在相对误差的问题,提出基于遗传算法的网络传输异常数据检测方法。通过遗传网络布局形式,建立标准的遗传适应度函数,利用数据编码标签,处理异常数据;通过定义网络传输数据异常簇点的方式,确定数据信息的传输密度水平,结合相关性检测阈值,实现网络传输异常数据检测。实验结果表明,设计方法的异常数据校正误差指标的最大值未超过2.0×10-3MB,得出该方法有效降低了误差。

内蒙古地震预警台站异常数据检测与分析

为快速寻找预警观测数据异常测震台站,选取内蒙古测震台网在华北预警区域内22个基准站2022年1月1日~2022年1月31日期间的三分量连续波形记录,计算了台站背景噪声加速度功率谱密度及相应的概率密度函数分布,统计了微震频率下的背景噪声功率谱密度值分布,对异常数据和台站予以分析。结果表明,微震频段背景噪声分析可以有效的对台站仪器如靠摆、参数错误等状态进行评估,对预警工程起到了良好的保障作用。

基于k-means聚类的智能电表异常动态数据检测方法

为缩小常规电表电量数据与异常测量数据之间的补偿误差水平,提出基于k-means聚类的智能电表异常动态数据检测方法。通过电量负荷异常数据预处理的方式,确定具体的密度偏差值结果,再根据聚类k值条件,提取基于k-means聚类的异常电量数据特征。在此基础上,设定电表数据异常值,根据异常数据清洗原理,得到最终的动态检测特征值计算结果,实现基于k-means聚类智能电表异常动态数据检测方法的设计与应用。实验结果表明,对于常规电表电量数据与异常测量数据而言,k-means聚类检测方法的误差百分比数值较低,能够有效缩小常规数据与异常数据之间的补偿误差水平。

基于改进SVM算法的输变电工程异常数据检测方法设计

输变电工程的异常造价数据检测是电力工程数据分析的重要组成部分,但要对其进行深入的分析处理并投入工程应用,仍存在较多障碍。为解决输变电工程数据难以量化的问题且实现对异常数据的检测,文中基于建筑通用模型BIM技术,将建筑模板与实际数据相融合,设计完成了一套建筑成本估算系统。其针对多维度异常数据难以分类的问题,在改进SVM算法的基础上开发了多维逻辑回归分类器,进而实现了分布式的主动数据分类学习方法。通过实验验证可知,相比于常规算法,所提改进SVM算法的准确率更高,且可对不同工程方案、不同工程建设阶段的造价数据进行快速、准确识别,因此具有良好的应用价值。

基于主成分分析和深度自编码高斯混合模型的无监督异常数据检测方法研究

在异常数据检测中,由于数据量过大和数据特征维度过高,往往会导致数据标定困难、数据冗余、算法效率降低等。针对以上问题,将主成分分析(PCA)特征选择算法与深度自编码高斯混合模型(DAGMM)相结合,提出一种新的无监督异常数据检测方法PCA-DAGMM。该方法首先利用PCA特征选择算法对数据进行预处理,去除对分类效果增益较小的冗余数据,降低运算成本;然后将特征选择后的数据输入到DAGMM模型中进行训练。基于kddcup99数据集和CIC-IDS-2017数据集进行实验,并与多种特征选择算法进行对比,实验结果表明,PCA-DAGMM方法可以有效优化分类器性能,提高分类器训练效率,适用于解决网络流量异常检测问题,F1指数在kddcup99数据集和CIC-IDS-2017数据集上比DAGMM模型分别提高了4.37%和1.06%,训练时间减少了14.43%和8%。