基于Prophet-GMM的大坝监测数据异常检测算法

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明:Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。

柔性直流换流站异常监控数据实时预警研究

为了提高对异常数据的预警性能、维护柔性直流换流站的运行稳定性,提出了柔性直流换流站异常监控数据实时预警方法。首先,利用经验规则消除数据碰撞问题,根据数据信息哈希函数的异常值,准确检测出其中的异常数据。然后,利用小波变换对异常监控数据进行预处理,并从异常数据中提取关键变量信息。最后,根据监控过程中出现异常数据的概率,设定预警阈值,再利用预警函数构建实时预警模型。试验结果表明,应用该方法后,误报率被控制在20%以下,平均绝对误差被控制在0.12以下。相比于传统方法,该方法的预警结果更有效、准确率更高。

基于胶囊网络的异常多分类模型

国网公司日益庞大的服务器集群产生的大量生产运行数据,以及实时分析各类设备、系统产生的海量监控数据成为电力IT运维工作的新挑战。异常检测技术作为智能电网信息运维工作的关键技术,可以有效检测运维故障并及时告警,避免损坏敏感设备。目前一些传统异常检测方法检测的异常种类少且精度低,导致故障发现不及时。为了应对这一挑战,提出了基于胶囊网络的多维时间序列异常多分类模型NNCapsNet。首先,应用无监督算法结合专家知识对电网营销业务应用服务器性能监控数据进行预处理和标注。其次,引入胶囊网络进行分类和异常检测。五折交叉验证的实验结果表明,NNCapsNet在包含15类异常的数据集上实现了91.21%的平均分类准确度。还在包含2万条监控数据的数据集上与4个基准模型进行了对比,NNCapsNet在关键评估指标上均取得了较好的结果。

应用残差网络的微地震事件五分类检测方法

常规的微地震事件检测方法通常需要人工选取阈值,在处理大量连续记录数据时效率较低,难以适应实时监测的需求。为此,提出一种基于残差网络的微地震事件五分类检测方法,将样本分为噪声、完整的微震事件、只含有P波、只含有S波以及多个微震事件五类。该方法只需将连续记录的波形数据等分,并通过时窗调整获得完整的微震记录。通过一系列数据增广方法实现小规模实际数据样本集的模型训练,模型精度高达99%。将该方法与二分类方法同时应用于微地震监测数据检测,并通过P波、S波到时拾取和震源定位评估检测效果。研究结果表明,基于残差网络的五分类检测方法检测到了更多数量的微震事件,且具有较高的运算效率,满足实时监测的需求。

基于电能质量监测数据的企业环保异常工况识别

针对目前污染企业环保工况异常监测实施困难、识别误差大、结果易被篡改等问题,提出了一种基于电能质量监测数据的环保异常工况识别方法。区别于对每个设备安装分表进行用电监测的现有方案,使用企业设备公共用电入口处非侵入式负荷监测所得的多维电能质量数据进行工况分类模型训练,实现异常工况识别。首先,对表征生产情况的特征数据进行时序变点检测与聚类计算,实现企业生产工况的划分;然后,结合环保设备运行情况得到用于分类的环保工况类别;进而,采用Stacking集成学习模型对环保相关的工况场景进行分类学习;最后,利用所训练的分类模型识别出企业存在的环保异常工况。利用仿真测试数据与实际企业数据验证了所提方法的有效性。

基于影响因子分解法的大坝监测数据异常检测算法

如何快速检测出大坝安全监测系统内的异常数据(例如粗差和告警值)对于大坝安全运行具有极其重要的意义,但传统方法容易漏检较小数值异常而对后续建模产生不利影响。提出了一种基于影响因子分解的异常值检测方法,通过快速小波变换及离散傅里叶变换提取监测序列中的显著趋势与周期,剥离环境因子的影响,构建余项序列,并结合小概率事件思想准确判定余项序列中保留的异常值,从而精确检测出监测序列中较小数值异常。实例验证结果表明:此方法具有较好的实用性与稳定性,各类监测序列中异常检测准确率均达98%以上,查准率与查全率均值分别为93%与92%,与传统检测方法相比,检测精确程度及泛化能力明显提升。

基于DBSCAN的环境传感器网络异常数据检测方法

随着传感器网络环境监控应用的发展,传感器网络测量数据的异常检测近年来受到学术界和工业界的高度关注。提出一种基于DBSCAN(Density-Based Spatial Clustering of Application with Noise)的异常数据检测方法,该方法利用距离定义数据的相似度进行划分聚类,使用DBSCAN算法提取环境特征集,并根据特征集对异常数据进行检测。最后,基于真实的传感器网络完成了多组实验,实验结果表明该方法能够实时准确地检测出异常数据。

基于多传感器信息融合的城市边坡监测数据异常事件检测

为预防和管控城市突发地质灾害造成的人民生命和财产损失,国家针对城市地质灾害易发地区部署了大量的各类传感器,用来感知和监测城市边坡等地质体的变化情况,以支持对地质灾害的预警。从边坡监测数据特点和时序数据分析技术出发,针对监测数据噪声混杂、模式分析困难、预警阈值的不确定性等问题,给出了一种基于多传感器信息融合的边坡监测数据异常事件检测方法。主要工作包括:①边坡监测数据变化模式可以归结为周期项、趋势项以及噪声项的叠加,实践中在预处理基础上对边坡监测数据进行周期为24 h的重采样,同时趋势项可以近似看作是经典的牛顿运动,以此构建形变运动模型,为卡尔曼滤波的状态转移提供理论支持;②采用集中式衰减记忆卡尔曼滤波,引入衰减记忆因子,对多传感器边坡监测数据进行特征级融合,降低了噪声的影响,提高了边坡监测数据的可靠性;③引入惩罚系数,应用改进的动态时间弯曲算法对于周期序列数据进行相似性度量。在此基础上基于K-means聚类和局部异常因子分析对边坡监测数据进行异常检测,并基于3σ准则确定预警阈值。该方法能将正常模式和异常模式的时序数据进行区分,有效检测出边坡监测数据的异常,为灾害预防提供支持。最后以深圳市典型边坡监测数据为例验证了此方法的可行性。

M-TAEDA:多变量水质参数时序数据异常事件检测算法

在供水管网中部署传感器网络实时获取多个水质参数时间序列数据,当供水管网发生污染时,高效准确地检测水质异常是一个重要问题。提出多变量水质参数时间异常事件检测算法(M-TAEDA),利用BP模型分析多变量水质参数的时序数据,确定可能离群点;结合贝叶斯序贯分析独立更新每个参数的事件概率,预测单个传感器节点检测的异常概率;将单变量的事件概率融合为统一多变量事件概率,融合判断异常事件。实验结果表明:BP模型模拟多变量水质参数进行预测可以达到90%精确度;与单变量参数时间异常事件检测算法(S-TAEDA)相比,M-TAEDA可以提高异常检出率约40%,降低误报率约45%。

环境监测数据异常值的判定及处置

准确、可靠的环境监测数据是环境管理的重要现实依据,因此正确鉴别和处理异常数据是环境监测工作中的关键环节。简述了环境监测异常数据的类型和产生的原因,对异常监测数据的处理措施进行了分析。提出,应建立健全环境监测质量管理体系、重视现场采样的信息化管理、正确填写监测原始记录和加强监测数据的审核。

三维激光技术在天山公路次生溜砂坡监测中的应用研究

借助三维激光扫描技术,以天山公路k618路段次生溜砂坡研究对象,准确地获得边坡3个不同时期的点云数据。通过PolyWork软件数据处理,对溜砂坡整体进行形态检测以及局部块石进行精细测量和动态监测,进而分析其剥蚀风化程度以及变形发展特征。分析结果表明,三维激光扫描技术对次生溜砂坡及局部块石监测较为精确;次生溜砂坡的剥蚀流沙过程与秋冬强烈冻融作用有着密切关联。

DBSCAN和GRU算法在桥梁监测系统的研究

桥梁监测系统通过实时监测桥梁的各项指标来保证桥梁的安全运行,但监测数据在传输的过程中,不可避免地会产生噪声,从而对后续的数据预测产生较大干扰。通常利用聚类找出离散点来去除噪声,传统的K-means算法聚类前需要指定聚类簇数,以空间中K个点为中心进行聚类,对最靠近的对象归类,但海量的桥梁数据易受环境因素影响,因而无法预先指定数据簇。DBSCAN无需事先知道要形成的簇类的数量,可以自动确定簇个数。另外,桥梁数据是以时间戳存储的时序数据,在时序数据预测算法中,LSTM和GRU算法能够解决RNN算法的梯度爆炸问题,而GRU比LSTM参数量少,可以减少过拟合风险。基于此,文中以郑万高铁巫山大宁河双线大桥为研究对象,提出一种DBSCAN和GRU神经网络相结合的数据预测算法,以DBSCAN剔除噪声数据,并利用GRU神经网络对桥梁的压力进行深度学习,预测下一时刻的数据,然后进行异常检测。实践结果表明:所提算法可以准确地预测桥梁下一时刻的压力值,与LSTM算法相比,该算法的决定系数提高5.2%,均方根误差和平均绝对误差分别降低8.3%和11.6%;同时系统还能及时发送预警短信,为桥梁的安全提供保障。

基于SSA-DBSCAN的边坡安全监测数据粗差探测方法

考虑到边坡安全监测数据中存在粗差这一问题,提出了一种基于奇异谱分析(SSA)和密度聚类算法(DBSCAN)的粗差探测法,该方法结合SSA在提取信号和DBSCAN算法在区分粗差和异常值上的优势:首先使用SSA对监测序列进行分解重构,准确提取主信号并获取残余分量;然后使用DBSCAN聚类算法对残余分量进行分析;最后联合2种方法确定粗差点并剔除。通过引入多因素影响的边坡监测序列实例进行验证,并且将SSA-DBSCAN粗差探测法与中位数绝对偏差法(MAD)和格拉布斯准则法(Grubbs)进行比较分析。结果表明,本文提出的SSA-DBSCAN粗差探测法与上述方法相比性能优异、误判率低,可为后续监测数据分析处理乃至于预测预警奠定基础。

改进Kmeans算法的海洋数据异常检测

为解决Kmeans算法随机指定初始点聚类和海洋Argo浮标数据异常问题,提出一种改进Kmeans算法的海洋数据异常检测方法。提出一种改进Kmeans算法DMKmeans(density mathematics Kmeans),选取给定邻域范围内最近邻数据点最多的点为初始中心点,迭代聚类,直到准则函数收敛,聚类结束;基于DMKmeans算法对数据集聚类,使用数学模型为准则进行海洋监测数据异常检测。通过海洋监测数据异常检测仿真实验,将DMKmeans算法与传统Kmeans算法及MinMaxKmeans算法做对比分析,其结果表明,提出算法能有效提高聚类准确率和异常检测率。

基于数据重构与孤立森林法的大坝自动化监测数据异常检测方法

大坝安全自动化采集的监测数据不可避免地存在粗差、缺测等问题,针对异常数据量值、数量以及分布规律的不确定性,人工删除异常值存在工作量大、主观性强等不足,提出一种基于数据重构与孤立森林法的异常数据检测方法,该方法是一种无监督的学习方法,不需要根据特征标签进行样本学习,适用范围较广。首先对大坝自动化监测数据进行分解与重构,分离出趋势项,而后用孤立森林算法对剩余项进行判别,计算测点的异常分数,并剔除明显的异常数据,最后再根据拉依达准则进一步清理异常数据。通过实例验证,该方法能较好检测出大坝安全自动化异常监测数据,满足工程实际应用。

轴系测试数据分布特征信息获取方法与应用

[目的]船舶轴系监测系统具有监控对象多、测试数据量大和存储空间需求大等特点,如果存储方案不合理,数据未预先统计和分类存储,会导致数据不便于检索、计算和分析。为此,提出针对测试数据的批量统计特征数据及分表存储的方法。[方法]在现有数据库的基础上,设计时间序列特征数据表和汇总表,以及统计测试数据的均值、极值、标准差、偏度等的流程;采用仿真对比,选择均值和偏度作为特征向量;通过DBSCAN聚类设计传感器数据异常识别算法,验证对传感器系统异常数据的识别效果。[结果]结果表明,所提方法对异常数据的识别效果较好,[结论]可适用于实际测试系统的特征数据提取。

基于小波变换的非侵入负荷事件检测算法研究

目的:提高非侵入负荷监测系统中事件检测方法的准确性,避免负荷事件漏检、误检的问题。方法:提出了基于小波变换系数二阶差分的非侵入式负荷事件检测算法,该算法选择最优小波基函数及最优小波细节系数,利用小波变换系数模值的二阶差分变化精准定位负荷变点位置。结果:采集典型家用负荷的实测数据对该事件检测算法进行验证,负荷事件检出准确率优于传统小波模极大值方法。结论:实验结果表明文章使用的方法具有可行性和实用性,提高了事件检测部分的准确率,对负荷能否准确识别起到关键作用。

基于数据链的播出一致性比对和应急系统

本文介绍广西广播电视台基于覆盖节目制作域、播出域、传输域的数据链,借助大数据运算、图像处理、自动化技术搭建的一套电视节目信号一致性比对系统。借助该系统实现了全维域协同保障安全播出,改变过去依赖于播出系统自身性能和应急处置能力的单平台支撑的现状,实现网络化的分布式安全播出效果。

大型LNG接收站数据监测平台与数据异常检测

针对天然气使用与进口量日益增长,储罐建造数量不断增加的问题,研究了大型LNG接收站的安全监测技术,分析讨论了LNG接收站的数据监测动态流程。从大型LNG接收站的系统组成、工艺处理以及对安全运行的影响参数方面探究LNG接收站数据安全监测平台的搭建,并实现数据的接入、数据处理、数据储存和传输的功能。通过数据接口将采集到的监测数据读取至监测平台,再通过转化回归分析、时序监测、关联监测和智能算法等步骤实现数据的异常检测处理。该技术框架可以为LNG接收站安全生产工艺产生的异常数据快速检测提供参考。

基于机器学习的频谱监测数据与装备事件关联方法

随着频谱监测设备在重点用频区域的广泛部署,监测数据呈现爆发式的增长,为了挖掘并利用监测数据规律来实现对频谱事件的有效推断,提出一种基于机器学习的事件关联方案。首先采用单类支持向量机(OCSVM)和深层神经网络(DNN)等机器学习算法分别对频谱监测数据进行过滤和分类识别;然后,通过建立监测数据和频谱事件的映射规则集,采用决策树(DTC)算法对规则集数据进行学习,并形成持久化模型;最终,实现对频谱事件的推断。实测数据的计算结果表明本文方法具有可行性和有效性。