基于Prophet-GMM的大坝监测数据异常检测算法

大坝监测数据受环境等因素影响,往往存在异常数据,异常数据的检测对于大坝的正常运行起着不可或缺的作用,但是传统异常检测算法对于大坝监测数据往往达不到精度要求。提出了一种基于Prophet-GMM的异常检测算法,利用Prophet算法较好的拟合性能对大坝数据进行拟合,由拟合数据与实测数据求残差序列,再利用GMM算法对残差序列进行聚类,从而准确识别出异常值。结果表明:Prophet-GMM法对于不同类型的大坝监测数据都能准确识别出异常值,与传统检测算法相比,在查准率、查全率及准确率3个检测指标上,均有较为明显的提升。

大坝监测数据多维度LSTM异常检测与恢复

大坝安全监测是大坝安全的重要保障,对监测数据进行异常检测与恢复可有效避免对大坝状态的错误估计和判断,具有重要现实意义。近年来基于深度学习方法的大坝监测数据异常检测受到广泛研究,但现存方法存在数据利用不足、信息挖掘不充分等问题。因此,本文提出一种多维度LSTM异常检测与恢复方法,该方法用LSTM输入多个测点的大坝监测数据对单测点数据进行预测,有效利用了不同测点间的相关信息;最后利用拉依达准则对目标测点进行异常检测。本文利用大渡河瀑布沟水电站真空激光准直监测数据进行案例验证,通过与单维度的LSTM异常检测与恢复方法相比较,验证了所提方法能有效地检测数据异常和预测恢复正常数据,是一种有效的大坝监测数据异常检测与恢复方法。

孤立森林算法在大坝监测数据异常识别中的应用

大坝安全监测数据的可靠性和完整性是分析监测效应量变化规律、评判大坝运行性态的前提,有必要对大坝安全监测异常数据进行识别和清除,以提高监测数据质量。将适用于大数据处理的孤立森林算法应用于大坝监测异常数据识别中,首先通过小波变换提取监测数据的趋势项,然后采用孤立森林算法对扣除趋势项的剩余量进行异常值识别。通过实例对比分析发现该方法能有效识别大坝监测数据的异常值。

分形学在大坝监测数据处理中的应用

直接应用分形分布模型难以分析某些大坝的监测数据,这是因为这些数据往往存在着一定的非线性关系。在这种情况下,文章借助于变维分形的概念,将数据进行一系列变换,使变换后的数据能近似地与一条直线相吻合,从而可以用一般的常维分形来处理;工程实际说明,用变维分形技术来处理大坝数据具有一定的实用价值。

基于稳健估计的大坝监测数据粗差识别方法

大坝安全管理已逐步由粗放型向信息化转化,然而传统的误差识别技术识别精度不高,造成大量异常数据进入原始信息库,导致后期分析结论的偏离,成为信息化建设的制约因素。为此,提出了基于稳健估计的大坝监测数据粗差识别方法,即以稳健MM回归替代传统建模方式,同时结合MCD稳健估计确定异常识别阈值,并实现了程序编制。实例应用结果表明,该方法能有效避免由于异常值存在而导致的模型崩溃及阈值失效,且识别更加可靠。

基于云概率密度分布估计的大坝监测数据分析

大坝运行监测易受自然环境和监测条件影响，存在时间和空间上的变异性，监测数据具有不确定性。以云理论的随机性和不确定性分析方法为基础，并与空间数据辐射思想相结合，建立了云滴概率密度分布估计模型，然后导出云概率密度分布函数，依据样本监测数据推求母体空间数据的分布特征，并设计了基于逆向云算法云变换的计算程序。分析陆浑水库1979～1999年测压管监测数据和位移变形数据的云概率密度分布特征和云数字特征，得出了20a来大坝的数据分布特征和运行状态。监测数据分析结果表明，云概率密度分布估计不仅能有效合理地分析大坝的运行状态，而且能够依据云数字特征来判断监测状态和监测环境的异常变化。

便携式大坝监测数据采集装置研制与应用

国内大坝安全监测工程人工观测普遍采用振弦式、差阻式仪器便携设备,无批量自动采集功能,人工观测、比测时存在观测数据串点、漏测及数据入库烦琐等问题,且现场携带多个采集设备不方便。为此,张河湾公司针对现场实际情况,研制了便携式大坝监测数据采集装置,并在张河湾抽水蓄能电站试用。从运行情况来看,便携式大坝监测数据采集装置观测精度高,操作简单方便,满足大坝安全监测工程人工观测和比测的需要。

基于小波分析的大坝监测数据处理

大坝监测系统所采集的监测数据资料存在异常值并受噪声的影响,小波分析具有多分辨率、时频分析的特点。小波分析方法能准确、迅速的定位监测数据序列中异常值,适合运用于数据较多的情况。利用点的小波变换模极大值和阈值法能有效的去除异常值,避免人工去除的繁琐过程。对去除异常值后的序列进行小波软阈值去噪,消除监测数据中噪声的影响,为后续监测资料分析评价提供能反映大坝真实性态的数据。同时该方法适应性较广,能运用到其他数据预处理中,但必须根据实际情况选择合适的小波函数以及阈值。

基于EMD-ABOD的大坝异常监测数据识别方法研究

大坝监测数据普遍存在异常值,对异常数据进行识别和剔除,可保持模型的稳定性和可靠性,并提高模型的预测或分类性能;同时,可及时发现异常情况,以保证系统的安全运行。因此,将基于角度的异常值检测算法(ABOD)引入大坝监测异常数据识别,首先通过经验模态分解(EMD)提取监测数据的高频本征函数,然后对由高频本征函数构成的新数据进行异常数据识别。对长河坝沉降监测数据的验证结果表明,与其他方法相比,EMD-ABOD可有效提升异常数据识别的准确性。

基于相似测点对比的大坝变形监测数据粗差识别方法

针对混凝土坝变形监测数据粗差检测方法难以区分粗差和环境突变引起的数据跳跃问题,提出了一种基于K-means++距离聚类算法分区,采用OPTICS密度聚类算法结合局部异常因子(LOF)算法识别监测数据中粗差的大坝变形监测数据粗差识别方法。该方法通过K-means++算法实现测点区域划分,联合使用OPTICS算法和LOF算法进行粗差确定,通过对比属于同一分区不同测点的粗差出现时间来判定真实粗差。算例分析结果表明,该方法能有效鉴别变形监测数据中由环境突变引起的数据跳跃,显著提高粗差识别的准确性,降低粗差误判率。

大坝变形监测数据的小波分析处理方法

引入小波分析方法对大坝变形监测数据的处理,实现了对离散型的变形数据的尺度分解,对变形趋势的分析。并且对变形数据在滤波、消噪等方面,对分解层次中的偶然误差特性分析,以及阀值的选取方法进行了比较,表明利用小波变换的方法对变形数据的分析处理是有效、可行的。

论大坝安全监测数据异常值的判断方法

大坝安全监测数据受到外界干扰因素较为复杂,即使通过数量统计、数学模型等方法相结合的方式已经判断该数据为异常值,也需要结合现场实际情况进一步综合判断.本文总结了大坝安全监测数据异常值处理的方法与步骤,通过工程算例表明该方法与步骤是可行和有效的.

基于吸引子特征量的非线性判定法在大坝位移监测数据时间序列中的应用

由于大坝位移监测数据存在一定的噪声,为了解决高噪声水平下非线性判定的准确性问题,引入基于吸引子特征量的非线性判定方法。本文对比分析了Lorenz方程和Henon映射2种非线性混沌时间序列在不同噪声干扰情况下,时间反演不可逆量及吸引子特征量分别作为特征统计量时替代数据法的检验性能,发现以Hurst指数作为非线性特征量时的替代数据法显示出较强的鲁棒性。将其应用于实际工程中的大坝三个测点的位移监测数据时间序列,结果表明大坝监测数据位移时间序列呈现出非线性变化的特点,为分析大坝结构形态的变化,及时掌握大坝的运行状态奠定基础。

基于数据重构与孤立森林法的大坝自动化监测数据异常检测方法

大坝安全自动化采集的监测数据不可避免地存在粗差、缺测等问题,针对异常数据量值、数量以及分布规律的不确定性,人工删除异常值存在工作量大、主观性强等不足,提出一种基于数据重构与孤立森林法的异常数据检测方法,该方法是一种无监督的学习方法,不需要根据特征标签进行样本学习,适用范围较广。首先对大坝自动化监测数据进行分解与重构,分离出趋势项,而后用孤立森林算法对剩余项进行判别,计算测点的异常分数,并剔除明显的异常数据,最后再根据拉依达准则进一步清理异常数据。通过实例验证,该方法能较好检测出大坝安全自动化异常监测数据,满足工程实际应用。