基于DIA的GNSS坐标时间序列异常值探测

为解决GNSS坐标时间序列中存在异常值导致地壳形变分析受到影响的问题,首先将经典数据探测法DIA(detection,identification,adaptation)引入GNSS坐标时间序列分析中,基于谐波模型构造相应的统计量;然后采用计算效率更高的改进DIA算法进行异常值探测;最后采用模拟数据和中国内地地壳运动观测网络(陆态网络)CMONOC实测数据对DIA算法和传统3σ法进行比较。结果表明,DIA算法能够有效探测出GNSS坐标时间序列中的异常值,准确率高于传统3σ法。相较于传统DIA算法,改进后的DIA算法计算效率显著提高。

时间序列异常值探测的Bayes方法及其GNSS数据质量控制中的应用

GNSS卫星精密定轨定位的观测量验后残差分析是数据质量控制的重要组成部分。目前的方法都是根据经验设定异常值判断的阈值,没有利用验后残差序列的时间序列特性。引入基于识别变量的AR模型异常值探测的Bayes方法对验后残差序列中的异常值进行探测;将异常值探测问题转化为识别变量后验概率值的计算问题,并给出明确的判别阈值,通过后验概率值与事先给定的阈值进行比较判别出异常值的位置;运用Gibbs抽样设计了识别变量后验概率值的计算方法和异常值的估算方法。实测数据对该算法的验证表明该算法能够准确地探测出异常值的位置,将异常值剔除之后的观测值序列应用到精密单点定位中,结果表明该算法的使用提高了精密单点定位的定位精度。

基于期望最大算法的空间事件及异常值探测

美国ELSET数据库提供的TLE数据是目前使用最广泛的数据,在热层大气密度反演、弹道系数估计、碰撞预警等领域具有重要作用。受空间环境扰动、空间事件以及TLE产生过程等共同影响,ELSET数据库包含大量亟待清理的异常值和识别的空间事件,例如发布错误的TLE、轨道根数异常和Bstar异常。现有方法在清理异常轨道根数时缺乏统一性,需要使用不同的技术,清理流程较为繁杂,并且仅适用于特定轨道区域的少数目标。为克服现有方法的弊端,提出了一种基于期望最大算法的滑动窗口–多项式拟合预报方法,对含有轨道机动的碎片以及受空间环境影响的碎片进行异常值与空间事件探测。研究表明,该方法能够灵活处理不同空间环境下的异常值与空间事件探测,具有普适性,适用于所有轨道碎片。

时间序列异常值探测的Bayes方法及其在电离层VTEC数据处理中的应用

基于Bayes统计推断理论,提出了自回归模型中异常值定位的Bayes方法;在正态-Gamma先验分布下,分别基于均值漂移模型和方差膨胀模型,提出了后验概率的计算方法,并运用Bayes方法估计了异常扰动;最后将该方法应用到电离层VTEC数据处理的建模中,比较模型修正前后预报的结果,验证了新方法的有效性。

基于迭代空间体元推理的多波束测深数据异常值探测

考虑到海底测深点的分布特性,该文将空间体元的思想引入多波束测深数据的异常值探测,设计了异常值探测算法。首先确定空间体元剖分阈值,对整个多波束测深点云数据空间进行分解;其次选取非异常值初始种子体元,通过分析其26个邻域体元的点云密度得到非异常值体元,同时标记异常值体元,并进行邻域生长;采用迭代的方式进行更精细的空间体元剖分,当本次剔除的异常值总数量少于设定的异常值比率阈值时,结束迭代。该文采用模拟实验数据验证了算法的可行性和可靠性。

变系数回归的GNSS时间序列异常值探测方法

针对传统的基于谐波模型的异常值探测算法效率较低的问题,该文引入变系数回归模型替代谐波模型分离GNSS坐标时间序列的信号与噪声(残差),并提出了一种基于变系数回归(VCR)模型与四分位距(IQR)统计量的组合异常值探测算法VCR_IQR。该算法首先采用VCR分离时间序列中的信号与噪声,接着采用IQR准则探测噪声中的异常值。将VCR_IQR与传统基于谐波模型的异常值探测算法—最小二乘探测法(LS_IQR)和最小一乘探测法(L1_ModIQR)进行模拟实验对比分析,结果表明,VCR_IQR能够探测到92%的异常值,而LS_IQR和L1_ModIQR仅能探测到81%和85%的异常值,表明VCR_IQR的探测效率优于LS_IQR和L1_ModIQR。

异常值探测在大数据分析中的应用研究

【目的/意义】在大数据分析过程中,异常值探测是非常重要的一类分析方法。大数据分析中的异常值探测是从海量、不完整的、有噪声的、随机的海量数据中发现与其它数据显著不同的或潜在有价值的信息和知识的过程。对异常值探测方法及其应用进行系统梳理,以期为相关研究提供有益借鉴。【方法/过程】首先针对当前大数据分析相关研究中常用的异常值探测方法进行分类梳理,并通过原理图来解释各种异常值探测方法的基本思想和原理,然后结合相关算法给出大数据分析时异常值探测方法的实际应用,最后将各种异常值探测方法的特征进行对比分析。【结果/结论】各种异常值探测算法在实际问题中应该根据其特点有选择地应用。指出未来研究方向包括:对算法自身的研究和对应用领域的拓展。

基于ARMA模型的BDS卫星钟差异常值探测及其短期预报

星载原子钟在运行过程中会受到恶劣空间环境与设备老化等因素的影响,使得卫星钟差数据中经常存在异常值,其中AO(additive outlier)类异常值是钟差序列中常见的一类异常值。结合最大期望算法与自回归滑动平均(autoregressive moving average,ARMA)模型,提出一种AO类异常值探测算法。该算法可以准确探测孤立AO类异常值与成片AO类异常值,有效克服了其他算法经常出现的淹没与掩盖现象。在成功探测钟差序列AO类异常值的同时,该算法可以估计得到精确的ARMA模型,进而能准确地进行卫星钟差预报。利用仿真数据与北斗卫星钟差实测数据进行计算分析,结果表明,所提算法可以精确探测出钟差序列AO类异常值,并且具有很好的卫星钟差预报效果。

基于假设检验的控制点异常值探测和数据诊断

针对控制点中存在异常值的情况,从统计假设检验的角度出发,寻求异常值探测的方法。利用现有控制点成果,通过建立坐标转换模型,构成统计量,利用假设检验方法对数据进行粗差探测,逐一剔除数据中的异常值,从而得到精度较高的控制点成果数据,形成坐标转换中异常值探测和数据诊断的可行方法。

一种自动探测多波束测量异常值的组合算法

随着多波束测深系统(MBS)的发展,利用半自动技术对海量测深数据进行处理需要很长的时间。在实际应用中,手工检测异常值是一种常用的方法,也是最耗时的部分。本文结合小波变换良好的定位能力和卡尔曼滤波的鲁棒动态预测,提出了一种多波束测深数据中异常值的自动检测和剔除算法。根据海底地形的连续性将MBS数据划分为条带,采用组合算法对每条带进行组合滤波处理。通过与手工编辑的比较,该算法在模拟数据和实际数据上都有良好的性能。

稀疏编码模型在电力用户异常用电行为探测中的应用研究(英文)

针对电力用户用电异常行为的检测问题,提出一种新颖的使用稀疏编码的模型方法来挖掘用户的原始用电数据。结合字典学习的方法,将用户数据表示成其中部分特征的线性组合的形式,通过各个特征的使用频率来判断异常值,从而分辨出用户用电行为模式和异常行为。通过某城市9038户居民538天的实际用电数据,验证了所提方法的有效性和可行性。

机载蓝绿激光测深的研究进展

机载激光测深系统具有测深精度高、测点密度高、覆盖范围广、低消耗、测量周期短、具备高机动性等特点,是目前最具有发展前途的在浅海,暗礁,岛礁及一般船只无法到达水域,开展水深测量的快速、高效、经济的手段之一。论文总结分析了当前机载激光测深数据处理的关键技术及相关的研究工作。蓝绿激光测深数据处理理论的研究成果可广泛应用于海洋资源开发、空间技术发展和地球科学研究等多个应用领域,具有重要的研究价值和明显的军事效益。

关于综合利用Benford法则与其他方法评估统计数据质量的进一步研究

利用Benford法则对数据质量进行检验是一种已经在实践中得到广泛应用的重要方法。但该方法也存在一定局限性,针对其存在的问题,本文进一步探讨了如何将其与异常值探测、数据挖掘技术等方法相结合,从而找出可能存在数据质量问题的具体样本及其规律的方法。并利用该方法对我国保险行业2006—2011年主要经济指标的数据质量进行了实证分析,结果表明这种方法是合理且有效的。

小波与奇异谱分析在地铁保护区监测数据处理中的应用

以南京市地铁沉降监测数据为例,将小波分析和奇异谱分析方法应用在地铁保护区监测数据的处理中。实验证明本方法在探测异常值、获取沉降变形趋势、变形周期等方面具有可行性。

小波包分析在GPS振动观测中的应用

将小波包分析应用于GPS振动观测数据处理,研究小波包分析在异常值探测、信号特征提取、去噪中的应用。首先对信号分解和单支重构,验证小波包分析探测异常值的能力。针对小波包分析含有丰富的高频信息,采用奇异谱分析方法提取高频部分的振幅和频率。小波包分析的去噪能力优于小波分析。

BOTDR原理、应用及其信号的小波处理

布里渊散射光时域反射监测技术(BOTDR)是一种新兴的可用于光通信和各类构筑物应变监测的尖端技术。文章介绍了BOTDR技术的应变测量原理、相对于其他技术的特点、实际应用情况特别是在工程健康检测领域的应用情况,提出对其采集的观测数据信号进行小波变换,目的是消噪和探测异常值。通过一个具体的实例表明,小波变换在BOTDR信号处理中的应用是十分有效的。

针对多波束测深数据的抗差稳健估计滤波算法研究

多波束测深是获取水底地形的重要方法,针对多波束测深数据受到测船运动、假回声信号以及缺少检核条件而导致的异常值难以探测和剔除的问题,本文采用基于抗差的稳健估计滤波对测深异常值进行探测和剔除。对使用Seabat8125多波束测深系统测得的数据进行仿真处理,分别在平坦、倾斜和起伏这三种典型水底地形中随机加入不同幅度的异常值,然后基于抗差稳健估计滤波使用不同大小的滑动窗口对测深数据异常值进行探测和剔除,最后将处理结果与中值滤波和趋势面滤波进行对比分析。结果表明基于抗差的稳健估计滤波方法相比于其他两种方法可以更加有效的探测和剔除各种幅度的测深数据异常值且不受窗口大小的影响,进而为获取海水底地形提供准确的测深数据。

BDS-3钟差修正序列处理及预报方法研究

针对常规的钟差异常值探测方法仅对数据结构进行分析的情况,该文结合卫星钟差特性,通过ICEEMD+卡尔曼滤波(KF)组合对BDS-3钟差一次差分序列进行异常值探测。利用ICEEMD法将其分解后,采用KF法对含有异常值的高频固有模态函数(IMF)分量进行探测。将剔除异常值的高频IMF分量与其余分量叠加即可获取钟差一次差分修正序列。实验结果表明,经过ICEEMD+KF组合处理的BDS-3钟差一次差分序列较绝对中位差(MAD)法与KF法具有更高的平均拟合精度。此外,ICEEMD+KF组合的平均预报精度较MAD法与KF法具有明显提高,在6~24 h的预报区间内分别具有10%和3%左右的提升效果,提升效果随预报区间的延长而逐步降低。