面向高维流数据的离群值检测算法

累计局部离群因子(cumulative local outlier factor,C_LOF)算法能有效解决数据流中的概念漂移问题和克服离群点检测中的伪装问题,但在处理高维数据时,时间复杂度较高。为有效解决时间复杂度高的问题,提出一种基于投影索引近邻的累计局部离群因子(cumulative local outlier factor based projection indexed nearest neighbor,PINN_C_LOF)算法。使用滑动窗口维护活跃数据点,在新数据到达和旧数据过期时,引入投影索引近邻(projection indexed nearest neighbor,PINN)方法,增量更新窗口中受影响数据点的近邻。实验结果表明,PINN_C_LOF算法在检测高维流数据离群值时,在保持检测精确度的前提下,其时间复杂度较C_LOF算法明显降低。

基于半监督学习的无线传感网离群值检测算法

在无线传感器网络中,如何短时间内消除离群值并获得干净的数据集是一项重大挑战。当收集的数据集没有标签时,离群值检测算法中的参数应该是自适应调整的,而不是提前设定。为了解决这个问题,提出了半监督一分类支持向量机算法(SOCM),该算法将最近邻算法(KNN)与OCSVM算法相结合,并根据最近邻的数量自适应地计算参数。由于SOCM算法可能会消耗大量的计算资源,进一步引入XGBoost算法替代OCSVM算法来形成SXBT算法。XGBoost用于形成弱分类器并自适应地调整权重以构建强分类器,从而实现离群数据的分离。仿真实验表明:SOCM算法的准确率接近96%,SXBT算法具有与SOCM算法接近的性能,但运行时间低于SOCM算法。

基于MARS和概率规划的离群值检测算法

为提高物联网数据质量,提出一种基于MARS模型和概率规划的多变量离群值检测方法。该方法能够将多个变量结合起来,通过一个模型检测离群值。创建一个多元自适应回归样条模型产生研究化的残差,将残差作为输入,采用概率规划方法,建立基于全贝叶斯推理的一般单变量离群点检测模型。实验结果表明,概率规划模型能检测出更准确的离群点,该模型提供了具有可信区间的概率分布。

基于ARIMA和指数平滑法的直流输电线路地面合成电场实测离群值的判别

直流输电线路地面合成电场是公众广泛关注的环境影响因子之一。合成电场极易受环境条件影响,实测结果波动较大,往往出现可疑异常值(离群值)。目前合成电场理论模型尚无法全面考虑环境影响,难以准确判别离群值。对此,从时间序列分析的角度,提出了基于自回归差分移动平均模型(auto regressive integrated moving average, ARIMA)和指数平滑法(exponential smoothing method, ETS)的离群值判别方法。经算例分析表明,该方法预测的均方根误差(root mean square error, RMSE)仅为1 kV/m左右,能全部判别算例中12处离群值,而经典数理统计方法仅能判别3处离群值。该方法可以有效处理相对平稳、具有固定趋势以及缓慢大幅波动等特征的数据序列,尤其是数据序列中有突然增大的非极端值离群值的情况。该方法比经典数理统计方法更适于判别合成电场实测结果的离群值。

基于自联想核回归的带离群值化工过程故障检测

基于数据驱动的故障检测模型通常要求训练数据必须是正常操作条件下的测量值.然而在实际工业生产过程中,即使在正常工况下,数据集中也难以避免存在离群值.此时若仍采用传统的基于多元统计分析的方法,其监测模型的控制限会受到严重影响,造成故障漏报.因此,为了确保当训练数据包含离群值时,监测模型仍然呈现较好的故障检测效果,本文提出了一种基于自联想核回归的故障检测方法.首先基于最小化β散度的鲁棒预白化算法对训练集进行白化计算,消除变量之间相关性对样本相似度度量的影响.然后通过自联想核回归算法重构正常工况下的验证数据,根据重构误差建立模型监测指标.为了消除离群值对故障样本重构的影响,构造截断函数来避免离群样本参与相似故障数据的重构,并对所有参与构建Q统计量的残差变量基于指数加权滑动平均方法自适应加权,得到新的监测统计量.将该方法运用于田纳西–伊斯曼过程并与其他方法进行比较,验证了本文所提故障检测算法的有效性.

存在离群值情形下行业股票的风险特征分析

资产定价是金融研究的核心问题。著名的资本资产定价模型(CAPM)给出了使用β系数来衡量资产风险的方法。实践中常使用拟合线性模型的方法来估计β系数。当样本数据中有离群值时,经典的最小二乘法可能会有较大的估计误差。这种情况下,采用稳健估计方法是一个较好的选择。我们通过模拟的数据,发现当数据存在离群值时,稳健估计方法的偏差比最小二乘法小得多。使用稳健估计方法来分析A股市场不同行业股票的风险大小,发现银行、钢铁、交通运输业的β系数相对较小,而电子和房地产行业有较大的β系数。

基于离群值的RS码参数盲识别方法

针对现有RS码参数盲识别算法在误码情况下识别率不佳且不能及时识别信息位的问题,提出了一种基于离群值的RS码识别方法.该方法将截获到的等价二进制线性分组码映射到GF(2m)域构造分析矩阵,通过遍历该符号数下所有的本原多项式构造编码域,在不同编码域中对分析矩阵进行高斯列消元;然后利用离群值对消元后的分析矩阵进行统计分析,以此识别出码长、本原多项式和信息位;最后通过伽罗华域傅里叶变换(GFFT)识别生成多项式.仿真结果表明,该方法在误比特率为4×10-3时,所有码型的识别概率均可达到90%,整体识别性能较好.

芯样混凝土抗压强度离群值的检验方法

如何检验离群值,是正确运用钻芯法的一个关键。芯样混凝土抗压强度离群值常用的检验方法包括t检验方法、格拉布斯检验法、狄克逊检验法以及峰度检验法,由于方法较多,并涉及一定的统计学知识,且标准的叙述相对简略,往往造成检测技术人员在方法使用上存在困难。对该四种方法进行比较分析,总结各方法的适用范围,并结合实际算例,分析检验方法的详细使用步骤,为检测技术人员正确操作提供参考。

计量视角下离群值识别法的研究综述与展望

随着大数据时代的到来,样本数据的容量日趋增大且内容愈发复杂,对实证研究的准确性形成了巨大挑战,而计量领域内基于样本数据的离群值识别和处理会减少实证研究中的偏差,有效提升其研究的准确性。本文梳理和评述基于不同类型样本数据模型和估计的离群值识别法,继而提出未来研究的展望。

离群值分析法在工程造价估算中的应用

工程造价预估工作是工程管理领域的一项重要研究分支。文章结合实际案例,运用实践论证法,尝试将离群值分析法应用于常规工程造价估算工作中。为了实现成本预估值准确度的最大化,在数据处理方面摒弃传统的平均值数据处理手法,先通过数据计算模型得出造价区间与价格序列,再运用X-13A-S法得出最终的造价成本预估值,以期对工程造价预估工作有一定借鉴意义。

数据离群值的检验及处理方法讨论

由目前普遍使用的分析化学教材中与离群值相关的内容出发,对其进行对比和分析,说明数据离群值检验的意义和重要性。对几种常见的离群值判定方法进行了列举和比较,并对已确认为异常值的数据的处理方法也进行了对比和讨论。各种检验和处理方法各有其优势和劣势,根据实际情况选择不同方法或多种方法配合使用,能够更好地实现对离群值的检验和处理。

不确定度评定中离群值的检验及计算机编程

探讨了不确定度评定中的离群值检验问题。采用Grubbs准则和Dixon准则联用的方法进行离群值检验 ,并编制成计算机程序以利于使用。运用该方法对实际数据进行检验 ,能很好地剔除数据中的离群值。发现实际应用中Dixon准则优于Grubbs准则 ,并对其原因作了探讨。

剔除离群值的学生化残差新方法

在计量测试领域中,离群值就是含粗差即粗大误差或过失误差的测量值。首先研究了学生化残差及其绝对值的基本概念、性质及其分布函数,提出了剔除离群值的学生化残差新方法,该方法不需要区分离群值在上侧或下侧的情况,因此所得到的判断条件更加方便。采用蒙特卡洛模拟法求出了测量次数小于50时,各分布函数、均值及其标准差的具体数值。最后得到了剔除离群值的学生化残差绝对值法的临界值表,并通过测量实例验证了理论分析的正确性,与现有的判别方法进行比较,结果表明该方法可以迅速、可靠地剔除测量数据列的离群值。

方法标准验证实验数据中离群值的识别

对方法标准验证实验中测量数据进行合格性审核,对于后续方法精密度计算是一个重要环节。文献中识别离群值的Grubbs法、Dixon法等经典方法有时不能满足要求。探讨了用稳健统计法识别离群值的可行性。基于2套文献数据和XRF方法标准验证实验精密度测量数据,对Grubbs法、Dixon法、Mandel h检验法、质控指标法和稳健统计法(四分位法、迭代法、合格数据范围判定法)进行了比较。结果表明:稳健统计法可有效识别离群值。但四分位法存在过度"检出"现象。综合考虑多种方法识别结果有利于提高离群值判定结论的可靠性。对于个别难以判断的情形,可借助质控指标、技术要求以及数据是否剔除对实验室间标准偏差的影响进行取舍。

钨矿石和锡矿石化学成分分析能力验证结果评价和离群值原因

金属矿产的勘查、评价、开发与综合利用要求对不同矿石品位与精矿的完整系列品质进行评价检测和仲裁测试。钨矿石和锡矿石作为金属矿的重要矿种,在客观上要求相关实验室应具备不同含量品级钨矿石和锡矿石组分的检测能力。本文按照国家认证认可监督委员会(CNCA)编号为CNCA-13-A14的钨矿石和锡矿石化学成分分析能力验证计划的要求,对中国30个省市、自治区的58个实验室提供的8个元素(W、Sn、Cu、Pb、Zn、Mo、Sb、Bi)的测定结果进行能力验证分析,采用稳健统计法,根据Z比分数判定参加实验室的检测能力。根据Z比分数≤2为满意结果的判定标准,51个实验室全部结果的Z比分数≤2,总体结果满意率(各元素的Z比分数均≤2的实验室占总实验室的比例)为88%,出现可疑和离群结果的实验室占12%。总体上钨矿石和锡矿石中元素Sb、Pb、Zn的满意率较高(其中锡矿石的Zn测定结果全部满意),W、Bi稍差;钨矿石各元素的检测水平差异小,整体结果好于锡矿石。钨矿石和锡矿石分析能力验证结果产生离群值的原因,一方面是实验室的测试水平存在差异;另一方面是各实验室采用的检测方法分散,有化学分析方法和仪器分析方法,化学分析方法检测步骤多,仪器分析方法方便快速,逐渐成为例行检测方法,两类方法的影响因素都较多。本文提出,提高实验室的检测水平和检测能力,需要适当统一检测方法,提高方法掌握的熟练程度,避免仪器状态对分析结果的影响,确保检测结果的一致性和准确性。

分析数据中离群值的处理方法

归纳了6种常见处理离群值的方法,根据每种方法的原理和特点,对其各自的适用范围进行了讨论.

常量金标准物质定值中离群值的统计识别

离群值的剔除常用数理统计的方法,如格拉布斯检验法和迪克逊检验法等,但是这些统计方法用于常量金标准物质分析结果的统计检验,都存在着对离群值剔除明显不够的问题。本文建立了以常量金重复分析相对偏差允许限为依据的离群值统计识别方法,包括统计计算待定值样品中金的算术平均值x珋和相对偏差允许限YG,确定合格的测定结果的数据区间,从而识别出离群值并予以剔除;一次剔除后,按照新的统计量确定下一轮的离群值剔除范围,直到无离群值后,给出金的平均值及其波动范围。以15个人工组合的常量金标准物质为例,模拟金标准物质定值分析,以密码形式分派给不同单位和分析者,共收集10套独立分析结果,采用本法剔除离群值后,所得金算术平均值与金标准参考值更加接近,其相对偏差的质量分数为0.35,达到优秀;而格拉布斯法(或迪克逊法)和中位值法的质量分数分别为0.42和0.40,只能达到良好。应用本文建立的离群值统计识别方法,质量分数等级有了明显提高,增强了数据统计分析的有效性。

瓦里安RapidPlan模型训练中统计离群值的处理及其剂量学影响

目的：以统计图表和参数为依据,分析处理瓦里安Rapid Plan模型离群值,并比较处理前后计划之间及其与人工优化的剂量学差异。方法：（1）选取80例直肠癌术前同步推量计划建立模型;（2）修正明显原因所致的离群值;（3）利用拟合曲线、Z值和库克距离寻找几何离群值,检查原计划并分情况处理;（4）利用残差分布图、剂量体积直方图、学生化残差值和库克距离判断剂量离群值并酌情处理;（5）利用20例同类计划测试验证前后模型的优化效果。结果：统计学验证使模型构成计划中的离群参数最大值显著降低（P〈0.05）。相比原人工优化的测试计划,Rapid Plan使用任一模型均能显著改善靶区均匀性指数（P〈0.05,幅度2.7%~19.0%）和膀胱平均剂量（P〈0.05,降幅12.8%~13.2%）。但利用验证前后模型分别优化的计划质量差异不大：肿瘤计划靶区（PGTV）均匀性指数相差0.5%,PGTV适形指数相差0.1%,计划靶区适形指数相差0.5%,股骨头和膀胱平均剂量分别相差0.3%和0.4%（P〉0.05）。结论：基于知识的Rapid Plan计划可以改善靶区剂量均匀性和保护危及器官。依据统计学参数删改模型构成计划并不一定能取得更好的剂量学效果。

考虑离群值的非寿险准备金进展法

在准备金进展法中考虑离群值的影响,采用残差箱线图对相关索赔数据进行离群值检验,然后选择合适插补值的一种改进的准备金进展法,并对支付率和结转率的尾部数据加以修正,改善了最后两个进展年的异常值不能被有效识别的情况。研究表明:改进的准备金进展法能够有效识别和调整增量已决赔款和增量已报案赔款中的离群值,降低了离群值对最终准备金评估结果的影响。

多个离群值鉴别方法在定量校正中的应用

本文使用统计量Fk进行多元线性回归分析体系离群值的鉴别,将该方法用于紫外光度法直接校正定量波长的选择及液相压电传感器阵列定量体系校正样本的选择,选择前后定量分析结果表明,方法可行。