期刊文献+
共找到18篇文章
< 1 >
每页显示 20 50 100
Random Subspace Learning Approach to High-Dimensional Outliers Detection 被引量:1
1
作者 Bohan Liu Ernest Fokoué 《Open Journal of Statistics》 2015年第6期618-630,共13页
We introduce and develop a novel approach to outlier detection based on adaptation of random subspace learning. Our proposed method handles both high-dimension low-sample size and traditional low-dimensional high-samp... We introduce and develop a novel approach to outlier detection based on adaptation of random subspace learning. Our proposed method handles both high-dimension low-sample size and traditional low-dimensional high-sample size datasets. Essentially, we avoid the computational bottleneck of techniques like Minimum Covariance Determinant (MCD) by computing the needed determinants and associated measures in much lower dimensional subspaces. Both theoretical and computational development of our approach reveal that it is computationally more efficient than the regularized methods in high-dimensional low-sample size, and often competes favorably with existing methods as far as the percentage of correct outlier detection are concerned. 展开更多
关键词 high-DIMENSIONAL robust outlier detection Contamination Large p Small n Random Subspace Method Minimum COVARIANCE DETERMINANT
下载PDF
统计监控建模离群点检测数据预处理高效算法 被引量:5
2
作者 肖应旺 杨军 +1 位作者 张承忠 杜瑛 《仪器仪表学报》 EI CAS CSCD 北大核心 2012年第12期2742-2746,共5页
基于多向主元分析(multi-way principal component analysis,MPCA)(包括主元分析(principal component analysis,PCA))的统计监控模型易受建模数据中离群点影响,将数据点的k-最近邻(k-nearest neighbor,k-NN)距离dk作为离群度指标能有... 基于多向主元分析(multi-way principal component analysis,MPCA)(包括主元分析(principal component analysis,PCA))的统计监控模型易受建模数据中离群点影响,将数据点的k-最近邻(k-nearest neighbor,k-NN)距离dk作为离群度指标能有效地发现非线性数据集中的离群点,但现有的基于该定义的鲁棒离群点检测算法对不同尺度的中心化和标准化方法非常敏感,且需要计算每个数据点的dk,引起巨大的计算开销。提出一种改进尺度的近邻修剪(modified scale neighborhood pruning,MSNHP)高效鲁棒离群点检测算法用于对统计监控建模数据集的预处理。该算法利用改进尺度得到离线建模正常数据的均值和标准差,并对数据进行中心化和标准化处理;在每次dk查询过程中计算出其他点的dk上界用于直接修剪非离群点,以减少dk查询的次数;并通过优化搜索次序提高修剪效果和减少每次dk查询的计算开销。将该算法应用于β-甘露聚糖酶发酵间歇过程离群点检测,与其他鲁棒离群点检测算法相比,应用结果表明该算法明显减少了计算开销,对数据集数据个数和算法参数都具有更好的伸缩性。 展开更多
关键词 改进尺度的近邻修剪 高效鲁棒离群点检测 统计监控建模 数据预处理
下载PDF
多波束测深异常的两种趋势面检测算法比较 被引量:10
3
作者 王海栋 柴洪洲 +1 位作者 翟天增 阎成赟 《海洋通报》 CAS CSCD 北大核心 2010年第2期182-186,共5页
利用三次样条插值算法模拟海底地形曲面,并加入高斯白噪声和不同数量的异常值作为多波束测深数据模拟值。分别基于最小二乘估计和高崩溃污染率抗差估计两种算法建立趋势面模型,通过各自的异常值标定准则对模拟数据进行测深异常检测,比... 利用三次样条插值算法模拟海底地形曲面,并加入高斯白噪声和不同数量的异常值作为多波束测深数据模拟值。分别基于最小二乘估计和高崩溃污染率抗差估计两种算法建立趋势面模型,通过各自的异常值标定准则对模拟数据进行测深异常检测,比较和分析了两种算法的处理结果,并得出相应结论。最后,利用上述两算法对多波束实测数据进行处理,结果表明,经高崩溃污染率抗差趋势面异常值检测后的数据能够更为准确地反映海底的真实情况。 展开更多
关键词 多波束测深 异常值检测 抗差趋势面 最小二乘趋势面 高崩溃污染率 海底模拟
下载PDF
社群演化的稳健迁移估计及演化离群点检测 被引量:3
4
作者 胡云 王崇骏 +2 位作者 谢俊元 吴骏 周作建 《软件学报》 EI CSCD 北大核心 2013年第11期2710-2720,共11页
时序数据集中的社群演化模式是网络行为动力学研究与应用的重要领域.基于社群演化的离群点检测不仅能够发现新颖的异常行为模式,同时也有利于更准确地理解社群的演化趋势.运用成员关于社群隶属关系的变化,提出了社群演化迁移矩阵的概念... 时序数据集中的社群演化模式是网络行为动力学研究与应用的重要领域.基于社群演化的离群点检测不仅能够发现新颖的异常行为模式,同时也有利于更准确地理解社群的演化趋势.运用成员关于社群隶属关系的变化,提出了社群演化迁移矩阵的概念,研究并揭示了迁移矩阵的若干性质及其与社群结构演化之间的关系.在采用稳健回归M-估计方法进一步优化迁移矩阵降低异常点干扰的同时,对社群演化离群点加以刻画和定义.鉴于复杂网络包含大量随机游走的边缘个体,所定义的离群点综合考虑其在社群中角色的变化和相对于社群总体迁移模式的差异.基于上述思想提出的演化离群点检测算法能够适应各类社群演化趋势,更有效地聚焦和发现大规模社会网络中重要成员的异常演化行为.实验结果表明,所提出的方法能够从大规模社会网络演化序列中发现重要的离群演化模式,并在现实中找到合理的解释. 展开更多
关键词 时序数据集 社群演化 迁移矩阵 稳健回归 离群点检测算法
下载PDF
统计监控建模数据预处理离群点检测算法 被引量:5
5
作者 肖应旺 杨军 +2 位作者 张承忠 姚美银 杜瑛 《控制工程》 CSCD 北大核心 2013年第4期756-761,共6页
针对基于多向主元分析(Multi-way Principal Component Analysis,MPCA)(包括主元分析(Principal Component Analysis,PCA)的统计监控模型易受建模数据中离群点影响的不足,通过对各种不同尺度的中心化和标准化方法及鲁棒离群点检测算法... 针对基于多向主元分析(Multi-way Principal Component Analysis,MPCA)(包括主元分析(Principal Component Analysis,PCA)的统计监控模型易受建模数据中离群点影响的不足,通过对各种不同尺度的中心化和标准化方法及鲁棒离群点检测算法的对比研究,提出了一种基于改进尺度的中心最短距离/椭球多变量整理(Closest Distance to Center/ellipsoidal Multivariate Trimming,CDC/MVT)的建模数据离群点去除算法。该算法首先利用改进尺度得到离线建模正常数据的均值和标准差,并对数据进行中心化和标准化处理;然后利用CDC算法找出建模历史数据中最一致的一半正常点;最后用这最一致的一半正常点初始化MVT的马氏距离的均值和协方差,并通过迭代计算得到其他的正常点。将该算法应用于β-甘露聚糖酶发酵间歇过程离群点的去除,与其他鲁棒离群点检测算法相比,应用结果表明该算法能有效地去除建模数据中的离群点。 展开更多
关键词 鲁棒离群点检测算法 多元统计监控建模 数据预处理 β-甘露聚糖酶发酵间歇过程
下载PDF
基于CUBE算法的多波束测深数据自动处理研究 被引量:6
6
作者 王海栋 柴洪洲 《海洋通报》 CAS CSCD 北大核心 2011年第3期246-251,共6页
对CUBE算法自动处理多波束测深数据的模型建立、格网节点的多重估计和最优估值选取准则进行了详细介绍,深入分析了多重估计的实用性,并通过实测数据对该算法进行实现。利用了抗差Kalman滤波改进CUBE算法。通过模拟数据对改进的CUBE算法... 对CUBE算法自动处理多波束测深数据的模型建立、格网节点的多重估计和最优估值选取准则进行了详细介绍,深入分析了多重估计的实用性,并通过实测数据对该算法进行实现。利用了抗差Kalman滤波改进CUBE算法。通过模拟数据对改进的CUBE算法进行实验,验证了算法改进的必要性。 展开更多
关键词 多波束测深 CUBE算法 抗差估计 KALMAN滤波 异常值检测 规则格网
下载PDF
基于遗传算法的高维离群点检测算法的改进 被引量:5
7
作者 施冬冬 贾瑞玉 黄义堂 《计算机技术与发展》 2009年第3期141-143,147,共4页
离群点检测在欺诈检测、网络鲁棒性分析和入侵检测等领域有着重要的应用。Aggarwal和Yu提出的基于子空间投影和遗传算法(GA)的离群点检测方法是处理高维数据的一个有效方法。由于该算法的交叉重组过程采用贪心策略选择子串,并且随着变... 离群点检测在欺诈检测、网络鲁棒性分析和入侵检测等领域有着重要的应用。Aggarwal和Yu提出的基于子空间投影和遗传算法(GA)的离群点检测方法是处理高维数据的一个有效方法。由于该算法的交叉重组过程采用贪心策略选择子串,并且随着变异概率的改变可能导致发现不了一些有意义的离群数据。文中对该算法的交叉过程和变异过程进行改进,提出一种改进的算法,提高了检测的精度并且不受变异概率改变的影响。 展开更多
关键词 离群点检测 高维数据 遗传算法 交叉 变异
下载PDF
谐波检测算法中高性能数字低通滤波器的设计 被引量:12
8
作者 白杨 杨家强 曾争 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2013年第1期169-173,共5页
针对有源电力滤波器(APF)的时域谐波检测算法,提出能够兼顾动态响应和滤波精度的高性能数字低通滤波器(HPLPF).在分析比较常用的无限长单位冲击响应滤波器(IIR)和滑动平均滤波器(MA)的特性后,采用优化级联的方式,构成高性能数字低通滤波... 针对有源电力滤波器(APF)的时域谐波检测算法,提出能够兼顾动态响应和滤波精度的高性能数字低通滤波器(HPLPF).在分析比较常用的无限长单位冲击响应滤波器(IIR)和滑动平均滤波器(MA)的特性后,采用优化级联的方式,构成高性能数字低通滤波器,利用巴特沃斯滤波器滤波精度高的特点以达到较高的滤波精度;利用滑动平均滤波器过渡带窄、动态响应快的特点以达到较快的动态响应.仿真分析表明,在存在间谐波的复杂谐波电流情况下,所设计的高性能数字低通滤波器能够更好地满足时域谐波检测算法的需求. 展开更多
关键词 有源电力滤波器(APF) 谐波检测算法 高性能数字低通滤波器(HPLPF) 滑动平均滤波器 巴特沃斯滤波器
下载PDF
小样本下捷联惯组综合性能评估方法 被引量:1
9
作者 焦巍 周江华 刘光斌 《弹箭与制导学报》 CSCD 北大核心 2005年第SA期391-393,共3页
惯性测量组合是导弹控制系统的核心,它的性能对导弹射击精度有显著影响,文中将着重讨论小样本情况下进行捷联惯组综合性能评估的方法,以及如何精选惯组的问题。最后建立通用的评估软件系统(IMUAns),为相关人员的决策和理论分析提供依据。
关键词 性能评估 评估算法 异常样本检测
下载PDF
基于稳健S估计的长江流域气象异常值检测 被引量:5
10
作者 金百锁 李炽坤 《中国科学技术大学学报》 CAS CSCD 北大核心 2018年第11期869-876,共8页
高维数据如气象数据中不可避免地存在异常值,应用最广泛的最小二乘法在识别异常值上不具有稳健性和灵敏度.稳健估计方法可使求出的估计量不受异常数据的强烈影响,从而能更好地识别异常点.这里给出了基于稳健S估计的主成分分析模型,其中... 高维数据如气象数据中不可避免地存在异常值,应用最广泛的最小二乘法在识别异常值上不具有稳健性和灵敏度.稳健估计方法可使求出的估计量不受异常数据的强烈影响,从而能更好地识别异常点.这里给出了基于稳健S估计的主成分分析模型,其中加入Tukey的双权型函数约束条件.该模型无须对数据分布函数的具体形式做假设,算法的收敛速度较快.之后再结合B样条函数对数据作平滑处理,以平均残差平方和为检验统计量,使用同样具有稳健性的调优箱型图作为判别异常值的界限.实证分析采用了我国长江流域5个城市60多年共约58 000条气象数据,分别运用PCA方法和基于稳健S估计的异常值判别方法对该数据集进行了对比分析.可以明显地看出,相比传统方法,基于稳健S估计的异常值判别方法更突出地给出关于异常值的信息,能更好地识别异常值. 展开更多
关键词 稳健估计 主成分分析 异常值检测 高维数据 降维
下载PDF
基于自适应抗野值Kalman滤波技术的卫星导航接收机授时方法 被引量:3
11
作者 何伟 廉保旺 杨琼 《西北工业大学学报》 EI CAS CSCD 北大核心 2014年第3期378-381,共4页
在高动态与强干扰条件下,卫星导航接收机码跟踪环路与载波跟踪环路会出现异常抖动进而影响卫星导航接收机的授时精度,针对这一问题提出了一种新的基于抗野值Kalman滤波技术的卫星导航接收机授时方法。该方法可以有效消除码环与载波环的... 在高动态与强干扰条件下,卫星导航接收机码跟踪环路与载波跟踪环路会出现异常抖动进而影响卫星导航接收机的授时精度,针对这一问题提出了一种新的基于抗野值Kalman滤波技术的卫星导航接收机授时方法。该方法可以有效消除码环与载波环的异常抖动对解算出的卫星钟差的影响,并且对连续出现的野值也有很好的剔除效果。同时该授时方法还可以有效地对卫星导航接收机的晶振频率误差进行估计,进而对1PPS(pulse per second)信号发生器的频率控制字进行调整,提高系统的授时精度。经过实验验证,该授时方法可以有效提高卫星导航接收机的授时精度以及授时系统的鲁棒性。 展开更多
关键词 适应Kalman滤波 抗野值 卫星导航 高精度授时
下载PDF
高维离群检测算法及其应用
12
作者 鞠可一 周德群 张玉强 《系统工程》 CSCD 北大核心 2008年第11期116-122,共7页
离群检测的目的在于找出隐含在海量数据中相对稀疏而孤立的异常数据模式。由于高维数据的特殊性,传统的离群挖掘算法往往不适合发掘高维空间中的离群点。本文将蚁群算法用于改进超图模型,提出了一种新的离群检测算法——AHHDOD算法,在... 离群检测的目的在于找出隐含在海量数据中相对稀疏而孤立的异常数据模式。由于高维数据的特殊性,传统的离群挖掘算法往往不适合发掘高维空间中的离群点。本文将蚁群算法用于改进超图模型,提出了一种新的离群检测算法——AHHDOD算法,在检测出离群数据模式的同时给出离群点的归属。经检验,该算法能有效收敛于最优解,且其时间复杂度更低。最后,将该方法应用于矿难预警检测中,能对可能出现的危机状况给出预警提示。实验证明,该方法取得的预警结果是可信的和可接受的。 展开更多
关键词 蚁群算法 超图 高维数据 离群检测 矿难预警
下载PDF
基于网格划分的高维大数据集离群点检测算法研究 被引量:2
13
作者 赵伯鑫 《中小企业管理与科技》 2018年第7期139-140,共2页
数据挖掘技术的快速发展,有效带动了各个领域的发展,而离群点检测技术,作为数据挖掘技术中的重要组成,自然也成为了社会各界关注的主要课题之一。该检测方式属于数据挖掘知识中的重要研究方向,像电子商务欺诈行为检测等,都属于其检测范... 数据挖掘技术的快速发展,有效带动了各个领域的发展,而离群点检测技术,作为数据挖掘技术中的重要组成,自然也成为了社会各界关注的主要课题之一。该检测方式属于数据挖掘知识中的重要研究方向,像电子商务欺诈行为检测等,都属于其检测范畴。论文将重点就以网格划分为基础的高维大数据集离群点检测算法展开深度研究,期望能够为国内离群点研究工作发展,提供一定助力。 展开更多
关键词 离群点检测 检测算法 网络划分 高维大数据
下载PDF
时序IO与AO型异常值稳健联合检测法及其应用 被引量:6
14
作者 王志坚 王斌会 《统计与决策》 CSSCI 北大核心 2019年第7期13-16,共4页
文章分析了基于假设检验的时间序列IO、AO型异常点检测法的不稳健性,并在此基础上构建了IO、AO型异常点稳健联合检测法。模拟和实证分析均表明:相比于传统检测法,提出的稳健联合检测法对异常点检测能力显著提高,并且能更好地捕捉到我国... 文章分析了基于假设检验的时间序列IO、AO型异常点检测法的不稳健性,并在此基础上构建了IO、AO型异常点稳健联合检测法。模拟和实证分析均表明:相比于传统检测法,提出的稳健联合检测法对异常点检测能力显著提高,并且能更好地捕捉到我国金融市场的异常特点。 展开更多
关键词 IO型异常点 AO型异常点 稳健联合检测算法 金融时间序列
下载PDF
基于离群点检测的高压并联电抗器本体电流互感器测量异常故障在线诊断 被引量:17
15
作者 滕予非 吴杰 +2 位作者 张真源 姜振超 黄琦 《电工技术学报》 EI CSCD 北大核心 2019年第11期2405-2414,共10页
为提升高压并联电抗器过电流在线监测系统的准确度,提出了基于离群点检测的高压并联电抗器本体电流互感器测量异常故障在线诊断方法。首先,利用Sigmoid函数对母线特定电压条件下电抗器过电流报警信号条件概率与母线电压有效值间的函数... 为提升高压并联电抗器过电流在线监测系统的准确度,提出了基于离群点检测的高压并联电抗器本体电流互感器测量异常故障在线诊断方法。首先,利用Sigmoid函数对母线特定电压条件下电抗器过电流报警信号条件概率与母线电压有效值间的函数关系进行拟合,并选取函数中心点及不确定域作为特征指标,构成二维关键特征数据点(KCDP),用以进行故障诊断。其次,将正常工况下获得的多个关键特征数据点以及检测日关键特征数据点构成诊断数据集,利用孤立森林算法对其进行离群点检测,计算集合中每个关键特征数据点的异常分数。最后,假设正常工况下关键特征数据点的异常分数满足威布尔分布,基于分布的置信区间给出了高压并联电抗器本体电流互感器测量异常故障的诊断判据。某实际500kV高压并联电抗器算例,验证了方法的有效性。 展开更多
关键词 高压并联电抗器 离群点检测 孤立森林算法 条件概率 威布尔分布
下载PDF
一种用于高频雷达探测性能评估的方法 被引量:3
16
作者 李晓东 于长军 +1 位作者 陈磊 杨旭光 《雷达科学与技术》 北大核心 2015年第6期587-591,共5页
不同于常规微波雷达,高频地波雷达的体制和工作特点使其探测性能受到外部环境和众多分机指标的影响。因此,需要进行全面的性能评估使其发挥最大作用。根据高频地波雷达的特点,首先基于层次分析法建立了完整的高频地波雷达探测性能评估体... 不同于常规微波雷达,高频地波雷达的体制和工作特点使其探测性能受到外部环境和众多分机指标的影响。因此,需要进行全面的性能评估使其发挥最大作用。根据高频地波雷达的特点,首先基于层次分析法建立了完整的高频地波雷达探测性能评估体系,再利用遗传算法对一致性判断矩阵进行寻优改进,从而克服了传统方法中判断矩阵的权重向量获取与一致性检验分开进行的缺点,提高了算法的稳健性和结果的精确度。经过实验验证,改进的层次分析评估法能有效地提高评估的准确性和可信度,具有一定的实际应用价值。 展开更多
关键词 高频地波雷达 层次分析法 探测性能评估 遗传算法
下载PDF
学生行为数据与学业成绩的关系研究——基于离群点检测算法 被引量:1
17
作者 王洪亮 赵圆圆 《石家庄职业技术学院学报》 2023年第2期35-40,共6页
以S高校的校园一卡通数据为基础,通过对数据进行预处理并构建预测指标体系,使用基于聚类的离群点检测算法从多个角度对学生校园行为数据进行挖掘,并对学生行为与学业成绩的相关性进行分析.结果表明,每天用餐是否规律、进入图书馆的次数... 以S高校的校园一卡通数据为基础,通过对数据进行预处理并构建预测指标体系,使用基于聚类的离群点检测算法从多个角度对学生校园行为数据进行挖掘,并对学生行为与学业成绩的相关性进行分析.结果表明,每天用餐是否规律、进入图书馆的次数、借阅图书的次数、吃早饭次数之和与学业成绩具有强相关性.基于决策树算法构建了学业成绩预测模型,实现了对学生学业成绩预警.建议教学部门或教育管理者除了关注学生上课情况和学科成绩外,还应积极引导学生养成健康、规律、热爱阅读的生活方式. 展开更多
关键词 离群点检测算法 学生行为数据 学业成绩 预测
原文传递
基于软超球体的高维非线性数据异常点识别算法 被引量:2
18
作者 徐钢 张晓彤 +1 位作者 黎敏 徐金梧 《工程科学学报》 EI CSCD 北大核心 2017年第10期1552-1558,共7页
在冶金、化工等流程型工业领域,生产中的过程控制参数往往具有高维非线性结构特征.为了解决这类高维复杂数据的异常点检测问题,本文引入了软超球体的概念,采用非线性核函数将原始数据映射到高维的特征空间,并在特征空间中确定软超球体... 在冶金、化工等流程型工业领域,生产中的过程控制参数往往具有高维非线性结构特征.为了解决这类高维复杂数据的异常点检测问题,本文引入了软超球体的概念,采用非线性核函数将原始数据映射到高维的特征空间,并在特征空间中确定软超球体的边界.通过检测待识别样本映射到特征空间的位置信息来判定过程参数的设定值是否为异常点,从而避免出现批量的产品质量问题.以某类汽车用钢为应用实例,对实际生产数据进行检测,证明了所提出的基于软超球体的异常点识别算法对于高维的非线性数据具有良好的检测能力. 展开更多
关键词 软超球体 高维非线性数据 异常点识别 核映射
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部