基于MOPSO算法改进的异常点检测方法

挖掘工业大数据的隐含价值是智能制造的一个重要研究方向,针对工业大数据特点开展异常点检测是实现数据分析的前提。首先,介绍了工业大数据异常点检测解决的主要问题,提出相关定义。其次,基于多目标粒子群算法(MOPSO),提出一种工业大数据异常点检测的改进DBSCAN模型,介绍了模型的算法设计思想、算法步骤,完成了算法伪代码的编写,并提出了算法时间复杂度的计算方法。最后,通过某电芯工厂制造数据,进行了模型仿真与实验,经实验验证,所提模型提高了工业大数据异常点检测的准确率,为数据挖掘在工业异常点检测中的应用提供了参考。

基于MARS和概率规划的离群值检测算法

为提高物联网数据质量,提出一种基于MARS模型和概率规划的多变量离群值检测方法。该方法能够将多个变量结合起来,通过一个模型检测离群值。创建一个多元自适应回归样条模型产生研究化的残差,将残差作为输入,采用概率规划方法,建立基于全贝叶斯推理的一般单变量离群点检测模型。实验结果表明,概率规划模型能检测出更准确的离群点,该模型提供了具有可信区间的概率分布。

基于大数据挖掘的配电网低电压台区线损诊断

配电网低电压台区存在细化线损诊断、窃电值诊断等问题,且单个数据诊断面临较大困难,为此提出基于大数据挖掘的配电网低电压台区线损诊断方法。利用决策树归纳分析法,构建低电压台区数据分析模型,基于大数据挖掘技术实施配电网低电压台区线损数据的挖掘,通过离群点算法实现线损数据的挖掘。设计配电网低电压台区线损诊断平台,实现线损诊断的目的。实验结果表明设计方法台区可监测率最高可达97.62%,台区可诊断率最高可达94.65%,对于各种线损都有着良好的诊断性能,能够实现窃电现象的监控。

高维空间中的离群点发现

在许多KDD(knowledge discovery in databases)应用中,如电子商务中的欺诈行为监测,例外情况或离群点的发现比常规知识的发现更有意义.现有的离群点发现大多是针对数值属性的,而且这些方法只能发现离群点不能对其含义进行解释.提出了一种基于超图模型的离群点(outlier)定义,这一定义既体现了“局部”的概念能很好地解释离群点的含义.同时给出了HOT(hypergraph-based outlier test)算法,通过计算每个点的支持度、隶属度和规模偏差来检测离群点.该算法既能够处理数值属性,又能够处理类别属性.分析表明,该算法能有效地发现高维空间数据中的离群点.

基于距离的不确定离群点检测

在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术.这项技术在确定性数据中已经得到了深入的研究,但在新兴的不确定数据领域却是一项新的研究课题.在无线传感器网络、数据集成和数据挖掘等技术中使用不确定数据模型更能真实反映现实世界,进一步提高这些技术的实际可行性.针对不确定数据,提出新的离群点定义.提出基于距离的不确定数据离群点检测的高效过滤方法,包括基础过滤方法b-RFA和改进方法o-RFA,最后提出高效概率计算方法DPA.b-RFA方法利用非离群点的过滤性质,减少检测次数.o-RFA方法通过挖掘数据分布信息对b-RFA方法作出改进,进一步提高过滤效率.DPA方法找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低搜索空间,改善在不确定数据上的查询性能.

基于MRF场的SAR图像分割方法

提出了一种基于 MRF(Markov Random field)模型的 SAR(Synthetic Aperture Radar)图像分割算法。本算法利用 ICM(Iterative Conditional Mode)局部优化方法 ,获得 MAP(maximum aposteriori)准则下的图像分割结果 ,并引入了剔除外层数据的机制。用 MSTAR(Moving and Sta-tionary Target Acquisition and Recognition)数据进行实验 ,结果表明 ,算法能有效减少斑点噪声的影响 ,将图像分割为目标、阴影、背景三部分 ,实验结果是令人满意的。

基于有权重超图模型的离群点发现

结合基于有权重支持度框架的关联规则挖掘方法和基于超图模型的离群点检测方法,给出了一种离群数据的改进定义,并通过一个简单的实例说明了这种离群数据的离群含义,且与原离群点定义做了比较,分析了新定义离群数据的应用价值.

基于密度的不确定数据离群点检测研究

针对不确定数据集进行离群点检测,设计了基于密度的不确定数据的局部离群因子(Uncertain Local Outlier Factor,ULOF)算法。通过建立不确定数据的可能世界模型来确定不确定对象在可能世界中的概率。结合传统的LOF算法推导出ULOF算法,根据ULOF值判断不确定对象的局部离群程度;然后对ULOF算法的效率性和准确性进行了详细分析,提出了基于网格的剪枝策略、k最近邻查询优化来减少数据的候选集;最后通过实验证明了ULOF算法对不确定数据检测的可行性和效率性,优化后的方法有效地提高了异常检测准确率,降低了时间复杂度,改善了不确定数据的异常检测性能。

转炉终点预测模型中异常数据检验的研究

针对转炉终点神经网络预测模型数据预处理过程中多变量、大样本的特点,介绍并应用了一种识别及检验异常数据的方法;筛选了神经网络模型的数据样本集数据;并初步验证了筛选结果。经过筛选,神经网络预测模型训练集数据训练误差绝对值的平均值及最大值分别下降了26.7%和41%;测试集数据测试误差的平均值及最大值分别下降10%和45%。结果表明,该方法对于转炉预测模型的数据筛选行之有效,对转炉预测模型的进一步完善有一定的实用价值。

基于灰色关联度-云模型的群评价数据质量改进方法及应用研究

针对群评价中的数据质量问题,从评价专家和评价值两个角度进行了异常数据处理,提出了基于灰色关联度-云模型的群评价数据质量改进方法。基于改进的云距离模型测算被评价对象云和目标云之间的差距,采用TOPSIS法进行评价排序。将数据质量改进方法和云距离模型用于区域物流竞争力群评价,改进了群评价的数据质量,提高了评价结果的稳定性和代表性。

统计监控建模离群点检测数据预处理高效算法

基于多向主元分析(multi-way principal component analysis,MPCA)(包括主元分析(principal component analysis,PCA))的统计监控模型易受建模数据中离群点影响,将数据点的k-最近邻(k-nearest neighbor,k-NN)距离dk作为离群度指标能有效地发现非线性数据集中的离群点,但现有的基于该定义的鲁棒离群点检测算法对不同尺度的中心化和标准化方法非常敏感,且需要计算每个数据点的dk,引起巨大的计算开销。提出一种改进尺度的近邻修剪(modified scale neighborhood pruning,MSNHP)高效鲁棒离群点检测算法用于对统计监控建模数据集的预处理。该算法利用改进尺度得到离线建模正常数据的均值和标准差,并对数据进行中心化和标准化处理;在每次dk查询过程中计算出其他点的dk上界用于直接修剪非离群点,以减少dk查询的次数;并通过优化搜索次序提高修剪效果和减少每次dk查询的计算开销。将该算法应用于β-甘露聚糖酶发酵间歇过程离群点检测,与其他鲁棒离群点检测算法相比,应用结果表明该算法明显减少了计算开销,对数据集数据个数和算法参数都具有更好的伸缩性。

基于衰减模型的混合属性数据流离群检测

数据流离群检测因内存容量限制和实时检测需求而成为离群检测的一个难点。介绍了一种快速混合属性数据流离群检测算法。在衰减模型下增量聚类数据流,生成代表数据分布的聚类特征集合,半径阈值动态变化;当接收到检测请求时,计算满足条件的每个簇的离群因子,具有高离群因子的簇作为结果输出。同时提出了一种可有效区分离群簇与数据进化初始阶段的方法。算法的时间与空间复杂度同数据流规模近似成线性关系,在真实数据集上的实验结果显示,该算法可有效检测混合属性数据流中的离群点。

统计监控建模数据预处理离群点检测算法

针对基于多向主元分析(Multi-way Principal Component Analysis,MPCA)(包括主元分析(Principal Component Analysis,PCA)的统计监控模型易受建模数据中离群点影响的不足,通过对各种不同尺度的中心化和标准化方法及鲁棒离群点检测算法的对比研究,提出了一种基于改进尺度的中心最短距离/椭球多变量整理(Closest Distance to Center/ellipsoidal Multivariate Trimming,CDC/MVT)的建模数据离群点去除算法。该算法首先利用改进尺度得到离线建模正常数据的均值和标准差,并对数据进行中心化和标准化处理;然后利用CDC算法找出建模历史数据中最一致的一半正常点;最后用这最一致的一半正常点初始化MVT的马氏距离的均值和协方差,并通过迭代计算得到其他的正常点。将该算法应用于β-甘露聚糖酶发酵间歇过程离群点的去除,与其他鲁棒离群点检测算法相比,应用结果表明该算法能有效地去除建模数据中的离群点。

使用日志的异常检测

提出了使用日志的孤立点分析方法,对日志数据进行预处理,确立合适的挖掘粒度,刻画出正常模式。改进的方法可对规模较大的数据集进行异常检测时,在降低误报率的同时,大大提高了检测率,并达到理想的时间效率。使系统定期分析用户日志,从其自动找到可疑的日志,及时预防或者处理非法操作的现象,提高检测系统的智能化、准确性和检测效率。

模糊数据中异常点的一种识别方法

针对输入为确定数、输出为LR型模糊数的模糊数据集,利用最小二乘法建立了该模糊数据集的模糊线性回归分析模型及参数估计,用数据删除的方法研究了数据删除模糊线性回归模型,构造了统计诊断量—模糊Cook距离来识别模糊数据集中的异常点,通过数值模拟和对实例的研究,识别出其异常点,证实了本文构造的统计诊断量的有效性.

厚表土层井壁工程实测附加应变时序分析

针对某矿主井井壁工程实测附加应变序列,建立了两类异常值模型,并运用自行设计的井壁应变处理软件对其进行了预处理,在此基础上对附加应变序列进行了ARMA和AR模型的时序分析和预报,预报结果能很好的反应附加应变的发展规律,为井壁的安全评价提供了必要依据。这一方法可以在类似矿井井壁工程实测附加应变处理分析中推广应用。

基于MRCD估计的多元线性回归模型的稳健估计

含异常值的数据和高维数据越来越频繁地出现,对现有的稳健估计和多元线性回归估计方法提出了挑战。传统的多元线性回归模型估计对异常值非常敏感,基于MCD估计方法的多元线性回归估计对异常值有一定的抵御作用。但随着数据维数的增加,MCD估计的精度不断降低,稳健性也随之降低,且当数据维数大于样本量时MCD估计方法失效。因此,本文利用MRCD的均值向量和协方差矩阵估计,提出了基于MRCD估计方法的高维稳健多元线性回归模型估计。数值模拟的结果表明,基于MRCD估计方法的多元线性回归模型估计能很好地抵御异常值,且在数据维数大于样本量的情况下,基于MRCD估计方法的多元线性回归估计更为有效。实证分析的结果表明,基于MRCD方法的多元线性回归估计能更好地抵御异常值并得到更好的预测效果。

适应于纵数据的随机效应模型中参数的局部影响诊断

本文根据纵数据既包含个体又包含个体不同状态的特点 ,针对适应于纵数据的随机效应模型提出两种便于合理分析数据的扰动方案 ,并给出扰动对参数估计局部影响的各种计算公式和寻找影响点的方法 .通过对 Cambridge过滤嘴中提取尼古丁含量的实验室间数据进行分析表明我们的分析结果不但包含了以前许多学者用不同的方法对这组数据所进行的所有有关影响点方面的分析结果 。

时空加权回归模型的影响分析

基于数据删失模型,探讨各组观测数据对模型拟合的影响程度,给出Cook统计量;基于均值漂移模型,利用两步估计法对模型进行拟合,研究异常点检验问题,并构造检验统计量.

基于离群因子的不确定数据生成算法

基于不确定数据的表示模型,针对属性级不确定数据,提出一种不确定数据生成算法AC-UDGen(attribute level continuous uncertain data set generation algorithm).该算法通过引入离群点检测-LOF(local outlier factor)算法,用每个数据对象的离群因子作为参数来控制不确定数据对象的扰动范围,可很好地满足原始数据的分布特征,解决了目前工作中缺乏原始数据分布特征的问题.实验结果表明,该算法生成的不确定数据集具有更好的聚类效果,并降低了离群点对聚类结果的影响,使每个数据对象MBR(minimum bounding rectangle)的大小可根据自身的分布特征自适应地变化.