基于局部信息熵的智能电网数据离群点识别

识别智能电网数据离群点能够准确地确定智能电网数据对象,但是目前提出的识别方法识别精准度较差,识别效率较低。为此,基于局部信息熵研究了一种新的智能电网数据离群点识别方法,通过方差定义选取优选空间,确定优选空间集阈值进行数据加权处理,计算优选空间信息熵;通过无量化处理判断临界点数值,得到子空间最优范围。检索与分析离群状态变化情况,计算离群因子,根据概率值增强算法对冗余数据的甄别能力,删除离群点冗余数据,将平均值计入值域,实现智能电网数据离群点识别。实验结果表明,所研究方法精准度最终能够达到95%,识别效率在90%以上。

基于离群指数的时序数据离群挖掘

离群数据挖掘(Outlier mining,简称离群挖掘)是数据挖掘的重要内容.该文针对时序数据进行离群数据挖掘方法的研究,提出了离群指数的概念,在此基础上设计了时序数据离群数据挖掘算法,并对某钢铁企业电力负荷时序数据进行离群数据挖掘,结果表明了算法的有效性.

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法。该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高。

基于时间序列的局部离群数据挖掘优化算法

针对数据量较大和数据维度较高导致离群数据挖掘困难的问题,提出基于时间序列的局部离群数据挖掘优化算法。将角度优化的全局嵌入算法和共同核主成分分析法相结合构建AOCKPCA降维算法,对海量高维时间序列降维处理;在蚁群算法中引入K-means算法,提升蚁群算法运算效率,降低不稳定性;将降维后的时间序列输入到优化后算法中,实现局部离群数据挖掘。实验结果表明,采用所提方法挖掘离群数据的准确率较高,误判的离群点个数较少,说明其挖掘效果较好。

PLC中建立离群数据算法模型在光缆生产绞合线上的应用

生产中扎纱装置高速旋转,纱线的断开不易发现,传统的成绞扎纱设备没有合理有效的检测装置,导致套管在过绞合装置、扎纱装置时断纱误报警或报警不及时。由于设备以65m/min的速度高速运转,断纱的产生如不及时发现,将对后续护套生产工序的生产产生很大的安全隐患,导致非标产品,即浪费原料成本、人工成本,同时也影响产品的产能,不利于生产。通过PLC采集扎纱电机和纱团电机速度信号利用其生产的工艺原理,在PLC对扎纱电机与纱团电机速度信号做离群数据分析算法模型,发出报警信号并控制安装所述断纱检测装置的装置停机。

基于概念格的天体光谱离群数据识别方法

在宇宙中,寻求特殊的、未知的天体是人类探索宇宙奥妙所追求的目标之一,天体光谱离群数据识别方法是实现该目标的有效手段之一.将概念格中每个概念节点内涵描述为天体光谱数据特征子空间,提出了一种天体光谱离群数据识别方法.首先将概念节点的内涵缩减看作天体光谱特征子空间,并依据稀疏度系数阈值确定稀疏子空间;其次对于稀疏子空间,依据稠密度系数判定祖先概念节点内涵是否为稠密子空间,进而判断出概念节点外延中包含的数据对象是否为天体光谱离群数据;最后以离散化天体光谱数据作为形式背景,实验验证了利用该方法识别出的天体光谱离群数据是准确的、完备的和有效的。

快速的基于单元格的离群数据挖掘算法

针对数据集中离群数据的挖掘速度的问题,提出了快速的基于单元格的离群数据挖掘算法。该算法根据网格的特点首先将数据划分成若干空间单元,从而减少区域查询次数,提高离群数据的挖掘速度,然后根据单元格的阈值来判定一个数据是否为离群数据。通过数据测试表明,该算法能够快速有效地挖掘出数据集中的离群数据。

基于MapReduce与相关子空间的局部离群数据挖掘算法

针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.

基于单元的快速的大数据集离群数据挖掘算法

提出基于单元的快速的大数据集离群数据挖掘算法,用聚簇技术对数据进行预处理,然后将数据放入合适的空间单元并对非空单元使用维单元树(cell dimension tree,CD-tree)进行索引,数据集中大部分位于高密度区且与离群数据无关的数据将会被过滤掉,从而避免了大量不必要的计算。实验表明,该算法能快速准确地从大数据集中挖掘出离群数据,并提高离群数据的检测速度。

一种时序数据的离群数据挖掘新算法

离群数据挖掘是数据挖掘的重要内容 ,针对时序数据进行离群数据挖掘方法的研究。首先通过对时序数据进行离散傅立叶变换将其从时域空间变换到频域空间 ,将时序数据映射为多维空间的点 ,在此基础上 ,提出一种新的基于距离的离群数据挖掘算法。对某钢铁企业电力负荷时序数据进行仿真实验 。

相关子空间中的局部离群数据挖掘算法研究

针对高维数据集,采用局部稀疏差异和局部密度差异的度量因子,给出一种相关子空间中的局部离群数据挖掘算法.该算法根据K最近邻(K-NN),确定数据集中各数据对象的局部数据集,并依据属性值的稀疏因子生成全局的稀疏因子矩阵和局部稀疏因子矩阵,从而有效地反映了数据对象的局部稀疏程度;根据局部稀疏因子矩阵,计算属性维对应的局部稀疏差异因子,并确定数据对象对应的子空间定义向量,从而体现了具有任意性相关的相关子空间;如果数据对象存在相关子空间,则采用高斯误差函数体现相关子空间中各数据对象的局部密度差异,有效地降低了"维灾"的影响,使得离群数据的度量与相关子空间的维度无关,并能够度量相关子空间的数据对象,否则设置数据对象的局部密度差异为0,表明其为正常数据;选取局部密度差异(离群程度)最大的若干数据对象作为局部离群数据;最后采用UCI和恒星光谱数据集,实验验证了该算法的有效性.

离群数据的挖掘方法研究

离群数据的挖掘是数据挖掘的一个重要部分 ,本文介绍了几个重要的离群数据挖掘方法 ,给出了一个新的基于距离的离群数据发现方法 :第 k个最近邻居法 ;其主要思想是 。

线指数特征空间内恒星光谱离群数据挖掘与分析

大规模光谱巡天将产生海量的光谱数据,为搜寻一些奇异甚至于未知类型的光谱提供了机会,对这些特殊天体的研究有助于揭示宇宙的演变规律和生命起源,巡天数据的离群数据挖掘有助于这些特殊的光谱的发现。利用线指数对光谱数据进行降维能够在尽可能多的保留光谱物理特征的同时,有效解决高维光谱数据聚类分析中运算复杂度较高的问题。提出了基于线指数特征的海量恒星光谱离群数据挖掘及分析的方法,以恒星光谱的Lick线指数作为光谱数据的特征,利用聚类搜寻离群数据的方法在海量光谱巡天数据搜寻离群数据,以此为基础并给出线指数特征空间内离群光谱数据的分析方法。实验结果证明:(1)以线指数作为光谱的特征值能快速的完成对高维光谱数据的离群数据挖掘,可以解决高维光谱数据运算复杂度高的问题;(2)该方法是在聚类结果上进行的离群数据挖掘,能够有效的挖掘出数量较少的发射线恒星、晚M型恒星、极贫金属星、缺失数据光谱等数据;(3)线指数特征空间的离群数据挖掘可以得到线指数特征空间内特殊恒星的发现规则。本文所提出的基于线指数特征的离群数据挖掘及分析方法可以应用到巡天数据的相关研究中。

基于密度的局部离群数据挖掘方法的改进

针对传统局部离群点检测算法的局限性进行了研究,提出了一种新的有效的离群数据挖掘算法。该算法在寻找数据点的近邻区域时采用了基于影响空间的局部离群点检测(INFLO)中影响空间的概念,然后在计算数据点的离群因子时,根据基于链接的离群点检测(COF)中链式距离的思想,提出了基于相似k距离邻居序列(SKDNS)的离群因子计算方法。通过对比该算法和其他经典局部离群点检测算法在不同数据分布情况下的挖掘结果,该算法比LOF、INFLO和COF算法的离群挖掘准确性更高,能有效克服LOF算法的不足,提高局部离群数据挖掘的准确性和多样性。

一种改进的基于密度的离群数据挖掘算法

利用基于密度的离群数据挖掘算法离群数据不在非离群数据指定的邻域内的特点,改进了原有的离群数据挖掘算法:首先判断数据是否在某个非离群数据指定的邻域内,如果不在,再判断其邻域内数据的个数。通过对二维空间数据测试表明,改进的算法能够快速有效地挖掘出数据集中的离群数据,速度上数倍于原来的算法。

NJW在离群数据挖掘中的应用研究

最近几年,谱聚类思想开始用于数据挖掘领域,并取得了较好的效果;离群数据挖掘是对离群点进行检测,发掘出有用知识。将谱聚类中的NJW算法成功应用到离群数据挖掘领域,并结合离群指数的概念,提出了一种适合离群数据挖掘的谱聚类算法。与原有的基于聚类的离群检测算法相比,具有更好的效率和适应性。实验验证了所提算法的有效性和可行性。

基于模糊大间隔最小球分类模型的恒星光谱离群数据挖掘方法

由于人类对宇宙的认识有限,因此,如何通过对光谱数据分析发现一些新的、特殊的天体成为天文学家面临的重要课题。目前,常见特殊天体发现方法的基本思想是利用智能分类算法对离群数据进行分析。然而,当前主流分类算法大多对离群数据不敏感,分类性能甚至受离群点影响较大,因而无法完成特殊天体发现任务。鉴于此,提出基于模糊大间隔最小球分类模型的离群数据挖掘方法,该方法利用部分一般样本和离群样本建立最小球模型,并在此基础上引入模糊技术,通过降低噪声的权重,尽量减少噪声的影响。与C-SVM,SVDD,KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性。

利用子空间划分的局部离群数据挖掘算法

目前大多数局部离群数据挖掘算法需人为事先设置参数或阈值,且难以应用到高维数据集.给出一种新的局部离群数据挖掘算法PSO-SPLOF,该算法首先将数据集划分为互不相交的子空间,利用偏斜度判断子空间划分的优劣,并采用微粒群算法搜索最优划分子空间集;其次针对每个最优划分子空间,计算其数据对象的局部离群因子SPLOF值,并用SPLOF值来度量数据对象的局部偏离程度.最后采用离散化的天体光谱数据作为数据集,实验验证了PSO-SPLOF算法具有受人为因素影响小、伸缩性强和运算效率高等优点.

基于约束概念格的天体光谱局部离群数据挖掘系统

寻找特殊的、未知的天体是人类探索宇宙奥妙所追求的目标之一,天体光谱数据挖掘是实现该目标的一种有效方法。约束概念格是一种新的概念格结构,具有构造效率高、提取知识针对性和实用性强等特点。针对天体光谱数据在特征子空间中的局部偏离,采用VC++6.0和Oracle 9i作为开发工具,设计与实现了基于约束概念格的天体光谱局部离群数据挖掘系统,并对软件模块功能和体系结构,以及天体光谱数据预处理、约束概念格构造方法、基于链表结构的概念格构造、局部离群数据挖掘方法等关键技术进行了详细描述。运行结果表明,该系统实现天体光谱数据局部离群数据挖掘是可行的、有价值的,从而为寻找未知的、特殊的天体提供了一种新途径。

面向LAMOST的天体光谱离群数据挖掘系统研究

在宇宙中寻求未知天体是人类探索宇宙奥妙所追求的目标之一,离群数据挖掘是发现未知天体光谱数据的一种有效途径。文章首先以VC++和Oracle9i为开发工具,设计与实现了面向LAMOST的恒星光谱离群数据挖掘系统,并给出了其软件体系结构和模块功能。其次,对基于中值滤波器的恒星光谱数据预处理、基于距离的恒星光谱数据聚类、基于距离支持度的恒星光谱数据离群数据挖掘、基于主分量分析法PCA的恒星光谱数据离群数据的三维可视化等主要关键技术进行了详细描述。最后,基于SDSS恒星光谱数据的运行结果表明,利用该系统寻找天体光谱离群数据是可行的,从而为寻找未知的、特殊的天体光谱数据提供了一种新途径。