支持k-离群度的边界点检测方法

边界是一种有用的模式,为了有效识别边界,根据边界点周围密度不均匀,提出了一种边界点检测算法——BDKD。该算法用数据对象的k-近邻距离与其邻域内数据对象的平均k-近邻距离之比定义其k-离群度,当k-离群度超过阈值时即确定为边界点。实验结果表明,BDKD算法可以准确检测出各种聚类边界,并能去除噪声,特别是对密度均匀的数据集效果理想。

基于局部离群因子的电力计量数据异常值自动化监测系统

针对电力计量数据异常导致的电力系统故障,提出基于局部离群因子的电力计量数据异常值自动化监测系统。该系统集成多传感器采集数据,通过通信模块传输至处理模块。该模块先运用AP聚类算法将数据聚类成多个类簇,再使用局部离群因子模型计算离群度,通过离群度数值得到异常类簇,则该异常类簇为异常值,再将监测结果传输到用户PC端,实现电力计量数据异常值自动化监测。实验结果表明,该系统聚类电力计量数据时的疏密度数值较高,可有效检测异常值,应用性能较为显著。

一种基于多重聚类的离群点检测算法

在LDOF算法的基础上,提出一种基于多重聚类的离群点检测算法PMLDOF。该算法针对局部离群度量计算量大的缺点,采用聚类剪枝技术作为减少计算量的方法;同时,为了避免将位于簇边缘的离群点错剪,算法利用多重聚类的差异性对簇的边缘点进行筛选。在对数据集进行剪枝后,计算剩余数据的局部离群度LDOF,并找出符合条件的离群数据点。实验结果表明,算法在时间复杂度和检测精度上具有更好的优越性。

基于方形对称邻域的局部离群点检测方法

针对NDOD(outlier detection algorithm based on neighborhood and density)算法在判断具有不同密度分布的聚类间过渡区域对象时存在的不足,以及为了降低算法时间复杂度,提出一种基于方形对称邻域的局部离群点检测方法。该算法改用方形邻域,吸收基于网格的思想,通过扩张方形邻域快速排除聚类点及避免"维灾";通过引入记忆思想,使得邻域查询次数及范围成倍地减小;同时新定义的离群度度量方法有利于提高检测精度。实验测试表明,该算法检测离群点的速度及精度均优于NDOD等算法。

基于WSRFCM聚类的局部离群点检测算法

针对局部离群度量计算量大的缺点,在LDOF算法的基础上,提出一种新颖的基于聚类的离群点检测算法WSRFCM-LDOF.该算法采用集成粗糙集和阴影集的簇特征加权模糊聚类(WSRFCM)技术作为减少计算量的方法;簇特征加权的聚类算法可以有效处理分布不均匀的簇划分,在此基础上应用粗糙集和阴影集,使得簇特征加权模糊聚类算法可以有效划分交叠的簇,尤其对噪声和异常数据的处理具有高效性.实验表明,所提算法在降低时间复杂度的同时,提高了检测精度.

基于采样的超球体聚类离群点检测算法

针对快速超球体聚类的离群点检测算法只能定性地判断数据点是否为离群点,导致离群点的检测精度和召回率较低的问题,提出一种基于采样的超球体聚类的离群点检测算法.通过无放回数据采样将数据集分割为等量的样本子集,在每个样本子集中自适应超球体半径并进行超球体聚类,多次计算数据点的聚集度,取均值得到鲁棒性的聚集度,进而得到离群度.实验证明,该算法可以定量描述离群点,并且在4个真实数据集上,离群点检测的精度提升了1.3%～16.3%,召回率提升了0.2%～7.3%.

峰度统计意义的探讨

峰度通常被认为是衡量一个分布尾重的量,一些作者认为峰度是衡量分布在均值附近尖峰度的量。设已有总体样本x1,…,xn,样本峰度记为kn。关于样本均值x-对称地投入两个点xn+1,xn+2,得到新的样本x1,…,xn+2 相应的样本峰度记为kn+2。本文讨论了随着投入点xn+1,xn+2的位置不同,kn+2相对于kn的变化情况,并通过这种变化来探讨总体峰度的统计意义,认为峰度是总体离群数据离群度的度量。

一种改进的基于密度的聚类算法

基于密度的聚类是聚类算法中的一种,其主要优点是可以发现任意形状的簇,对噪声不敏感。而现有的该类算法对于空间数据分布不均匀的情况聚类效果不佳。鉴于此,文中提出一种改进的基于密度的聚类算法,保持了基于密度的聚类算法的优点,并且可以有效地处理分布不均的数据集,减少了时间复杂度,适用于对大规模数据库的挖掘与分析。

文本聚类中基于密度聚类算法的研究与改进

文本聚类在很多领域都有广泛应用,而聚类算法作为文本聚类的核心直接决定了聚类的效果和效率。结合基于划分的聚类算法和基于密度的聚类算法的优点,提出了基于密度的聚类算法DBCKNN。算法利用了k近邻和离群度等概念,能够迅速确定数据集中每类的中心及其类半径,在保证聚类效果的基础上提高了聚类效率。

样本峰度的最大值

设x=(x_1,…,x_n)(x_1,…,x_n不全相等)是来自某总体容量为n的简单样本。本文证明了样本峰度k_n(x)的最大值为n-2+1/(n-1)。该结论支持了作者关于峰度统计意义的观点:峰度是衡量总体数据离群度的特征量。

一种个性化k近邻的离群点检测算法

在基于近邻思想的离群点检测算法中,参数k的选择是无法避免的,而k值过大或者过小都会对检测效果产生很大的影响.因此,如何选择k值是近邻方法研究中的重要内容之一.本文提出一种个性化k近邻(Personalized k-Nearest Neighbor,PKNN)的离群点检测方法,其每一个数据点的近邻个数是由算法自动确定,而不需要人为指定.位于稠密区域的点具有更多邻居,而位于稀疏区域的点具有更少的邻居.因此,PKNN方法确定的个性化近邻参数,更符合数据集的直观分布.实验结果表明,与现有方法相比,PKNN算法有很好的离群点检测效果.

改进的基于PSO的离群点检测算法

针对Mohemmed等新近提出的基于粒子群优化(PSO)算法的离群点检测方法(MOHEMMED A,ZHANGM,BROWNE W.Particle swarm optimisation for outlier detection[C]//GECCO'10:Proceedings of the 12th AnnualConference on Genetic and Evolutionary Computation.Oregon,Portland:ACM,2010:83-84)可能出现适应值和相应数据对象的离群度不匹配的不合理现象,分析了存在这种现象的原因,并提出一种改进的适应值函数。新的适应值调整了对不合理邻域半径估值的惩罚力度,从而弱化粒子适应值和对象离群度之间的偏差;算法在解空间范围内搜索近似最优粒子,以确定合适的邻域半径估值;最终基于该半径估值衡量各数据对象的离群度。通过对若干UCI数据集的实验表明,采用新的适应值函数的离群检测算法优于原有方法和LOF方法。所提算法不仅解决了上述存在的问题,离群点检测效果也更突出,这表明合理定义适应值函数有助于提高算法的检测质量。

一种基于关键域子空间的离群数据聚类算法

离群数据发现与分析是数据挖掘的重要组成部分,现有离群数据挖掘算法主要针对如何检测离群对象,缺乏对挖掘出的离群数据集进行解释与分析的有效方法.通过对离群数据来源及特性进行分析并结合粗糙集理论,定义了离群划分相似度的概念,提出了一种基于关键属性域子空间的离群数据聚类算法COKAS,该算法不仅揭示了离群数据子空间特性,进一步获取了扩展知识,而且有助于对整体数据集的理解.对两个多维数据集的实验结果表明,该算法具有良好的适应性及有效性.

基于幂图的离群子空间搜索算法

通过分析子空间搜索算法的研究现状以及存在的问题,提出基于幂图的离群子空间搜索算法。该方法主要讨论离群点产生的原因,能够找出单个对象的离群子空间,并根据离群子空间对离群点进行分类。在对幂图扩展的基础上进行剪枝,减少了存储量和计算量,算法性能得到很大的提高。采用实例说明了该算法,并通过实验证明了该算法的可行性和高效性。

散乱点云近离群点识别算法

针对原始曲面变化度的局部离群系数(SVLOF)无法有效滤除三维实体的棱边或棱角处的离群点问题,提出了一种散乱点云近离群点的滤除算法。该算法首先将SVLOF定义在类k邻域上,并将SVLOF的定义内容进行了扩展,使其既能滤除平滑曲面上的离群点,又能滤除三维实体的棱边或棱角点处的离群点,同时仍然保留SVLOF原有的足够宽泛的阈值选取空间。仿真数据和实际数据的实验结果均表明,在效率基本保持不变的情况下,所提算法能比原始SVLOF算法更有效地检测出距离主体点云近的离群点。

面向大数据网络的舰船辐射干扰信号检测方法

为了删除网络内的离群点,提升辐射干扰信号检测性能,设计了面向大数据网络的舰船辐射干扰信号检测方法。选取软硬结合的划分策略分割舰船网络中的信号集,通过并行处理方式检测信号集内各元素的离群度并删除离群点;采用Hilbert变换方法与小波包方法结合,通过包络解调方式提取完成预处理的舰船辐射干扰信号特征;将所提取的舰船辐射干扰信号特征,利用自组织特征映射神经网络检测舰船辐射干扰信号。实验结果表明,该方法可以有效检测面向网络的不同类型舰船辐射干扰信号,具有较高的可行性。

面向电信欠费挖掘的数据质量评估策略研究

针对电信欠费挖掘主题,结合电信欠费数据非平衡的特点,重点研究了缺失与离群数据对分类结果的影响,从而提出了一个面向电信欠费挖掘的数据质量评估体系(TIM-DQAS):对于缺失评估,提出了一种基于类分布差异的属性加权算法,以衡量输入属性的缺失代价;对于离群评估,分析了非平衡数据中的离群点对分类结果的影响,提出离群度的概念,以量化离群点的影响。基于某城市电信小灵通数据的对比实验,给出了评估结果的参照值,验证了评估策略的有效性。

改进型Q-NLM算法在医学图像去噪中的应用

将像素离群度与传统非局部均值算法相结合提出一种改进型的非局部均值滤波Q-NLM算法,针对传统非局部均值算法不适应脉冲噪声去噪的问题,提出了像素离群度Q的概念,像素离群度Q值用于判断原像素与脉冲噪声的相似度,依据像素离群度Q值划分像素区域,调整不同区域阈值且引入中值滤波去除脉冲噪声点,进一步降低医学图片中混合噪声对滤波的影响。仿真实验结果显示,这种结合离群度与非局部均值算法在去除混合噪声的情况下,能较好提高图像信噪比,有效保留CT图像细节。

基于边界混合重采样的非平衡数据分类方法

在非平衡数据分类问题中,为了合成有价值的新样本和删除无影响的原样本,提出一种基于边界混合重采样的非平衡数据分类算法。该算法首先引入支持k-离群度概念,找出数据集中的边界点集和非边界点集;利用改进的SMOTE算法将少数类中的边界点作为目标样本合成新的点集,同时对多数类中的非边界点采用基于距离的欠采样算法,以此达到类之间的平衡。通过实验结果对比表明了该算法在保证G-mean值较优的前提下,一定程度上提高了少数类的分类精度。

面向智慧校园的学生异常行为检测

结合智慧校园数据挖掘中产生的空间位置信息,提出了一种基于消错决策和离群偏离度计算校园中学生行为异常检测方法,实验表明该方法不仅可以快速的识别学生单一时间点的异常行为,还可以实现对学生全天行为轨迹的异常判断,便于学校更好地保障学生的安全.