基于期望核密度离群因子的离群点检测算法

针对基于密度的离群点检测方法在不同分布的数据集上检测精度低的问题,提出了一种基于期望核密度离群因子的离群点检测算法。首先,引入k近邻和反向k近邻扩展邻域空间(ENS)代替传统的k邻域范围,更加全面地考虑数据对象的邻域信息;其次,在传统核密度估计(KDE)方法的基础上引入多元高斯函数,在扩展邻域空间内估计数据对象的密度,同时借鉴自适应核带宽的思想,更好地适应不同数据集的数据分布;然后,给出期望距离的概念,进一步区分局部离群点和位于低密度区域的正常点;最后,定义了期望核密度离群因子刻画数据对象离群程度。在人工数据集和真实数据集上对所提算法进行实验验证,并与部分传统算法进行对比,验证了所提算法的有效性。

基于MST聚类的离群检测算法研究

基于密度的最小生成树聚类算法,将最小生成树理论与基于密度的方法相结合,不仅体现了基于密度聚类方法的优点,而且聚类结果不依赖于用户参数的选择,聚类结果更合理,特别是对大数据集,算法非常有效。因此,本文在基于密度的MST聚类的基础上,通过减少数据集扫描次数以提高离群检测的效率。理论分析表明,检测算法可以有效地处理分布不均的数据集,适用于大规模数据集的挖掘。

基于高斯核函数改进的电力用户用电数据离群点检测方法

针对智能配用电大数据背景下用电数据离群点检测方法的适用性以及实际数据集中异常用电样本获取成本较高的问题,提出一种基于高斯核函数改进的电力用户用电数据离群点检测方法。首先通过模糊聚类的方法将用户分类;然后提取每一类用户的用电行为特征量,采用主成分分析法对特征集进行降维;最后利用高斯核函数改进局部离群因子算法,提出高斯核密度局部离群因子（Gaussian kernel densitybased local outlier factor,GKLOF）算法,通过理论推导与仿真实验相结合的方式分析了GKLOF算法的特性。选取了5000个用户真实的用电数据进行实验分析,实验结果表明,该方法具有较高的检测准确率以及较为稳定的判定阈值,并且受局部数据分布的影响较小,更加适用于用户用电行为复杂多样以及实际数据集中所有用户用电行为类型信息未知情况下的离群点检测。

基于网格划分加权的分布式离群点检测算法

分布式计算被广泛应用于离群点检测问题,但分布式环境中节点计算性能的差异带来了数据计算性能的下降问题。针对面向大尺度高维数据离群点分布式计算的负载均衡问题,该文提出了一种加权分布式离群点检测方法。首先根据数据节点的计算性能确定数据节点的权值,然后将数据空间划分为若干个网格,最后设计了一种基于网格划分的加权分配算法WGBA,将这些网格分配到数据节点中,实现并行计算。实验验证了该方法的有效性。

一种基于离群数据检测和线性回归的压装质量智能预警方法

针对高精度伺服机构压装质量控制难度大的问题,提出了一种基于离群数据检测和线性回归的智能质量预警方法。采用线性回归分析装配质量与压装过程之间的关系,建立了压装的“位移-力”数学模型,并定义了合格的压装力范围对装配质量进行控制。为了对压装过程中的“位移-力”原始数据集进行预处理,本文设计了一种改进的基于区域密度和P权值的局部离群因子(Local outlier factor based on area density and P weight,LAOPW)检测算法,以剔除导致线性回归数学模型不准确的离群值。该算法引入了基于信息熵的加权距离进行距离度量,并用P权值代替可达距离。实验结果表明,该算法在检测效率上比传统的局部离群因子(Local outlier factor,LOF)算法提高了5.6 ms,而检测准确率比基于区域密度的局部离群因子(Local outlier factor based on area density,LAOF)算法改善了2%左右。将本文提出的LAOPW算法和线性回归模型应用于高精度伺服机构压装质量控制,能够有效进行压装质量智能预警。