改进DPC聚类算法的离群点检测与解释方法

为解决全局离群点检测方法无法对局部离群点进行检测,以及局部异常因子在面对大量局部离群点时性能下降的问题,利用k近邻(KNN)和核密度估计方法(KDE)提出一种基于改进快速搜索和发现密度峰值聚类算法(KDPC)的离群点检测与解释方法,该方法能够同时对数据点的全局和局部进行分析。首先,利用k近邻和核密度估计方法计算数据点的局部密度,代替传统DPC算法中根据截断距离计算的局部密度。其次,将数据点的k近邻距离之和作为全局异常值,并通过KDPC聚类算法计算簇密度以及数据点的局部异常值。最后,将数据点的全局与局部异常值进行乘积作为最终异常得分,选取异常得分最高的Top-n作为离群点,通过构建全局-局部异常值决策图对全局和局部离群点进行解释。利用人工数据集和UCI数据集进行实验并与10种常用离群点检测方法进行比较。结果表明,该方法对全局和局部离群点都有着较高的检测精度和检测性能,并且AUC方面受k值影响较小。同时,利用该方法对NBA球员数据进行分析讨论,进一步证明了该方法的实用性和有效性。

基于密度峰值聚类的不平衡数据过抽样方法

大多数不平衡数据过抽样方法依赖于太多参数,容易生成噪声并难以处理流形数据集。为此,文章提出了一种基于密度峰值聚类的不平衡数据过抽样方法(OVMEDPC)。首先,OVMEDPC用密度峰值聚类(DPC)来发现不平衡数据的空间结构;其次,OVMEDPC设计了一种基于密度峰值聚类的噪声过滤方法来移除噪声;最后,OVMEDPC设计了一种基于密度峰值聚类的插值技术来生成少数类的合成样本。实验证明,就随机森林分类器而言,OVMEDPC在F-measure和G-mean上优于5个先进的过抽样方法。

基于密度的聚类算法在数据挖掘中的应用与改进

本研究针对密度聚类算法在数据挖掘中的关键挑战,提出了一系列创新改进措施。通过自适应参数调整、局部核密度估计、噪声抑制和多尺度聚类分析,有效提高了聚类算法的性能。实验验证显示,这些改进在处理复杂数据集时,尤其是在噪声和多密度尺度场景下,显著增强了聚类的准确性和鲁棒性。研究结果为密度聚类算法在实际应用中的优化提供了新思路,并为相关领域的智能数据分析提供了有力工具。

基于非参数核密度估计和改进谱多流形聚类的负荷曲线分类研究

针对高维负荷曲线的聚类问题,提出一种基于改进谱多流形聚类的负荷曲线聚类方法,该方法包括典型日负荷曲线提取、负荷曲线聚类和聚类效果评价3个步骤。首先提取用户负荷特性指标,结合非参数核密度估计方法计算提取用户典型日负荷曲线。在改进谱多流形聚类算法中,引入时间翘曲距离度量曲线相似性,并用高斯核函数计算局部相似性,基于此构建相似性矩阵并聚类。聚类后采用多种聚类有效性指标,从聚类效果、算法稳定性和运算时间3个角度对聚类结果和算法性能进行评价。采用某地区若干用户的负荷数据作为算例样本进行聚类分析,验证了所提出的典型日负荷曲线提取方法和改进谱多流形聚类算法的合理性和优越性。

基于点密度加权核模糊聚类的变压器故障诊断方法

变压器油中溶解气体分析(DGA)是电力变压器绝缘诊断的重要方法。针对模糊C-均值聚类算法(FCM)用于DGA时存在可分性差和等趋势划分等问题,用样本点分布密度大小作为权值,结合核函数的增强可分性,提出点密度加权模糊核C-均值聚类算法,并将其用于变压器DGA数据分析,从而实现变压器的故障诊断。实例分析结果表明该算法能快速、有效地对样本进行聚类,且特别适用于含有噪声样本的环境。

快速核密度估计定理和大规模图论松弛聚类方法

首先证明了快速核密度估计(Fast kernel density estimate,FKDE)定理:基于抽样子集的高斯核密度估计(KDE)与原数据集的KDE间的误差与抽样容量和核参数相关,而与总样本容量无关.接着本文揭示了基于高斯核形式的图论松弛聚类(Graph-based relaxed clustering,GRC)算法的目标表达式可分解成"Parzen窗加权和+平方熵"的形式,即此时GRC可视作一个核密度估计问题,这样基于KDE近似策略,本文提出了大规模图论松弛聚类方法(Scaling up GRC by KDEapproximation,SUGRC-KDEA).较之先前的工作,这一方法的优势在于为GRC作用于大规模数据集提供了更简单和易于实现的方案.

基于密度峰值聚类的水电现货报价单元组建方法

随着电力现货市场的不断推进与完善,发电侧主体多元化使得发电主体的竞价环境更加激烈,报价单元的组建有利于提高发电企业抵御市场竞价风险的能力,分析了不同的流域水文情势、多元的开发主体以及电站的规模属性等因素对发电企业竞价的影响,以流域、发电企业以及上网点3个主要因素为指标,提出基于密度峰值聚类的报价单元组建方法,并将该方法运用于西南地区主要流域的67个电站,结果表明,报价单元的组建对提高水电竞价能力具有实际意义,单元方案与电网规定的统调单元较为一致,验证了该模型合理可行,可为发电企业参与电力现货市场竞价提供一种新思路。

基于密度聚类算法的电力企业营销异常数据自动校核

常规K-means自动校核方法校核时间较长,异常数据不能及时纠正,设计基于密度聚类算法的电力企业营销异常数据自动校核方法。采集电力企业营销的异常数据后,基于密度聚类算法选取自动校核参数,进而实现多类型保护的定值自动校核。试验结果表明:设计方法的自动校核时间更短,可以及时纠正异常数据,极具推广价值。

基于密度聚类的低压台区归属关系及相位识别方法

[目的]供电部门记录的正确的拓扑信息有助于工作人员监测电网信息,分析故障,优化电网运行以满足低压配电台区精益化、智能化管理的需要。目前,各式新型用电设备及用户的加入使低压配电网络结构呈现出持续变化的特征,线路维护成本被大大提高。[方法]为此,提出基于密度聚类的低压台区归属关系识别方法。首先,提取智能电表有效电压数据生成高维时序电压矩阵;其次,采用t分布随机近邻嵌入方法(t-distributed Stochastic Neighbor Embedding,t-SNE)对高维时序电压数据进行特征提取与降维;然后,应用基于数据密度的噪声应用空间聚类方法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)对降维后的数据进行聚类分析,实现低压用户台区归属信息的识别;最后,对海南省三亚市某台区实际数据进行分析,并将所提方法与其他主流的拓扑识别算法进行对比。[结果]分析结果表明所提方法能够达到95%以上的台区识别准确率,高于目前其他主流的拓扑信息识别方法。[结论]文章中的方法在解决此类问题上具有有效性与优势性,可以为实际工程应用提供参考,为低压台区拓扑信息识别领域提供不一样的研究思路。

基于聚类和核密度估计假设检验的异常值检测方法

异常值检测是数据挖掘领域中的核心问题,在工业生产中也有着广泛的应用。准确高效的异常值检测方法能够及时反映出工业系统运行状态,为相关人员提供参考,而传统的异常值检测方法无法很好地检测出变化模式复杂、变化范围小、具有流数据特性的数据中的异常值。因此,本文提出了一种新的针对该类型数据的异常值检测方法:首先通过对数据进行聚类划分,将相似的数据进行归类,从而将原本复杂的数据分布拆解成为每个聚类下简单数据分布的叠加;然后使用核密度估计假设检验的方法对待检测数据进行异常值检测。在标准数据集和真实数据上的实验结果表明,该方法相比于传统的异常值检测方法在检测精度上有一定的提升。

基于改进的随机森林和密度聚类的短期负荷频域预测方法

精确的负荷预测对于电力系统的有效调度和安全运行至关重要.本文提出基于改进的随机森林(IRF)和密度的聚类(DBSCAN)的频域组合预测方法.首先,采用经验小波变换(EWT)分解负荷,得到不同的固有模态分量(IMFs);其次,根据各分量特征采用合理的方法进行预测.其中,低频、中频分量采用IRF预测;高频分量使用DBSCAN根据气象因素温度和湿度聚类,再根据每类的样本特性选择处理方法.最后,叠加各分量的预测值,获取负荷预测值.根据某地市现场负荷数据进行实验,预测结果分别与EWT–IRF,EWT–随机森林(RF)、经验模态分解(EMD)–IRF模型的预测结果进行对比.结果表明,提出的模型具有更高的预测精度,反映了实际负荷的随机性.

自动迭代聚类数据集训练的虚假信息识别方法

随着互联网虚假信息日益泛滥,自动识别虚假信息成为互联网信息治理的迫切需求。互联网上虚假信息伴随新事件不断产生,导致识别虚假信息的有监督统计机器学习模型需要不断更新迭代。每次迭代更新都需要构建新的训练集,以便新的虚假信息能在训练集中得以体现。为此,本研究提出一种动态迭代更新训练集构筑机器学习模型的虚假信息识别方法,设计基于核密度估计的迭代聚类方法对虚假信息数据集进行迭代聚类。在每一个自动得到的聚类中,按比例分别选取训练集样本和测试集样本构造分类器的训练样本集和测试样本集,使新产生事件的样本能够在训练集中得到体现。研究结果显示,基于核密度估计的迭代聚类方法划分数据集训练得到的虚假信息分类器,与随机划分数据集策略相比,能够显著提升虚假信息分类准确度。

改进PSO结合DSA技术的无线传感器网络均衡密度聚类方法

针对无线传感器网络(Wireless Sensor Network,WSN)聚类过程中节点分布不均衡影响网络寿命的问题,提出一种改进粒子群(Improved Particle Swarm Optimization,IPSO)算法结合分布式空间分析(Distributed Space Analysis,DSA)技术的无线传感器网络均衡密度聚类方法。利用改进粒子群算法优化能量均衡分簇算法以促进网络能耗均衡分布,避免了网络热点问题并最大化传感器网络寿命;结合基于分布式空间分析的聚类技术,实现了整个无线传感器网络中集群构建的能耗均衡;对两种算法的优势进行深度融合,克服对初始聚类中心点选择等敏感问题的同时加快了聚类收敛速度,形成传感器节点位置的最优分簇。实验结果表明,该方法实现了对网络节点能耗均衡分簇的有效性,与其他的聚类技术相比功耗更低,因此网络寿命更长。

基于改进的直觉模糊核聚类的图像分割方法

针对噪声图像模糊性的本质,提出了基于改进的直觉模糊核聚类的图像分割方法。采用直觉模糊集描述噪声图像包含的不确定性信息,将图像的灰度信息转换到直觉模糊域进行处理;将模糊核聚类拓展为直觉模糊核聚类,在图像的直觉模糊域进行聚类;通过高斯核函数和欧氏距离分别对像素8-邻域的灰度和空间信息进行建模,综合平衡灰度和空间信息对聚类的作用,并将其作为惩罚项加入到直觉模糊核聚类的目标函数中;通过梯度下降法,推导了迭代求解算法;通过典型的合成图像和自然图像分割实例,验证了所提算法的有效性和鲁棒性。

结合改进密度峰值聚类的LGC半监督学习方法优化

基于图的局部与全局一致性(LGC)半监督学习方法具有较高的标注正确率,但时间复杂度较高,难以适用于数据规模较大的实际应用场景。从缩小图的规模入手,提出一种全局一致性优化方法。使用改进后的密度峰值聚类算法,迭代地从数据集中筛选出多个中心点,以每个中心点为簇中心进行局部聚类,并以中心点为顶点构建图,实现基于LGC的半监督学习。实验结果表明,优化后的LGC方法在D31、Aggregation等数据集上具有较好的鲁棒性,在标注正确率和算法执行时间上优势明显。

核密度估计及其在聚类算法构造中的应用

经典数理统计学中的核密度估计理论是构造基于数据集密度函数聚类算法的理论基础 ,采用分箱近似的快速核密度函数估计方法同样为构造高效的聚类算法提供了依据 通过对核密度估计理论及其快速分箱核近似方法的讨论 ,给出分箱近似密度估计相对于核密度估计的均方误差界 ,提出基于网格数据重心的分箱核近似方法 在不改变计算复杂度的条件下 ,基于网格数据重心的分箱核近似密度函数计算可以有效地降低近似误差 ,这一思想方法对于构造高效大规模数据聚类分析算法具有指导意义

应用聚类分析与非参数核密度估计的空间负荷分布规律

空间负荷预测是配电网规划的前提和基础。针对现有研究偏重对预测方法的理论创新和精度提升,缺乏对各地各类空间负荷分布规律研究的不足,提出一种基于聚类分析与非参数核密度估计的空间负荷分布规律研究方法。以浙江电网为例,对调研采集的空间负荷按城市发展类型、用地类型进行二级划分后,利用基于非参数核密度估计方法提取各类样本负荷密度的典型分布特征,结合实际对浙江11个城市的工业、商业、居住等多类空间负荷的分布规律进行分析研究,为配电网规划提供可靠支撑。

基于改进聚类方式的牵引负荷分类方法

基于大量的牵引负荷实测数据,计算分析馈线电流带电有效系数、最大值、平均值、95%值以及1~5阶样本矩,并以这些特征量为聚类指标,用改进的自适应模糊C均值聚类方法,自动获取最佳聚类数,实现牵引负荷的有效分类,最后以非参数核密度估计方法对牵引负荷概率密度函数进行拟合。

聚类差分图像核密度估计前景目标检测

针对非参数核密度估计学习阶段信息冗余与重复计算,估计阶段的估计错误噪声和计算量大的问题,提出了一种基于聚类分析的差分图像核密度估计前景目标检测算法。该方法在非参数核密度估计的学习阶段基于最大最小聚类原理从原采样全样本中提取那些具有较高频度和多样性的小样本来包含尽可能多的关键样本信息,在估计阶段采用基于自适应阈值的图像差分滤去非典型的运动像素,再利用高斯核密度估计进行运动像素分类。实验结果表明该方法限制了非典型运动像素估计错误产生的噪声,并减少了核密度估计计算量,提高了算法的实时性。

一种改进的搜索密度峰值的聚类算法

聚类是大数据分析与数据挖掘的基础问题。刊登在2014年《Science》杂志上的文章《Clustering by fast search and find of density peaks》提出一种快速搜索密度峰值的聚类算法,算法简单实用,但聚类结果依赖于参数dc的经验选择。论文提出一种改进的搜索密度峰值的聚类算法,引入密度估计熵自适应优化算法参数。对比实验结果表明,改进方法不仅可以较好地解决原算法的参数人为确定的不足,而且具有相对更好的聚类性能。