K-Medoids聚类算法的计算机信息处理技术研究

当前计算机信息处理技术在大规模数据集上存在计算效率低下、对噪声和异常值敏感等问题。为了解决这些问题,本文提出了一种改进的K-medoids聚类算法。该方法通过优化初始中心点的选择和更新策略,提高了算法的收敛速度和稳定性,并引入基于密度的聚类评价指标,提高了对噪声数据的鲁棒性。通过在真实和人工数据集上的实验验证,证明了本方法在提高聚类效果和处理大规模数据方面的有效性。

基于DTW K-medoids与VMD-多分支神经网络的多用户短期负荷预测

多用户电力负荷预测是指根据历史负荷数据对多个用户或区域的电力负荷进行预测,可使电网企业掌握不同用户或区域的电力需求,以便更好地开展规划和实施调度优化等。然而由于各用户呈现出复杂多样的用电行为,采用传统方法难以进行统一建模并实现快速准确预测。为此,构建了一种基于DTW Kmedoids与VMD-多分支神经网络的多用户短期负荷预测模型。首先,采用DTW K-medoids法进行用户负荷数据聚类,利用动态时间弯曲(dynamic time warping,DTW)计算数据间的距离,取代K-medoids算法中传统的欧氏距离度量方式,以改善多用户负荷聚类的效果;在此基础上,为充分表征负荷历史数据的长短期时序依赖特征,建立了一种基于变分模态分解(variational mode decomposition,VMD)-多分支神经网络模型的并行预测方法,用于多用户短期负荷预测;最后,使用某地区20个用户365天的负荷数据进行聚类、训练和测试实验,结果显示该模型结果的平均绝对误差和均方根误差等指标均较对比模型有较大幅度降低,表明该方法可有效表征多类用户的用电行为,提升多用户负荷预测效率和精度。

基于k-Medoids聚类和深度学习的分布式短期负荷预测

为了获得较高的预测精度,提出一种基于k-Medoids聚类和深度学习的分布式短期负荷预测。基于配电变压器的能耗分布,采用k-Medoids聚类将电力负荷数据集中的数据进行聚类,并构建基于深度神经网络(DNN)和长短期记忆网络(LSTM)的短期负荷预测模型。在拥有1000个变电站数据子集的武汉配电网络系统中进行验证,验证结果表明,所提的kMedoids聚类可以在减少44%训练时间的基础上拟合出单个变压器预测模型的平均参数,且DNN和LSTM预测模型分别以7.32%和11.15%的平均绝对百分比误差(MAPE)跟踪实际负荷。

基于粒计算的K-medoids聚类算法

传统K-medoids聚类算法的聚类结果随初始中心点不同而波动,且计算复杂度较高不适于处理大规模数据集;快速K-medoids聚类算法通过选择合适的初始聚类中心改进了传统K-medoids聚类算法,但是快速K-medoids聚类算法的初始聚类中心有可能位于同一类簇。为克服传统K-medoids聚类算法和快速K-medoids聚类算法的缺陷,提出一种基于粒计算的K-medoids聚类算法。算法引入粒度概念,定义新的样本相似度函数,基于等价关系产生粒子,根据粒子包含样本多少定义粒子密度,选择密度较大的前K个粒子的中心样本点作为K-medoids聚类算法的初始聚类中心,实现K-medoids聚类。UCI机器学习数据库数据集以及随机生成的人工模拟数据集实验测试,证明了基于粒计算的K-medoids聚类算法能得到更好的初始聚类中心,聚类准确率和聚类误差平方和优于传统K-medoids和快速K-medoids聚类算法,具有更稳定的聚类结果,且适用于大规模数据集。

基于蚁群优化K-medoids的变电站特性聚类研究

为建立合适的变电站负荷模型,将聚类方法引入到变电站负荷特性分析,提出了一种基于蚁群优化K-medoids的综合聚类算法。该综合算法是K-medoids算法对蚁群的历史最优位置进行聚类分析,蚁群算法全局搜索能力强,克服了K-medoids算法易陷入局部最优的缺点,提高了聚类的准确率。最后通过变电站特性聚类实例,验证了综合算法在变电站特性聚类的可行性和有效性。

基于K-Medoids聚类的改进KNN文本分类算法

为有效提高传统KNN算法(K最近邻算法)在海量数据的分类效率,分析传统KNN算法的分类过程,提出基于K-Medoids聚类的改进KNN算法。利用K-Medoids算法对文本训练集进行聚类,把文本训练集分成相似度较高的簇;根据待分类文本与簇的相对位置,对文本训练集进行裁剪,解决传统KNN算法在文本训练集过大时速度慢的问题。分析与实验结果表明,该裁剪方法能够合理有效地裁剪文本训练集,提高了KNN算法的运行效率和分类能力。

基于MapReduce的K-Medoids并行算法

为了解决传统K-Medoids聚类算法在处理海量数据信息时所面临的内存容量和CPU处理速度的瓶颈问题,在深入研究K-Medoids算法的基础之上,提出了基于MapReduce编程模型的K-Medoids并行化算法思想。Map函数部分的主要任务是计算每个数据对象到簇类中心点的距离并(重新)分配其所属的聚类簇;Reduce函数部分的主要任务是根据Map部分得到的中间结果,计算出新簇类的中心点,然后作为中心点集给下一次MapReduce过程使用。实验结果表明:运行在Hadoop集群上的基于MapReduce的K-Medoids并行化算法具有较好的聚类结果和可扩展性,对于较大的数据集,该算法得到的加速比更接近于线性。

一种高效的K-medoids聚类算法

针对K-medoids算法初始中心点选择敏感、大数据集聚类应用中性能低下等缺点,提出一个基于初始中心微调与增量中心候选集的改进K-medoids算法。新算法以微调方式优化初始中心,以中心候选集逐步扩展的方式来降低中心轮换的计算复杂性。实验结果表明,相对于传统的K-medoids算法,新算法可以提高聚类质量,有效缩短计算时间。

基于距离不等式的K-medoids聚类算法

研究加速K-medoids聚类算法,首先以PAM(partitioning around medoids)、TPAM(triangular inequality elimination criteria PAM)算法为基础给出两个加速引理,并基于中心点之间距离不等式提出两个新加速定理.同时,以O(n+K^2)额外内存空间开销辅助引理、定理的结合而提出加速SPAM(speed up PAM)聚类算法,使得K-medoids聚类算法复杂度由O(K(n-K)~2)降低至O((n-K)~2).在实际及人工模拟数据集上的实验结果表明:相对于PAM,TPAM,FKMEDOIDS(fast K-medoids)等参考算法均有改进,运行时间比PAM至少提升0.828倍.

基于Wasserstein距离和改进K-medoids聚类的风电/光伏经典场景集生成算法

随着风电、光伏等可再生能源发电渗透率的增加,电力系统运行需要考虑随之而来的不确定性。场景分析法因为可明确体现不确定性因素的概率特征而被广泛采用,但是由于大规模场景会降低随机规划的求解效率,实用性受到限制。针对该问题,提出一种经典场景集生成算法。该算法首先利用Wasserstein概率距离指标,将单一时刻的风/光出力连续分布概率函数转化为含精确概率信息的最优分位点,随后综合考虑计算规模和概率信息损失,对整个调度区间进行合理划分,段内采用基于改进的K-medoids并行聚类算法进行消减,段间进行场景融合,通过迭代消减、融合运算,形成覆盖整个调度区间的经典场景集。算例中采用国电云南分布式发电示范工程实际数据,结果显示所提出的经典场景集生成算法具有概率信息准确、求解效率高等特点。

一种新的k-medoids聚类算法

针对k-medoids算法对初始聚类中心敏感,聚类精度较低及收敛速度缓慢的缺点,提出一种基于密度初始化、密度迭代的搜索策略和准则函数优化的方法。该算法初始化是在高密度区域内选择k个相对距离较远的样本作为聚类初始中心,有效定位聚类的最终中心点;在k个与初始中心点密度相近的区域内进行中心点替换,以减少候选点的搜索范围;采用类间距和类内距加权的均衡化准则函数,提高聚类精度。实验结果表明,相对于传统的k-mediods算法及某些改进算法,该算法可以提高聚类质量,有效缩短聚类时间。

基于多核平台并行K-Medoids算法研究

分析K-Medoids算法的内在并行性,设计一个适合多核平台的并行算法,并利用OpenMP进行实验。实验结果表明,并行算法对多核环境有很好的适应性,在双核及四核计算机上均获得了较好的加速比与运行效率。

一种基于ACO的K-medoids聚类算法

K-medoids算法作为聚类算法的一种,不易受极端数据的影响,适应性广泛,但是K-medoids聚类算法的精确度不稳定,平均准确率较低,用于实际的聚类分析时效果较差。ACO是一种仿生优化算法,其具有很强的健壮性,容易与其他方法相结合,求解效率高等特点。在K-medoids聚类算法的基础上,借鉴ACO算法的优点,提出了一种新的聚类算法,它提高了聚类的准确率,算法的稳定性也比较高。通过仿真实验,验证了算法的可行性和先进性。

基于遗传模拟退火算法的改进K-medoids算法

针对标准K-medoids算法在大数据聚类应用中易陷入局部最优解以及聚类效果受初始中心限制的缺点,提出了基于遗传模拟退火算法的K-medoids改进算法。该算法结合遗传算法和模拟退火算法,可以增强标准K-medoids算法在聚类时的全局搜索能力,并加快其收敛速度。对比实验证明:这一改进有效地弥补了标准K-medoids算法的上述缺陷,达到了提高聚类效率、加快收敛速度、改善聚类质量的目的。

一种改进人工蜂群的K-medoids聚类算法

针对传统K-medoids聚类算法初始聚类中心选择较敏感、聚类效率和精度较低、全局搜索能力较差以及传统蜂群算法初始蜂群和搜索步长随机选取等缺点,提出了一种基于粒子和最大最小距离法初始化蜂群和随着迭代次数增加动态调整搜索步长的人工蜂群算法,将改进的人工蜂群进一步优化K-medoids,以提高聚类算法的性能。实验结果表明:该算法降低了对噪声的敏感程度,具有较高的效率和准确率,较强的稳定性。

密度峰值优化初始中心的K-medoids聚类算法

针对快速K-medoids聚类算法和方差优化初始中心的K-medoids聚类算法存在需要人为给定类簇数,初始聚类中心可能位于同一类簇,或无法完全确定数据集初始类簇中心等缺陷,受密度峰值聚类算法启发,提出了两种自适应确定类簇数的K-medoids算法。算法采用样本x i的t最近邻距离之和倒数度量其局部密度ρi,并定义样本x i的新距离δi,构造样本距离相对于样本密度的决策图。局部密度较高且相距较远的样本位于决策图的右上角区域,且远离数据集的大部分样本。选择这些样本作为初始聚类中心,使得初始聚类中心位于不同类簇,并自动得到数据集类簇数。为进一步优化聚类结果,提出采用类内距离与类间距离之比作为聚类准则函数。在UCI数据集和人工模拟数据集上进行了实验测试,并对初始聚类中心、迭代次数、聚类时间、Rand指数、Jaccard系数、Adjusted Rand index和聚类准确率等经典聚类有效性评价指标进行了比较,结果表明提出的K-medoids算法能有效识别数据集的真实类簇数和合理初始类簇中心,减少聚类迭代次数,缩短聚类时间,提高聚类准确率,并对噪音数据具有很好的鲁棒性。

一种MapReduce架构下基于遗传算法的K-Medoids聚类

由互联网时代快速发展而产生的海量数据给传统聚类方法带来了巨大挑战,如何改进聚类算法从而获取有效信息成为当前的研究热点。K-Medoids是一种常见的基于划分的聚类算法,其优点是可以有效处理孤立、噪声点,但面临着初始中心敏感、容易陷入局部最优值、处理大数据时的CPU和内存瓶颈等问题。为解决上述问题,提出了一种MapReduce架构下基于遗传算法的K-Medoids聚类。利用遗传算法的种群进化特点改进K-Medoids算法的初始中心敏感的问题,在此基础上,利用MapReduce并行遗传K-Medoids算法提高算法效率。通过带标签的数据集进行实验的结果表明,运行在Hadoop集群上的基于MapReduce和遗传算法的K-Medoids算法能有效提高聚类的质量和效率。

粒子群K-Medoids带障碍约束空间聚类分析研究

空间聚类分析是空间数据挖掘研究领域中的一个重要研究课题.传统聚类算法忽略了真实世界中许多约束条件的存在,而约束条件的存在会影响聚类结果的合理性.本文在分析粒子群优化算法和划分算法的基础上,研究一种基于粒子群和划分相结合的带障碍约束空间聚类分析方法,设计了一个粒子群K-Medoids带障碍约束空间聚类分析算法.对比实验表明,该方法不仅兼顾了局部收敛和全局收敛性能,又充分考虑到了现实障碍物对聚类结果的影响,使得聚类结果更具实际意义.与遗传K-Medoids带障碍约束空间聚类分析相比,该方法具有更好的可伸缩性,且所需输入的参数相对较少,更适合于对聚类速度要求较高的动态约束条件场合.

基于K-Medoids聚类的多传感器航迹关联算法

为有效解决目标密集环境下的航迹关联问题,提出了一种基于K-Medoids聚类的航迹关联算法.该算法采用局部航迹与系统航迹进行关联的策略,将系统航迹作为Medoids,降低了需要关联的航迹对数量,避免了K-Medoids的固有缺陷,很大程度上提高了关联算法的效率.通过采用无穷范数计算采样点点迹距离求出了两条航迹的近似距离,这使得关联判决能考虑历史和当前航迹,提高了正确关联率.在多传感器多目标环境下讨论了其具体实现过程,仿真实验结果验证了该算法的有效性和优越性.该算法在存在噪音和离群点时,具有很强的健壮性,适合目标密集环境.

方差优化初始中心的K-medoids聚类算法

针对快速K-medoids聚类算法存在密度计算复杂耗时和初始聚类中心可能位于同一类簇的缺陷,以及基于邻域的K-medoids算法的邻域半径需要人为给定一个调节系数的主观性缺陷,分别以样本间距离均值和相应样本的标准差为邻域半径,以方差作为样本分布密集程度的度量,选取方差值最小且其间距离不低于邻域半径的样本为K-medoids的初始聚类中心,提出了两种方差优化初始中心的K-medoids算法。在UCI数据集和人工模拟数据集上进行了实验测试,并对各种聚类指标进行了比较,结果表明该算法需要的聚类时间短,得到的聚类结果优,适用于较大规模数据集的聚类。