K-Medoids聚类算法的计算机信息处理技术研究

当前计算机信息处理技术在大规模数据集上存在计算效率低下、对噪声和异常值敏感等问题。为了解决这些问题,本文提出了一种改进的K-medoids聚类算法。该方法通过优化初始中心点的选择和更新策略,提高了算法的收敛速度和稳定性,并引入基于密度的聚类评价指标,提高了对噪声数据的鲁棒性。通过在真实和人工数据集上的实验验证,证明了本方法在提高聚类效果和处理大规模数据方面的有效性。

基于DTW K-medoids与VMD-多分支神经网络的多用户短期负荷预测

多用户电力负荷预测是指根据历史负荷数据对多个用户或区域的电力负荷进行预测,可使电网企业掌握不同用户或区域的电力需求,以便更好地开展规划和实施调度优化等。然而由于各用户呈现出复杂多样的用电行为,采用传统方法难以进行统一建模并实现快速准确预测。为此,构建了一种基于DTW Kmedoids与VMD-多分支神经网络的多用户短期负荷预测模型。首先,采用DTW K-medoids法进行用户负荷数据聚类,利用动态时间弯曲(dynamic time warping,DTW)计算数据间的距离,取代K-medoids算法中传统的欧氏距离度量方式,以改善多用户负荷聚类的效果;在此基础上,为充分表征负荷历史数据的长短期时序依赖特征,建立了一种基于变分模态分解(variational mode decomposition,VMD)-多分支神经网络模型的并行预测方法,用于多用户短期负荷预测;最后,使用某地区20个用户365天的负荷数据进行聚类、训练和测试实验,结果显示该模型结果的平均绝对误差和均方根误差等指标均较对比模型有较大幅度降低,表明该方法可有效表征多类用户的用电行为,提升多用户负荷预测效率和精度。

基于K-medoids聚类算法的梯级水利枢纽信息资源整合方法

在梯级水利枢纽信息资源整合时,传统的算法只能对单源信息进行聚类分析,资源整合效率低。针对上述问题,文章提出基于K-medoids聚类算法的梯级水利枢纽信息资源整合方法。建立一个完善的整合机制,设计水利枢纽信息资源整合模型,该模型能全面有效地整合各种信息资源,确定水利枢纽信息资源的利用系数,通过评估和调整该系数可以优化信息资源的配置和使用。实验证明,该方法可以提高资源整合效率,应用效果良好,具有实际应用价值。

基于k-Medoids聚类和深度学习的分布式短期负荷预测

为了获得较高的预测精度,提出一种基于k-Medoids聚类和深度学习的分布式短期负荷预测。基于配电变压器的能耗分布,采用k-Medoids聚类将电力负荷数据集中的数据进行聚类,并构建基于深度神经网络(DNN)和长短期记忆网络(LSTM)的短期负荷预测模型。在拥有1000个变电站数据子集的武汉配电网络系统中进行验证,验证结果表明,所提的kMedoids聚类可以在减少44%训练时间的基础上拟合出单个变压器预测模型的平均参数,且DNN和LSTM预测模型分别以7.32%和11.15%的平均绝对百分比误差(MAPE)跟踪实际负荷。

基于MapReduce的K-Medoids并行算法

为了解决传统K-Medoids聚类算法在处理海量数据信息时所面临的内存容量和CPU处理速度的瓶颈问题,在深入研究K-Medoids算法的基础之上,提出了基于MapReduce编程模型的K-Medoids并行化算法思想。Map函数部分的主要任务是计算每个数据对象到簇类中心点的距离并(重新)分配其所属的聚类簇;Reduce函数部分的主要任务是根据Map部分得到的中间结果,计算出新簇类的中心点,然后作为中心点集给下一次MapReduce过程使用。实验结果表明:运行在Hadoop集群上的基于MapReduce的K-Medoids并行化算法具有较好的聚类结果和可扩展性,对于较大的数据集,该算法得到的加速比更接近于线性。

一种高效的K-medoids聚类算法

针对K-medoids算法初始中心点选择敏感、大数据集聚类应用中性能低下等缺点,提出一个基于初始中心微调与增量中心候选集的改进K-medoids算法。新算法以微调方式优化初始中心,以中心候选集逐步扩展的方式来降低中心轮换的计算复杂性。实验结果表明,相对于传统的K-medoids算法,新算法可以提高聚类质量,有效缩短计算时间。

基于距离不等式的K-medoids聚类算法

研究加速K-medoids聚类算法,首先以PAM(partitioning around medoids)、TPAM(triangular inequality elimination criteria PAM)算法为基础给出两个加速引理,并基于中心点之间距离不等式提出两个新加速定理.同时,以O(n+K^2)额外内存空间开销辅助引理、定理的结合而提出加速SPAM(speed up PAM)聚类算法,使得K-medoids聚类算法复杂度由O(K(n-K)~2)降低至O((n-K)~2).在实际及人工模拟数据集上的实验结果表明:相对于PAM,TPAM,FKMEDOIDS(fast K-medoids)等参考算法均有改进,运行时间比PAM至少提升0.828倍.

基于K-Medoids聚类的改进KNN文本分类算法

为有效提高传统KNN算法(K最近邻算法)在海量数据的分类效率,分析传统KNN算法的分类过程,提出基于K-Medoids聚类的改进KNN算法。利用K-Medoids算法对文本训练集进行聚类,把文本训练集分成相似度较高的簇;根据待分类文本与簇的相对位置,对文本训练集进行裁剪,解决传统KNN算法在文本训练集过大时速度慢的问题。分析与实验结果表明,该裁剪方法能够合理有效地裁剪文本训练集,提高了KNN算法的运行效率和分类能力。

基于粒计算的K-medoids聚类算法

传统K-medoids聚类算法的聚类结果随初始中心点不同而波动,且计算复杂度较高不适于处理大规模数据集;快速K-medoids聚类算法通过选择合适的初始聚类中心改进了传统K-medoids聚类算法,但是快速K-medoids聚类算法的初始聚类中心有可能位于同一类簇。为克服传统K-medoids聚类算法和快速K-medoids聚类算法的缺陷,提出一种基于粒计算的K-medoids聚类算法。算法引入粒度概念,定义新的样本相似度函数,基于等价关系产生粒子,根据粒子包含样本多少定义粒子密度,选择密度较大的前K个粒子的中心样本点作为K-medoids聚类算法的初始聚类中心,实现K-medoids聚类。UCI机器学习数据库数据集以及随机生成的人工模拟数据集实验测试,证明了基于粒计算的K-medoids聚类算法能得到更好的初始聚类中心,聚类准确率和聚类误差平方和优于传统K-medoids和快速K-medoids聚类算法,具有更稳定的聚类结果,且适用于大规模数据集。

基于多核平台并行K-Medoids算法研究

分析K-Medoids算法的内在并行性,设计一个适合多核平台的并行算法,并利用OpenMP进行实验。实验结果表明,并行算法对多核环境有很好的适应性,在双核及四核计算机上均获得了较好的加速比与运行效率。

一种新的k-medoids聚类算法

针对k-medoids算法对初始聚类中心敏感,聚类精度较低及收敛速度缓慢的缺点,提出一种基于密度初始化、密度迭代的搜索策略和准则函数优化的方法。该算法初始化是在高密度区域内选择k个相对距离较远的样本作为聚类初始中心,有效定位聚类的最终中心点;在k个与初始中心点密度相近的区域内进行中心点替换,以减少候选点的搜索范围;采用类间距和类内距加权的均衡化准则函数,提高聚类精度。实验结果表明,相对于传统的k-mediods算法及某些改进算法,该算法可以提高聚类质量,有效缩短聚类时间。

一种改进人工蜂群的K-medoids聚类算法

针对传统K-medoids聚类算法初始聚类中心选择较敏感、聚类效率和精度较低、全局搜索能力较差以及传统蜂群算法初始蜂群和搜索步长随机选取等缺点,提出了一种基于粒子和最大最小距离法初始化蜂群和随着迭代次数增加动态调整搜索步长的人工蜂群算法,将改进的人工蜂群进一步优化K-medoids,以提高聚类算法的性能。实验结果表明:该算法降低了对噪声的敏感程度,具有较高的效率和准确率,较强的稳定性。

一种基于ACO的K-medoids聚类算法

K-medoids算法作为聚类算法的一种,不易受极端数据的影响,适应性广泛,但是K-medoids聚类算法的精确度不稳定,平均准确率较低,用于实际的聚类分析时效果较差。ACO是一种仿生优化算法,其具有很强的健壮性,容易与其他方法相结合,求解效率高等特点。在K-medoids聚类算法的基础上,借鉴ACO算法的优点,提出了一种新的聚类算法,它提高了聚类的准确率,算法的稳定性也比较高。通过仿真实验,验证了算法的可行性和先进性。

一种MapReduce架构下基于遗传算法的K-Medoids聚类

由互联网时代快速发展而产生的海量数据给传统聚类方法带来了巨大挑战,如何改进聚类算法从而获取有效信息成为当前的研究热点。K-Medoids是一种常见的基于划分的聚类算法,其优点是可以有效处理孤立、噪声点,但面临着初始中心敏感、容易陷入局部最优值、处理大数据时的CPU和内存瓶颈等问题。为解决上述问题,提出了一种MapReduce架构下基于遗传算法的K-Medoids聚类。利用遗传算法的种群进化特点改进K-Medoids算法的初始中心敏感的问题,在此基础上,利用MapReduce并行遗传K-Medoids算法提高算法效率。通过带标签的数据集进行实验的结果表明,运行在Hadoop集群上的基于MapReduce和遗传算法的K-Medoids算法能有效提高聚类的质量和效率。

一种基于差分演化的K-medoids聚类算法

针对传统的K-medoids聚类算法具有对初始聚类中心敏感、全局搜索能力差、易陷入局部最优、收敛速度缓慢等缺点,提出一种基于差分演化的K-medoids聚类算法。差分演化是一类基于种群的启发式全局搜索技术,有很强的鲁棒性。将差分演化的全局优化能力用于K-medoids聚类算法,有效地克服了K-medoids聚类算法的缺点,缩短了收敛时间,改善了聚类质量。通过仿真验证了此算法的稳定性和鲁棒性。

密度峰值优化初始中心的K-medoids聚类算法

针对快速K-medoids聚类算法和方差优化初始中心的K-medoids聚类算法存在需要人为给定类簇数,初始聚类中心可能位于同一类簇,或无法完全确定数据集初始类簇中心等缺陷,受密度峰值聚类算法启发,提出了两种自适应确定类簇数的K-medoids算法。算法采用样本x i的t最近邻距离之和倒数度量其局部密度ρi,并定义样本x i的新距离δi,构造样本距离相对于样本密度的决策图。局部密度较高且相距较远的样本位于决策图的右上角区域,且远离数据集的大部分样本。选择这些样本作为初始聚类中心,使得初始聚类中心位于不同类簇,并自动得到数据集类簇数。为进一步优化聚类结果,提出采用类内距离与类间距离之比作为聚类准则函数。在UCI数据集和人工模拟数据集上进行了实验测试,并对初始聚类中心、迭代次数、聚类时间、Rand指数、Jaccard系数、Adjusted Rand index和聚类准确率等经典聚类有效性评价指标进行了比较,结果表明提出的K-medoids算法能有效识别数据集的真实类簇数和合理初始类簇中心,减少聚类迭代次数,缩短聚类时间,提高聚类准确率,并对噪音数据具有很好的鲁棒性。

基于MapReduce的改进K-Medoids并行算法

K-Medoids算法具有不同层次的并行性,计算粒度不同对并行算法效率有较大影响。基于K-Medoids的并行计算特点,提出了一个改进的K-Medoids并行算法,该算法基于MapReduce模型,通过适当增加计算粒度,降低了通信消耗占比。实验结果表明,改进的并行算法与其他已有算法相比,加速比与运行效率有显著提高。

粒子群K-Medoids带障碍约束空间聚类分析研究

空间聚类分析是空间数据挖掘研究领域中的一个重要研究课题.传统聚类算法忽略了真实世界中许多约束条件的存在,而约束条件的存在会影响聚类结果的合理性.本文在分析粒子群优化算法和划分算法的基础上,研究一种基于粒子群和划分相结合的带障碍约束空间聚类分析方法,设计了一个粒子群K-Medoids带障碍约束空间聚类分析算法.对比实验表明,该方法不仅兼顾了局部收敛和全局收敛性能,又充分考虑到了现实障碍物对聚类结果的影响,使得聚类结果更具实际意义.与遗传K-Medoids带障碍约束空间聚类分析相比,该方法具有更好的可伸缩性,且所需输入的参数相对较少,更适合于对聚类速度要求较高的动态约束条件场合.

基于K-medoids项目聚类的协同过滤推荐算法

针对传统协同过滤推荐算法通常针对整个评分矩阵进行计算,存在效率不高的问题,提出一种基于K-medoids项目聚类的协同过滤推荐算法。该算法根据项目的类别属性对项目进行聚类,构建用户的偏好领域,使用用户偏好领域内的评分矩阵进行用户间相似度的计算,得到目标用户的最近邻居集,并生成推荐结果。与常用的Kmeans聚类方法相比,采用K-medoids方法对项目类别属性进行聚类,不仅克服了评分聚类可靠性不高的问题,而且算法还具有更好的鲁棒性。实验结果表明,该算法能有效提高推荐质量。

基于遗传模拟退火算法的改进K-medoids算法

针对标准K-medoids算法在大数据聚类应用中易陷入局部最优解以及聚类效果受初始中心限制的缺点,提出了基于遗传模拟退火算法的K-medoids改进算法。该算法结合遗传算法和模拟退火算法,可以增强标准K-medoids算法在聚类时的全局搜索能力,并加快其收敛速度。对比实验证明:这一改进有效地弥补了标准K-medoids算法的上述缺陷,达到了提高聚类效率、加快收敛速度、改善聚类质量的目的。