K-Medoids聚类算法的计算机信息处理技术研究

当前计算机信息处理技术在大规模数据集上存在计算效率低下、对噪声和异常值敏感等问题。为了解决这些问题,本文提出了一种改进的K-medoids聚类算法。该方法通过优化初始中心点的选择和更新策略,提高了算法的收敛速度和稳定性,并引入基于密度的聚类评价指标,提高了对噪声数据的鲁棒性。通过在真实和人工数据集上的实验验证,证明了本方法在提高聚类效果和处理大规模数据方面的有效性。

基于DTW K-medoids与VMD-多分支神经网络的多用户短期负荷预测

多用户电力负荷预测是指根据历史负荷数据对多个用户或区域的电力负荷进行预测,可使电网企业掌握不同用户或区域的电力需求,以便更好地开展规划和实施调度优化等。然而由于各用户呈现出复杂多样的用电行为,采用传统方法难以进行统一建模并实现快速准确预测。为此,构建了一种基于DTW Kmedoids与VMD-多分支神经网络的多用户短期负荷预测模型。首先,采用DTW K-medoids法进行用户负荷数据聚类,利用动态时间弯曲(dynamic time warping,DTW)计算数据间的距离,取代K-medoids算法中传统的欧氏距离度量方式,以改善多用户负荷聚类的效果;在此基础上,为充分表征负荷历史数据的长短期时序依赖特征,建立了一种基于变分模态分解(variational mode decomposition,VMD)-多分支神经网络模型的并行预测方法,用于多用户短期负荷预测;最后,使用某地区20个用户365天的负荷数据进行聚类、训练和测试实验,结果显示该模型结果的平均绝对误差和均方根误差等指标均较对比模型有较大幅度降低,表明该方法可有效表征多类用户的用电行为,提升多用户负荷预测效率和精度。

基于k-Medoids聚类和深度学习的分布式短期负荷预测

为了获得较高的预测精度,提出一种基于k-Medoids聚类和深度学习的分布式短期负荷预测。基于配电变压器的能耗分布,采用k-Medoids聚类将电力负荷数据集中的数据进行聚类,并构建基于深度神经网络(DNN)和长短期记忆网络(LSTM)的短期负荷预测模型。在拥有1000个变电站数据子集的武汉配电网络系统中进行验证,验证结果表明,所提的kMedoids聚类可以在减少44%训练时间的基础上拟合出单个变压器预测模型的平均参数,且DNN和LSTM预测模型分别以7.32%和11.15%的平均绝对百分比误差(MAPE)跟踪实际负荷。

基于K-medoids聚类算法的多源信息数据集成算法

针对因多源信息数据源域相似性较低、不易确定导致的集成难度较大问题,提出一种基于K-medoids聚类算法的集成方法.先将多源数据的聚类过程视为迁移学习过程,确定初始样本的权重值,记录训练样本每次迭代时权重和损失期望值的学习特点,再利用特点参数判定数据属于源域还是目标域;然后将集成算法聚类转化为多样化的域值标记问题,使数据具有聚类特性后,再分别计算源域和目标域中待集成数据间的权重因子,利用权重因子覆盖特性判定二者间的交互信息量,对信息量较高的数据进行集成,以确保集成的成功率.仿真实验结果表明,该算法无论是在稳定、数目较少的数据集,还是在紊乱、数目较多较杂的数据集下,都能实现高效集成,并且二次集成次数较少,整体耗用较低.

基于密度权重的优化差分隐私K-medoids聚类算法

K-medoids算法作为数据挖掘中重要的一种聚类算法,与差分隐私保护的结合有助于信息数据的安全,原有的基于差分隐私保护的K-medoids聚类算法在初始中心点的选择上仍然具有盲目性和随机性,在一定程度上降低了聚类效果。本文针对这一问题提出一种基于密度权重的优化差分隐私K-medoids(DWDPK-medoids)聚类算法,通过引入数据密度权重知识,确定算法的初始中心点和聚类数,以提高聚类效果和稳定性。安全性分析表明,算法满足ε-差分隐私保护;通过对UCI真实数据集的仿真实验表明,相同隐私预算下该算法比DPK-medoids具有更好的聚类效果和稳定性。

基于K-medoids聚类算法的异常低压台区线损识别方法研究

在电力系统中,设备老化、技术缺陷等原因容易导致低压台区线损异常,影响运行。为此,文章基于K-medoids聚类算法,探讨一种用于识别异常低压台区线损的方法,阐述技术原理,通过聚类分析异常低压线损数据,发现特征,实现准确识别和定位。结果表明,该方法可较好地识别异常低压台区线损,并具有高精度。基于K-medoids聚类算法的异常低压台区线损识别方法提供了一种高效、准确的识别工具,为电力系统管理者及时解决异常低压问题提供了技术调节方式。

QPSO与K-Medoids相结合的带障碍空间聚类新算法

分析了现有的带障碍约束空间聚类算法,针对基于PSO优化的带障碍约束的K-Medoids聚类分析方法的不足,提出了QPSO与K-Medoids算法结合的带障碍空间聚类新算法(QKSCO)。在带障碍约束的空间条件下,该算法依据蚁群格网障碍距离作为聚类依据,引入了QPSO的快速全局收敛的特性,使之与K-Medoids算法的局部收敛特性相得益彰。实验结果表明该算法比PSO优化的带障碍约束的K-Medoids聚类算法更加稳定,聚类效果更好。

基于特征权重与K-Medoids算法结合的非均衡数据处理方法

目前处理非均衡数据的方法多是以重采样方法来延伸的,传统的方法在解决非均衡数据分类问题时会使样本数据分类的精确度偏向于多数类样本,而且没有解决好类内不均衡的问题,未将样本数据的特征权重考虑到分类算法或者采样方法中。因此论文提出了一种基于特征权重值与K-Medoids算法相结合的欠采样方法,这种方法解决了之前提出的问题,抽样得到的数据更有利于决策处理,从而使得分类器对不平衡数据的分类性能有所提高。通过实验表明,论文提出的方法与传统的随机欠采样方法相比,在处理相同标准数据集时具有更好分类效果,显著提高了数据集中各类的分类精度。

结合精英初始化和K近邻的蛇优化算法

蛇优化算法(SO)是一种受自然界中蛇生存行为启发产生的元启发式优化算法。原始蛇优化算法存在收敛速度慢、易陷入局部最优的问题,因此提出了一种结合精英初始化和K近邻的改进蛇优化算法(elite initia-lization and K-nearest neighbors improved snake optimizer,EKISO)。首先,为了提高初始种群质量,在种群初始化阶段提出精英初始化的方法,根据种群精英个体产生优质初始种群个体;其次,通过振荡因子优化螺旋觅食策略扩大全局勘探阶段的搜索范围、提高算法的局部逃逸能力;最后,在局部开发阶段提出K近邻思想的位置更新方法,增强种群个体之间的信息交互能力,从而加快收敛速度、提高收敛精度。利用14个经典测试函数和4个CEC2017测试函数将该方法与其他7种优化算法进行对比,证明EKISO收敛速度更快、精度更高且不易陷入局部最优。为了进一步验证EKISO的实用性与可行性,将EKISO应用于压力容器设计问题中,通过实验对比分析可知,EKISO在处理实际优化问题上具有一定的优越性。

基于改进流形距离K-medoids算法

针对空间分布复杂的数据以及空间分布未知的现实数据聚类问题,设计了一种改进流形距离作为不相似测度。该不相似测度可有效利用所有数据点之间的全局一致性,挖掘无类属数据集的空间分布信息。通过使用该不相似测度,提出了基于改进流形距离K-medoids算法。将新算法与基于已有的流形距离和基于欧氏距离的Kmedoids算法进行性能比较,对八个人工数据集以及USPS手写体数字识别问题的实验结果表明:新算法针对不同结构的测试数据集,在聚类性能上均优于或接近于另外两种K-medoids算法,并且对于各种分布的,无论简单或复杂,凸或者非凸的数据都可以进行聚类。

机器学习中用Python模拟K近邻算法的实现与应用

本文描述了K近邻算法的实现与应用。首先,以图形的方式介绍了K近邻算法的思想;其次使用Python语言自定义类模拟了系统K近邻算法的实现,在实现的过程中要遵循系统算法API接口规范;接下来,将模拟算法与系统算法进行比较,并优化自定义算法;最后,将自定义模拟算法应用到数据集划分和寻找最优超参数中。

改进K-medoids算法对小麦籽粒挤压数值的分析应用

通过应用传统PAM算法、快速K-medoids算法及自行设计提出的基于领域的改进K-medoids算法与对西旱2号小麦籽粒挤压破碎负载进行聚类分析比较,实验结果表明:基于领域的改进K-medoids算法的聚类时间与快速K-medoids算法基本持平,并明显优于PAM算法,在小麦籽粒挤压破碎负载的分析时间上分别减少了0.005s和0.331s,较后两种算法的聚类误差平方和小、聚类准确率高(90%以上),该算法能够为小麦籽粒面粉加工数据整理提供参考。

基于K-medoids-NCA-SMOTE-BSVM融合模型的网络交易平台高质量数据资源识别研究

随着数据服务形态不断衍生,数据资源作为一种新兴生产要素,其交易流通需求呈现爆发式增长。如何从海量数据中识别高质量数据资源,挖掘要素价值,成为数据交易平台获取竞争优势以及提升要素配置效率的关键。本文旨在发现平台交易情境下高质量数据形成的关键因素,提出从大规模、异质数据资源中高效识别高质量数据的方法。首先,基于高质量数据形成过程,构建“固有品质-商品表征”二维识别指标体系;然后,提出K-medoids-NCA-SMOTE-BSVM融合模型,对高、中、低三类不同质量数据进行分类预测;最后,收集真实数据交易平台的API交易数据,开展实证研究。结果显示:相比SVM,WOA-SVM,PSO-SVM,MLP和CNN等方法,K-medoids-NCA-SMOTE-BSVM模型在预测准确率和训练时间方面,均有良好的性能表现。本文提出的识别指标及分类模型,为平台经济下数据质量判断与预测提供了依据,对产品视角下数据质量标准制定以及数据交易定价优化具有一定实践意义。

一种高效的K-medoids聚类算法

针对K-medoids算法初始中心点选择敏感、大数据集聚类应用中性能低下等缺点,提出一个基于初始中心微调与增量中心候选集的改进K-medoids算法。新算法以微调方式优化初始中心,以中心候选集逐步扩展的方式来降低中心轮换的计算复杂性。实验结果表明,相对于传统的K-medoids算法,新算法可以提高聚类质量,有效缩短计算时间。

基于距离不等式的K-medoids聚类算法

研究加速K-medoids聚类算法,首先以PAM(partitioning around medoids)、TPAM(triangular inequality elimination criteria PAM)算法为基础给出两个加速引理,并基于中心点之间距离不等式提出两个新加速定理.同时,以O(n+K^2)额外内存空间开销辅助引理、定理的结合而提出加速SPAM(speed up PAM)聚类算法,使得K-medoids聚类算法复杂度由O(K(n-K)~2)降低至O((n-K)~2).在实际及人工模拟数据集上的实验结果表明:相对于PAM,TPAM,FKMEDOIDS(fast K-medoids)等参考算法均有改进,运行时间比PAM至少提升0.828倍.

基于MapReduce的K-Medoids并行算法

为了解决传统K-Medoids聚类算法在处理海量数据信息时所面临的内存容量和CPU处理速度的瓶颈问题,在深入研究K-Medoids算法的基础之上,提出了基于MapReduce编程模型的K-Medoids并行化算法思想。Map函数部分的主要任务是计算每个数据对象到簇类中心点的距离并(重新)分配其所属的聚类簇;Reduce函数部分的主要任务是根据Map部分得到的中间结果,计算出新簇类的中心点,然后作为中心点集给下一次MapReduce过程使用。实验结果表明:运行在Hadoop集群上的基于MapReduce的K-Medoids并行化算法具有较好的聚类结果和可扩展性,对于较大的数据集,该算法得到的加速比更接近于线性。

基于K-Medoids聚类的改进KNN文本分类算法

为有效提高传统KNN算法(K最近邻算法)在海量数据的分类效率,分析传统KNN算法的分类过程,提出基于K-Medoids聚类的改进KNN算法。利用K-Medoids算法对文本训练集进行聚类,把文本训练集分成相似度较高的簇;根据待分类文本与簇的相对位置,对文本训练集进行裁剪,解决传统KNN算法在文本训练集过大时速度慢的问题。分析与实验结果表明,该裁剪方法能够合理有效地裁剪文本训练集,提高了KNN算法的运行效率和分类能力。

基于粒计算的K-medoids聚类算法

传统K-medoids聚类算法的聚类结果随初始中心点不同而波动,且计算复杂度较高不适于处理大规模数据集;快速K-medoids聚类算法通过选择合适的初始聚类中心改进了传统K-medoids聚类算法,但是快速K-medoids聚类算法的初始聚类中心有可能位于同一类簇。为克服传统K-medoids聚类算法和快速K-medoids聚类算法的缺陷,提出一种基于粒计算的K-medoids聚类算法。算法引入粒度概念,定义新的样本相似度函数,基于等价关系产生粒子,根据粒子包含样本多少定义粒子密度,选择密度较大的前K个粒子的中心样本点作为K-medoids聚类算法的初始聚类中心,实现K-medoids聚类。UCI机器学习数据库数据集以及随机生成的人工模拟数据集实验测试,证明了基于粒计算的K-medoids聚类算法能得到更好的初始聚类中心,聚类准确率和聚类误差平方和优于传统K-medoids和快速K-medoids聚类算法,具有更稳定的聚类结果,且适用于大规模数据集。

基于遗传算法和k-medoids算法的聚类新算法

提出一种基于遗传算法和k-m edoids算法的新的聚类算法。指出该算法除能提高聚类的精度和识别孤立点外,还能加速遗传算法的收敛速度,节约时间成本。

基于多核平台并行K-Medoids算法研究

分析K-Medoids算法的内在并行性,设计一个适合多核平台的并行算法,并利用OpenMP进行实验。实验结果表明,并行算法对多核环境有很好的适应性,在双核及四核计算机上均获得了较好的加速比与运行效率。