基于马氏距离和Canopy改进K-means的交通聚类算法

在对交通数据的研究中经常会使用到聚类算法,且不同的聚类算法有不同的特性。K-means作为其中的一种聚类算法,具有较高的准确性和实用性,但其准确性易受主观选取K值和确定初始聚类中心的影响。为了优化聚类中心和K值的选取问题,提出MC-Kmeans算法。在所提方法中,首先通过Canopy算法选取K值,然后依据马氏距离的计算准则来确定初始聚类中心,最后将K值和聚类中心的值作为K-means的参数进行聚类。将MC-Kmeans算法应用到某时间段的纽约出租车交通数据中进行实际的验证。结果表明,与K-means算法比较,所提方法准确度更高,与实际交通情况更加相匹配,更能反映区域内的交通热点情况。

基于改进的Canopy-k-means的大跨屋盖表面风荷载分区方法

针对k-means聚类算法在大跨屋盖结构表面风荷载分区计算中,聚类数k值随机选取容易导致结果不稳定和计算效率低等问题,提出改进的Canopy-k-means聚类算法。首先,引入Canopy算法并对其初始阈值和聚类中心的选取方式进行改进,减少初始值选取的盲目性,以提高风荷载分区结果的可靠性;其次,通过改进Canopy算法对风荷载数据集进行预处理,快速准确地确定聚类数k值;第三,将改进Canopy算法与k-means结合使用,实现最优分类数k值的精准识别,使得改进的Canopy-k-means聚类算法进行大跨屋盖结构表面风荷载分区时能够快速准确地得到分区结果;最后,以一大跨柱面屋盖干煤棚结构为例,基于风洞试验所得结构表面风荷载数据测试结果,采用所提改进的Canopy-k-means聚类算法对其表面风荷载进行分区计算。结果表明,采用改进的Canopy-k-means聚类算法,将0°、50°和90°风向角时大跨屋盖表面风荷载划分为了3个不同的分区,其对应的SD值分别为2.36、3.51和2.52,较传统k-means聚类算法所得对应值明显降低,类内紧凑性和类间分散性明显提升。所提改进Canopy-k-means聚类算法能够快速准确地得到最优分区结果,对大跨屋盖表面风荷载分区具有工程参考价值。

基于Canopy和k-means算法的订单分批优化

文章针对物流企业的订单分批问题,提出了改进的Canopy-k-means算法。该算法是采用Canopy算法依据最大最小原则生成初始聚类中心,并使用k-means聚类算法对其进行优化获取分批结果的。此外,文章针对不同规模的订单数据集,比较了该算法和先来先服务(first come first served,FCFS)、k-means以及Canopy-k-means算法的实际效果,实验结果表明:该算法可以避免k-means算法中k值选取的盲目性,同时可以有效地提高分拣效率以及降低分拣批次。

面向不平衡数据集融合Canopy和K-means的SMOTE改进算法

针对SMOTE算法和随机森林可较好解决不平衡数据集的分类问题但对少数类样本分类效果还有待提高的问题,融合Canopy和K-means两种聚类算法,设计了C-K-SMOTE改进算法。先后利用Canopy算法进行快速近似聚类,再利用K-means算法进行精准聚类,得到精准聚类簇,最后利用SMOTE算法增加少数类样本数量,使数据趋于平衡。选取公开数据集KEEL(knowledge extraction on evolutionary learning)数据库中的不平衡数据集,结合随机森林分类模型进行了实验验证,实验表明C-K-SMOTE算法可有效平衡不平衡数据集。

基于Canopy和共享最近邻的服务推荐算法

为辅助银行机构进行精准的服务推荐,提出了基于改进的Canopy和共享最近邻相似度的聚类算法。基于该算法对用户进行细分,针对用户群特点进行精准服务推荐。该算法首先采用最大值和最小值对Canopy算法进行改进,并应用该算法得出初始聚类结果,然后利用共享最近邻相似度算法对聚类结果中的交叉部分数据进行归类,最终得出用户聚类数据。该算法在某银行对真实客户数据进行应用,选择基于客户的贡献度、忠诚度和活跃度3个指标进行聚类,结果表明,该算法提高了客户细分的质量和聚类的效率,聚类结果对于客户的消费数据刻画非常准确,能够为银行的精准服务推荐提供数据支持。

Canopy在划分聚类算法中对K选取的优化

针对划分聚类算法中聚类数K的取值工作量较大的问题,提出一种新的Canopy+算法.该算法可实现对聚类个数K的预判,在保证准确率的前提下提高聚类工作效率.

基于改进Canopy-FCM的光伏电站动态特性聚类算法

为了准确分析并网光伏电站的动态特性,提出一种基于Canopy-模糊C-means(fuzzy C-means, FCM)聚类算法的等效建模方法。在传统聚类指标选取方面,通过详细的数学模型,推导并网逆变器控制系统的传递函数,并以闭环传递函数的零极点表达式为基础,提出一种新的聚类指标。为改进FCM聚类对初始聚类中心和外部聚类中心的敏感性,采用Canopy算法确定初始聚类中心和聚类个数,提高聚类算法的准确性和效率。算例研究验证了所提方法的有效性。

基于Canopy聚类的噪声自适应模糊C-均值算法

针对局部空间信息的模糊C-均值算法中空间影响因子容易受到噪声影响出现错误标志的问题,提出一种融合局部和非局部空间信息的模糊C-均值聚类图像分割算法(NLWFLICM)。在WFLICM算法的模糊影响因子中引入非局部空间信息,根据噪声程度自适应地设置局部和非局部信息权重,并重新标记中心点的模糊影响因子。实验结果表明,NLWFLICM算法具有比WFLICM算法更强的鲁棒性和自适应性,并在一定程度上提高了WFLICM算法对含有大量噪声图像进行分割的鲁棒性,同时保留了图像的纹理。为了提高算法的聚类性能和收敛速度,结合Canopy算法能够快速对数据进行粗聚类的优点,提出基于Canopy聚类与非局部空间信息的FCM图像分割改进算法(Canopy-NLWFLICM),可以在NLWFLICM算法聚类前对聚类中心进行预处理,从而提高收敛速度和图像分割精度。

基于加权密度Canopy的K-means文本聚类

针对现有文本聚类性能不高的问题,提出了一种改进质心初始化的K-means文本聚类算法.该算法首先利用Canopy算法进行文本预聚类,并且对Canopy算法的阈值选取策略进行改进,定义加权密度进行Canopy中心的选取,得到更准确的聚类数以及初始聚类中心;然后将所得结果作为K-means算法的初始化参数进行后续迭代聚类,有效解决了传统算法因随机选取初始聚类中心而陷入局部最优解的问题,减少了算法的迭代次数,提高了聚类准确性.实验结果表明:与其他同类型算法相比,该算法在文本聚类分析中更具优势.

基于类别偏好Canopy-K-means的协同过滤推荐系统算法

协作过滤算法(CF)在推荐系统中难以处理数据的稀疏性和可伸缩性问题。本文提出了基于类别偏好Canopy-K-means的协同过滤算法(CPCKCF),设计了用户项类别偏好比率(UICPR)的定义,并用来计算UICPR矩阵。将Canopy算法作为CPCKCF的前置算法,并将输出作为K-means算法的输入,其结果用于用户数据进行聚类并找到最近的用户以获得预测得分,使用MovieLens数据集进行的实验结果表明,与传统的基于用户的协作过滤算法相比,所提出的CPCKCF算法将计算效率和推荐精度提高了2.81%。

基于Flink框架的K-means算法优化及并行计算策略

K-means算法因其原理简单和聚类效果尚佳的优点在机器学习和数据挖掘领域得到广泛使用,但其仍存在一些缺点:K-means算法需指定分类类别数K;K-means算法对于初始聚类中心的选取策略是随机选择,这可能会影响到最终聚类结果的准确率及计算速度。以上缺点都限制了K-means算法的计算效率的进一步提升。论文针对以上问题,提出了一种基于Flink并行化的K-means优化算法,该算法在传统K-means算法的基础上引入Canopy算法来完成初始聚类,得到类别数K,然后采用最大距离算法来计算初始聚类中心,并利用Flink框架的并行计算能力,对多个数据集进行聚类实验。实验结果表明,论文算法可以减少聚类过程迭代次数,并且在聚类准确率方面也有一定的提高,在大规模数据集环境下同样具有良好的计算效率。

基于犹豫模糊Canopy-K均值聚类算法的研究与应用

针对传统K均值聚类算法对初始值敏感、易陷入局部极值点,导致数据分类结果不理想的问题,本文提出一种基于犹豫模糊Canopy-K均值聚类算法。首先利用Canopy算法对原始数据进行初步分类,形成多个数据重合的Canopy中心集合,即得到K均值算法的初始聚类中心。然后再利用K均值聚类算法进行聚类,得到最终的聚类结果。最后结合疫情后复工复产企业评价信息数据进行实例分析,从6个方面对复工复产的5个企业发展情况进行评估。将新提出的算法和基于层次分析的K均值聚类算法进行对比分析。结果表明,新提出的方法较大地减少了迭代次数,聚类结果更加合理、稳定和有效。

K-means算法的优化及应用

针对K-means算法易受初始值和异常点影响,以及聚类数选取依靠人工经验和初始聚类中心选取随机等缺点,提出一种基于改进Canopy算法的K-means聚类算法。首先将初始数据集进行预处理和分类,然后选取特殊的阈值利用改进的Canopy算法得到聚类数和初始聚类中心,再运行K-means算法实现最终聚类。经检验得知,改进后的算法减少了对人工选择的依赖,并且聚类准确度有了明显的提高。最后将改进后的算法应用于顾客细分实例,取得了良好的分类效果,证明了优化算法的实用性。

K-means算法的初始值选取问题的研究

随着数据爆发式的增长,数据挖掘算法的使用更加频繁,因此选取合适的数据挖掘算法进行数据分析是非常有必要的。本文对确定K-means算法初始值的问题,提出了一种数据预处理的优化方案。通过对目标数据集进行Canopy算法处理,并对Canopy算法执行后的分组进行降噪、合并,以最终的分组个数作为K-means算法的分组K值,并以各分组的重心作为初始聚类重心,从而确定K-means算法的初始值。对比实验的结果显示,优化后的K-means算法具有更好的聚类效果。

一种K-means改进算法的并行化实现与应用

随着数据的爆炸式增长,聚类研究作为大数据的核心问题之一,正面临计算复杂度高和计算能力不足等诸多问题。提出了一种基于Hadoop的分布式改进K-means算法,该算法通过引入Canopy算法初始化K-means算法的聚类中心,克服传统K-means算法因初始中心点的不确定性,易陷入局部最优解的问题。本算法在Canopy(罩盖)中完成K-means聚类,并在Canopy间完成簇的合并,聚类效果稳定,迭代次数少。同时,结合MapReduce分布式计算模型,给出改进后算法的并行化设计方法和策略,进一步通过改进相似度度量方法,将该方法用于文本聚类中。实验结果证明该算法具有良好的准确率和扩展性。

面向海量数据的K-means聚类优化算法

针对集中式系统框架难以进行海量数据聚类分析的问题,提出基于MapReduce的K-means聚类优化算法。该算法运用MapReduce并行编程框架,引入Canopy聚类,优化K-means算法初始中心的选取,改进迭代过程中通信和计算模式。实验结果表明该算法能够有效地改善聚类质量,具有较高的执行效率以及优良的扩展性,适合用于海量数据的聚类分析。

基于改进K_Medoids算法的高光谱图像聚类

为了解决在复杂的、数据量庞大的高光谱图像中汇集出参考价值较高的聚类组合问题,本文提出一种基于流形的K_Medoids改进算法并应用于高光谱图像的聚类实践中。该算法应用改进的Canopy算法进行初值选定,通过基于流形的测地距离所生成的像元距离矩阵来完成K_Medoids算法的聚类过程。该算法对传统聚类算法所具有的一些难以解决的弊端起到良好的抑制作用。利用AVIRIS图像对该算法进行验证,实验结果表明:与传统方法相比,该算法在类内距离、类间距离、Jaccard系数、Rand系数,以及聚类图像的直观对比五个评价标准下能够取得比传统方法更好的效果。

基于MapReduce的K-means聚类算法的优化

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷,提出了一种基于MapReduce的改进K-means聚类算法。该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景;文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者;这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势。

K-Means算法改进及基于Spark计算模型的实现

K-Means算法是一种基于划分的算法,具有实现简单、效率较高的特点,但存在对初始中心选取依赖性强、分类数K未必总是已知及算法频繁迭代资源开销大等缺点。为解决这些问题,通过引入Canopy算法和最小最大距离算法对原K-Means算法进行改进,并在大数据的现实背景下,采用Spark并行计算框架来实现该算法。实验结果表明:改进后的聚类算法在分类稳定性、准确性和收敛速度上都有所提升,并在处理大规模数据方面表现出较大的性能优势。

基于MapReduce的K_means并行算法及改进

针对传统k_means聚类算法在处理海量数据时所面临的内存不足、运算速度慢等问题,提出了一种基于Map Reduce的K_means并行算法,同时为了改善k_means算法在初始值确定方面的盲目性,采用canopy算法进行改进.实验结果表明,基于Map Reduce的K_means并行算法和改进后的算法均能产生良好的聚类效果,不仅提高了聚类质量,而且在处理大数据集方面,改进后的算法的还能够得到趋近于线性的加速比.