基于MapReduce的分布式近邻传播聚类算法

随着信息技术迅速发展,数据规模急剧增长,大规模数据处理非常具有挑战性.许多并行算法已被提出,如基于MapReduce的分布式K平均聚类算法、分布式谱聚类算法等.近邻传播(affinity propagation,AP)聚类能克服K平均聚类算法的局限性,但是处理海量数据性能不高.为有效实现海量数据聚类,提出基于MapReduce的分布式近邻传播聚类算法——DisAP.该算法先将数据点随机划分为规模相近的子集,并行地用AP聚类算法稀疏化各子集,然后融合各子集稀疏化后的数据再次进行AP聚类,由此产生的聚类代表作为所有数据点的聚类中心.在人工合成数据、人脸图像数据、IRIS数据以及大规模数据集上的实验表明:DisAP算法对数据规模有很好的适应性,在保持AP聚类效果的同时可有效缩减聚类时间.

基于改进的近邻传播聚类算法的Gap统计研究

由于K-means算法初始聚类中心的选取具有随机性,聚类结果可能不稳定,导致Gap统计估计的聚类数也可能不稳定。针对这些不足,提出一种改进的近邻传播算法-mAP。该算法考察数据的全局分布特性,不同的点赋予不同的P值。在Gap统计中用mAP算法代替K-means算法,提出基于mAP的Gap统计mAPGap。mAP能在较短的时间内得到较好的聚类效果,而且不需要预先设定初始聚类中心,聚类结果更稳定。实验结果表明,mAPGap在估计聚类数的稳定性和聚类精度上都优于原Gap。

跳跃跟踪SSA交叉迭代AP聚类算法

针对传统近邻传播聚类算法以数据点对之间的相似度作为输入度量,由于需要预设偏向参数p和阻尼系数λ,算法精度无法精确控制的问题,提出了一种跳跃跟踪麻雀搜索算法优化的交叉迭代近邻传播聚类方法.首先,针对麻雀搜索算法中发现者和加入者位置更新不足的问题,设计了一种跳跃跟踪优化策略,通过考虑偏好阻尼因子的跳跃策略设计大步长更新发现者,增加麻雀搜索算法的全局勘探能力和寻优速度,加入者设计动态小步长跟踪领头雀更新位置,同时,利用自适应种群划分机制更新发现者和加入者的比重,增加算法的后期局部开发能力和寻优速度;其次,设计基于扰动因子的Tent映射,在此基础上增加3个参数,使映射分布范围增大,并避免了陷入小周期点和不稳周期点;最后,引入轮廓系数作为评价函数,跳跃跟踪麻雀搜索算法自动寻找较优的p和λ,代替手动输入参数,并融合基于扰动因子的Tent映射优化近邻传播算法,交叉迭代确定最优簇数.使用多种算法聚类University of California Irvine数据集的10种公共数据集,仿真结果表明,本文提出的聚类算法与经典近邻传播算法、基于差分改进的仿射传播聚类算法、基于麻雀搜索算法优化的近邻传播聚类算法和进化近邻传播算法相比具有更优的搜索效率以及聚类精度.对国家信息数据进行了聚类分析,提出的方法更加准确有效合理,具有较好的应用价值.

基于近邻传播聚类-K均值聚类的工业用户用电模式挖掘方法

为了充分发挥用户负荷的可调节潜力,提出了一种基于近邻传播聚类-K均值聚类的工业用户用电模式挖掘方法。首先,比较K均值聚类和近邻传播聚类-K均值聚类的优缺点。在工业用户的选取上,选择最佳聚类数均为3的工业用户负荷数据作为被分析对象以便聚类,借助MATLAB工具对用户负荷数据进行聚类,得到了3组所需的聚类中心,再绘制成曲线以便观察和后续提取特征指标。

基于近邻传播聚类的多源异构数据信息个性化推送方法

在处理多源异构数据、大规模数据时,传统的推送方法倾向于根据整体数据趋势和热门程度进行推送,未能根据具体数据特征和用户行为进行细致区分,因此推送内容可能过于泛泛,缺乏针对性。为此,提出一种基于近邻传播聚类的多源异构数据信息个性化推送方法。使用网络爬虫技术,获取用户在网络上的信息浏览行为数据,对这些数据进行分析,构建用户偏好模型。为了提升数据质量,采用空间滤波法对多源异构数据信息进行去噪处理。通过对数据进行标准化处理,消除数据的多源异构特性,使其具有可比性。在此基础上,运用主成分分析法进一步提取多源异构数据信息的核心特征。利用邻近传播聚类算法,对数据特征和用户偏好进行聚类分析,将具有相似性的数据或用户偏好归为一类。基于这些聚类结果,实现个性化的内容推送。经过实验验证,所设计的信息推送方法展现出极高的适配度和点击率,均超过95%。这一成果充分证明了所提出的方法能够实现对多源异构数据信息的个性化精准推送,为用户提供更加精准、贴心的信息服务。

基于密度与近邻传播的数据流聚类算法

针对现有算法聚类精度不高、处理离群点能力较差以及不能实时检测数据流变化的缺陷,提出一种基于密度与近邻传播融合的数据流聚类算法.该算法采用在线/离线两阶段处理框架,通过引入微簇衰减密度来精确反映数据流的演化信息,并采用在线动态维护和删减微簇机制,使算法模型更符合原始数据流的内在特性.同时,当模型中检测到新的类模式出现时,采用一种改进的加权近邻传播聚类(Weighted and hierarchical affinity propagation,WAP)算法对模型进行重建,因而能够实时检测到数据流的变化,并能给出任意时间的聚类结果.在真实数据集和人工数据集上的实验表明,该算法具有良好的适用性、有效性和可扩展性,能够取得较好的聚类效果.

一种基于自适应标记与区域间近邻传播聚类的分水岭图像分割算法

分水岭算法是一种高效的图像分割算法,能够准确地对图像进行基于区域的分割,但是存在易过分割的问题.为此本文提出一种改进的分水岭算法:首先,对彩色图像进行频谱包络滤波并计算彩色梯度获得梯度图像,再采取一种自适应设定参数的H-minima技术,对梯度图像的极小值区域进行标记;然后,对已标记极小值区域的梯度图像进行分水岭分割;最后,计算分水岭分割所得各区域的颜色矩,作为该区域的颜色特征,并对这些区域进行近邻传播聚类获得分割结果.通过与近年来其它改进的分水岭算法和采用聚类的图像分割算法实验比较,本文所提算法能更加有效地抑制过分割,提高分割准确率,具有良好的自适应性和鲁棒性.

一种分层组合的半监督近邻传播聚类算法

针对近邻传播(AP)聚类算法的计算复杂度和准确性,该文提出一种分层组合的半监督近邻传播聚类算法(SAP-SC)。算法引入"分层聚类"的思想,将一次AP聚类过程等分成若干层聚类,使得处理过程简单、易于实现;每层只关注聚类"困难"的数据点,并通过构造"成对点约束"和使用"子簇标签映射"进行半监督学习;基于"组合提升"的方法将各层聚类结果加权叠加,从而提升了算法的准确性能。理论分析和实验结果表明:算法在聚类准确性和计算复杂度方面有了较大改进。

面向大规模数据的分层近邻传播聚类算法

近邻传播(Affinity Propagation,AP)聚类具有不需要设定聚类个数、快速准确的优点,但无法适应于大规模数据的应用需求。针对此问题,提出了分层近邻传播聚类算法。首先,将待聚类数据集划分为若干适合AP算法高效执行的子集,分别推举出各个子集的聚类中心;然后对所有子集聚类中心再次执行AP聚类,推举出整个数据集的全局聚类中心;最后根据与这些全局聚类中心的相似度对聚类样本进行划分,从而实现对大规模数据的高效聚类。在真实和模拟数据集上的实验结果均表明,与AP聚类和自适应AP聚类相比,该方法在保证较好聚类效果的同时,极大地降低了聚类的时间消耗。

基于近邻传播算法的最佳聚类数确定方法比较研究

在聚类分析中,决定聚类质量的关键是确定最佳聚类数。提出采用聚类效果较好的近邻传播聚类算法对样本进行聚类,运用6种聚类有效性指标分别对聚类结果进行有效性分析,以确定最佳聚类数。具体分析了这些有效性指标,并改进了IGP指标确定最佳聚类数的方法。针对8个数据集,通过实验比较这些指标的性能。分析和实验结果表明,基于近邻传播聚类算法,IGP指标确定最佳聚类数的性能最好。

基于近邻传播算法的半监督聚类

提出了一种基于近邻传播(affinity propagation,简称AP)算法的半监督聚类方法.AP是在数据点的相似度矩阵的基础上进行聚类.对于规模很大的数据集,AP算法是一种快速、有效的聚类方法,这是其他传统的聚类算法所不能及的,比如:K中心聚类算法.但是,对于一些聚类结构比较复杂的数据集,AP算法往往不能得到很好的聚类结果.使用已知的标签数据或者成对点约束对数据形成的相似度矩阵进行调整,进而达到提高AP算法的聚类性能.实验结果表明,该方法不仅提高了AP对复杂数据的聚类结果,而且在约束对数量较多时,该方法要优于相关比对算法.

基于近邻传播与密度相融合的进化数据流聚类算法

针对目前数据流离群点不能很好地被处理、数据流聚类效率较低以及对数据流的动态变化不能实时检测等问题,提出一种基于近邻传播与密度相融合的进化数据流聚类算法(I-APDen Stream)。此算法使用传统的两阶段处理模型,即在线与离线聚类两部分。不仅引进了能够体现数据流动态变化的微簇衰减密度以及在线动态维护微簇的删减机制,而且在对模型采用扩展的加权近邻传播(WAP)聚类进行模型重建时,还引进了异常点检测删除机制。通过在两种类型数据集上的实验结果表明,所提算法的聚类准确率基本能保持在95%以上,其纯度对比实验等其他相关测试都有较好结果,能够高实效、高质量、高效率地处理数据流数据聚类。

基于稀疏表示的近邻传播聚类算法

借助稀疏表示具有能较好刻画样本之间相似度的特点,提出一种基于稀疏表示的近邻传播聚类算法.仿真实验表明,本聚类算法较基于其它距离度量的算法能获得更好的聚类效果.

基于近邻传播的分布式数据流聚类算法

针对分布式数据流聚类算法存在的聚类质量不高、通信代价大的问题,提出了密度和代表点聚类思想相结合的分布式数据流聚类算法。该算法的局部站点采用近邻传播聚类,引入了类簇代表点的概念来描述局部分布的概要信息,全局站点采用基于改进的密度聚类算法合并局部站点上传的概要数据结构进而获得全局模型。仿真实验结果表明,所提算法能明显提高分布式环境下数据流的聚类质量,同时算法使用类簇代表点能够发现不同形状的聚簇并显著降低数据传输量。

基于奇异值分解的自适应近邻传播聚类算法

针对近邻传播算法无法有效处理高维数据而导致聚类效果不佳的问题,提出一种基于奇异值分解的自适应近邻传播(SVD-SAP)聚类算法.通过引入奇异值分解,对高维数据进行重构、降维,消除冗余信息,并在此基础上采用非线性函数策略,自适应地调整阻尼系数,提高算法的聚类性能.仿真实验结果表明,与已有算法相比,该改进算法聚类精度更高,收敛速度更快.

一种基于同类约束的半监督近邻反射传播聚类方法

以近邻反射传播(Affinity propagation,AP)聚类算法为基础,提出了一种基于同类约束的半监督近邻反射传播聚类方法 (Semi-supervised affinity propagation clustering method with homogeneity constraints,HCSAP).该方法在聚类目标函数中引入同类约束项,以保证聚类结果与同类集先验信息一致.利用最大和信任传播(Max-sum belief propagation)优化过程对目标函数进行求解,导出同类约束下的吸引度(Responsibility)和归属度(Availability)的迭代方程.人工数据集和真实数据集上的实验结果表明本文所提方法的有效性.

基于改进近邻传播算法的Web用户聚类

随着Intemet和电子商务的迅猛发展，聚类技术在Web用户划分方面的作用越来越明显。Web用户聚类的难度在于有成千上万的用户需要聚类，而且每个用户的偏好向量是高维稀疏的。对于处理大规模的数据集。近邻传播算法是一种快速、有效的聚类方法。但面对高维稀疏的数据，近邻传播算法往往不能得到很好的聚类结果，而且该方法不能产生指定类数的聚类。本文提出一种改进的近邻传播算法，使用该方法对Web用户进行聚类。根据灰关系等级和Jaccard系数定义用户相似度矩阵，对算法产生的初始聚类进行重新分配，获得指定类数的聚类。实验结果表明新算法是有效的，与原始近邻传播算法相比，新算法在个性化推荐的应用中具有更好的性能。

一种改进近邻传播聚类的图像分割算法

针对近邻传播(Affinity Propagation,AP)聚类算法存在运算复杂度高且未考虑数据点密度对聚类效果的影响的问题,提出一种改进的近邻传播聚类算法并应用于图像分割。首先,在度量数据点之间的相似性时,考虑到密度差异对数据点成为类代表点可能性的影响,利用密度聚类的思想设置偏向参数,同时引入数据点的空间邻近位置信息,充分利用图像信息,提高相似度矩阵构造的合理性,增强聚类的内聚性,并提高分割精度;其次,为降低计算相似度矩阵的复杂度,减小计算机内存开销,引入Nystr?m逼近策略求解相似度矩阵,提升了算法的效率。实验表明,改进后的算法与传统的近邻传播聚类算法相比获得了更好的图像分割效果。

基于近邻传播聚类与MCMC算法的风电时序数据聚合方法

为减少风电功率时序数据的冗余信息,提高电力系统仿真的计算效率。该文提出一种基于近邻传播聚类与马尔科夫链蒙特卡洛(affinity propagation clustering andMarkov Chain Monte Carlo,AP-MCMC)的风电功率时序数据聚合方法。首先,采用自相关函数与快速傅里叶变换分别对风电时序数据进行时–频域周期特性分析,选取聚类场景样本的最佳时间尺度。其次,利用近邻传播(affinity propagation,AP)算法对场景样本聚类,获取多类场景簇,并基于马尔科夫链蒙特卡洛(Markov chain Monte Carlo,MCMC)方法,构建各类场景簇间的状态转移概率矩阵,生成自定义长度的聚合状态序列,最后,按照状态序列逐次单向顺序抽取场景簇中的样本,构建成具有代表性的风电时序聚合序列。以某省级电网为算例,将提出的AP-MCMC法与典型日法、典型场景集法的多元评价指标对比分析。结果表明,AP-MCMC法生成的聚合序列能更准确地反映风电功率的特征和优化策略,提高了计算精确度和效率,具有一定的工程应用价值。

基于约束投影的近邻传播聚类算法

提出了一种基于约束投影的近邻传播AP聚类算法。AP算法是在数据点相似度矩阵的基础上进行聚类的,很多传统的聚类方法都无法与其相媲美。但是,对于结构复杂的数据,AP算法往往得不到理想的结果。文中算法先对约束信息进行扩展,然后利用扩展的约束信息指导投影矩阵的获取,在低维空间中,利用约束信息对聚类结果进行修正。实验表明,文中算法与对比算法相比,时间性能更优,聚类效果更佳。