基于改进的近邻传播聚类算法的Gap统计研究

由于K-means算法初始聚类中心的选取具有随机性,聚类结果可能不稳定,导致Gap统计估计的聚类数也可能不稳定。针对这些不足,提出一种改进的近邻传播算法-mAP。该算法考察数据的全局分布特性,不同的点赋予不同的P值。在Gap统计中用mAP算法代替K-means算法,提出基于mAP的Gap统计mAPGap。mAP能在较短的时间内得到较好的聚类效果,而且不需要预先设定初始聚类中心,聚类结果更稳定。实验结果表明,mAPGap在估计聚类数的稳定性和聚类精度上都优于原Gap。

基于改进近邻传播算法的Web用户聚类

随着Intemet和电子商务的迅猛发展，聚类技术在Web用户划分方面的作用越来越明显。Web用户聚类的难度在于有成千上万的用户需要聚类，而且每个用户的偏好向量是高维稀疏的。对于处理大规模的数据集。近邻传播算法是一种快速、有效的聚类方法。但面对高维稀疏的数据，近邻传播算法往往不能得到很好的聚类结果，而且该方法不能产生指定类数的聚类。本文提出一种改进的近邻传播算法，使用该方法对Web用户进行聚类。根据灰关系等级和Jaccard系数定义用户相似度矩阵，对算法产生的初始聚类进行重新分配，获得指定类数的聚类。实验结果表明新算法是有效的，与原始近邻传播算法相比，新算法在个性化推荐的应用中具有更好的性能。

一种改进近邻传播聚类的图像分割算法

针对近邻传播(Affinity Propagation,AP)聚类算法存在运算复杂度高且未考虑数据点密度对聚类效果的影响的问题,提出一种改进的近邻传播聚类算法并应用于图像分割。首先,在度量数据点之间的相似性时,考虑到密度差异对数据点成为类代表点可能性的影响,利用密度聚类的思想设置偏向参数,同时引入数据点的空间邻近位置信息,充分利用图像信息,提高相似度矩阵构造的合理性,增强聚类的内聚性,并提高分割精度;其次,为降低计算相似度矩阵的复杂度,减小计算机内存开销,引入Nystr?m逼近策略求解相似度矩阵,提升了算法的效率。实验表明,改进后的算法与传统的近邻传播聚类算法相比获得了更好的图像分割效果。

基于改进近邻传播算法的聚类质量评价模型

针对近邻传播(Affinity Propagation,简称AP)算法在对非团状数据集聚类过程中出现的局部聚类较多、精准度不高等问题,提出了一种基于改进AP算法的聚类质量评价模型.首先,在AP算法初步聚类的基础上,通过合并相似度较大的簇,减小聚类上限值kmax,进一步压缩聚类区间范围;其次,给出一个新的内部评价指标,用分属不同簇的样本对的平均距离代表簇间距离,削弱噪声数据的影响,平衡簇间分离度与簇内紧致度的关系.在UCI和KDD CUP99数据集上的实验结果表明,新模型可以给出精准的最优聚类数(范围),能够在保持较低漏报率的同时,有效提高样本的检测率和分类正确率.

基于改进近邻传播聚类的异构无线传感器网络分簇算法

在近邻传播聚类算法基础上提出了基于偏向参数p可变的分簇路由算法CPAP,该算法针对异构无线传感器网络的特殊背景,改变AP算法偏向参数p的常规设置方式,综合考虑能量、距离因素解决分簇问题;另外,分析了算法中K参数的影响,取得其近似最优值。仿真结果表明:CPAP与PECBA相比,第一死亡节点出现时间推迟了28.5%,将更多的能量用于网络开始死亡之前,提高了网络的能量利用率。

近邻传播聚类优化的角点检测改进算法

针对传统Harris角点检测算法和目前一些改进算法应用在图像拼接时,仍然可能存在只可在单一尺度上检测、角点位置不准确、伪检和对噪声敏感致使检测率不高等缺点,提出一种基于AP聚类角点提取优化的双边滤波(BF)角点检测改进算法。该算法在对图像进行双边滤波和多尺度角点检测的基础上,采用一种新型的聚类算法——近邻传播聚类算法(AP聚类算法),对候选角点提取真实角点的效率进行优化,并对角点算子进行改进。实验是在VS2010+OpenCV平台实现的。结果表明提出的改进算法不仅提高了角点提取效率,而且更加精确地检测图像角点,具有更好的效果,更强的实用性。

改进近邻传播聚类算法的抗生素处方行为

通过有效分析某医院抗生素处方行为,提出了一种基于数据仓库改进的近邻传播聚类方法,利用数据仓库透视出所需数据,而利用改进的近邻传播聚类方法在数据仓库的基础上聚类出具有代表性医生的抗生素处方数据,找到抗生素处方行为的影响因素以及规范医生处方行为的评价指标.采用2012年浙江省某三甲医院信息系统中的抗生素处方数据,对数据进行横断面研究,首先对提取的数据建立数据仓库,之后利用改进的近邻传播聚类算法对数据降维和分类,得到医生的抗生素处方行为的训练集和测试集,最后利用SAS9.1软件的多因素方差分析和配对非参数检验,分析抗生素处方行为的影响因素以及评价指标.结果表明,不同科室、不同月份、不同抗生素种类对抗生素处方数据有显著影响,而在该医院青霉素、头孢菌素随季节变化有显著差异,可作为医生的处方评价指标.

基于改进K-means数据聚类算法的网络入侵检测

随着入侵手段的不断更新和升级,传统入侵检测方法准确率下降、检测时间延长,无法满足网络防御要求。为此,提出一种经过改进K均值(K-means)数据聚类算法,以应对不断升级的网络入侵行为。先以防火墙日志为基础转换数值,然后基于粒子群算法求取最优初始聚类中心,实现K-means数据聚类算法的改进;最后以计算得出的特征值为输入项,实现对网络入侵行为的精准检测。结果表明:K-means算法改进后较改进前的戴维森堡丁指数更小,均低于0.6,达到了改进目的。改进K-means算法各样本的准确率均高于90%,相对更高,检测时间均低于10 s,相对更少,说明该方法能够以高效率完成更准确的网络入侵检测。

基于改进近邻传播聚类挖掘算法的竞争情报研究

根据竞争情报分析需要,会产生不同竞争情报分析模型,这些分析模型的构造大多建立在竞争情报数据的聚类统计之上。提出采用改进的近邻传播(Affinity propagation,AP)聚类算法实现大规模竞争情报数据聚类统计。根据竞争情报数据样本建立相似矩阵,初始化偏向参数;通过布谷鸟搜索优化偏向参数,将偏向参数作为布谷鸟巢进行训练,设置轮廓指标值作为布谷鸟算法适应度函数;通过鸟巢位置更新优化后的偏向参数进行AP聚类运算,不断更新AP算法的决策和潜力阵;最终获得稳定的聚类结果。试验证明,通过合理设置布谷鸟宿主发现概率、移动步长和AP算法阻尼因子等参数,能够获得较好的聚类效果。相比常用竞争情报聚类算法,所提改进AP聚类算法能够获得更高的轮廓指标值和最短的欧式距离性能,在竞争情报数据分析统计中的适用度高。

一种改进K-means聚类的近邻传播最大最小距离算法

针对初始聚类中心不合理的选择会导致K-means算法的聚类结果局部最优,且降低聚类算法收敛速度的问题,提出一种基于近邻传播算法和最大最小距离算法联合计算初始聚类中心的算法(APMMD)。该算法通过近邻传播算法从整个样本集中获得Kap(Kap>k)个具有代表性的候选中心点,再利用最大最小距离算法从Kap个候选中心点中选择k个初始聚类中心。在多个UCI数据集上实验,结果表明APMMD算法获得初始聚类中心应用于K-means聚类,迭代次数明显降低,聚类结果稳定且具有较高准确率。

基于改进K-means聚类和遗传算法的混合算法求解异构车辆路径问题

由于目前单一车型配送存在资源浪费和效率低下等问题,选取确定数量的不同车型对各客户点进行配送服务往往可以得到更优的配送路径方案。针对这一点,描述了一种异构车辆路径问题,并建立了具有固定车辆数且考虑固定成本、可变成本以及时间窗惩罚成本的混合整数规划模型。同时,提出了一种基于改进K-means聚类和遗传算法的混合算法对模型进行求解。实验仿真先求解不考虑时间窗的问题初步证明混合算法的有效性,再在带时间窗的问题中求解不同规模算例的单一及异构车型结果,以证明异构车型配送更优。最后,对该混合算法的求解结果与其他混合算法的求解结果进行对比分析,证明了混合算法的优越性。研究结果表明:该混合算法求解的异构车型结果优于单一车型,并且比其他混合算法求解的异构车型结果更优,异构车辆配送使用的配送车辆数更少,总成本也更低,该混合算法具有更好的效率和性能。

基于MapReduce的分布式近邻传播聚类算法

随着信息技术迅速发展,数据规模急剧增长,大规模数据处理非常具有挑战性.许多并行算法已被提出,如基于MapReduce的分布式K平均聚类算法、分布式谱聚类算法等.近邻传播(affinity propagation,AP)聚类能克服K平均聚类算法的局限性,但是处理海量数据性能不高.为有效实现海量数据聚类,提出基于MapReduce的分布式近邻传播聚类算法——DisAP.该算法先将数据点随机划分为规模相近的子集,并行地用AP聚类算法稀疏化各子集,然后融合各子集稀疏化后的数据再次进行AP聚类,由此产生的聚类代表作为所有数据点的聚类中心.在人工合成数据、人脸图像数据、IRIS数据以及大规模数据集上的实验表明:DisAP算法对数据规模有很好的适应性,在保持AP聚类效果的同时可有效缩减聚类时间.

一种基于自适应标记与区域间近邻传播聚类的分水岭图像分割算法

分水岭算法是一种高效的图像分割算法,能够准确地对图像进行基于区域的分割,但是存在易过分割的问题.为此本文提出一种改进的分水岭算法:首先,对彩色图像进行频谱包络滤波并计算彩色梯度获得梯度图像,再采取一种自适应设定参数的H-minima技术,对梯度图像的极小值区域进行标记;然后,对已标记极小值区域的梯度图像进行分水岭分割;最后,计算分水岭分割所得各区域的颜色矩,作为该区域的颜色特征,并对这些区域进行近邻传播聚类获得分割结果.通过与近年来其它改进的分水岭算法和采用聚类的图像分割算法实验比较,本文所提算法能更加有效地抑制过分割,提高分割准确率,具有良好的自适应性和鲁棒性.

基于密度与近邻传播的数据流聚类算法

针对现有算法聚类精度不高、处理离群点能力较差以及不能实时检测数据流变化的缺陷,提出一种基于密度与近邻传播融合的数据流聚类算法.该算法采用在线/离线两阶段处理框架,通过引入微簇衰减密度来精确反映数据流的演化信息,并采用在线动态维护和删减微簇机制,使算法模型更符合原始数据流的内在特性.同时,当模型中检测到新的类模式出现时,采用一种改进的加权近邻传播聚类(Weighted and hierarchical affinity propagation,WAP)算法对模型进行重建,因而能够实时检测到数据流的变化,并能给出任意时间的聚类结果.在真实数据集和人工数据集上的实验表明,该算法具有良好的适用性、有效性和可扩展性,能够取得较好的聚类效果.

一种分层组合的半监督近邻传播聚类算法

针对近邻传播(AP)聚类算法的计算复杂度和准确性,该文提出一种分层组合的半监督近邻传播聚类算法(SAP-SC)。算法引入"分层聚类"的思想,将一次AP聚类过程等分成若干层聚类,使得处理过程简单、易于实现;每层只关注聚类"困难"的数据点,并通过构造"成对点约束"和使用"子簇标签映射"进行半监督学习;基于"组合提升"的方法将各层聚类结果加权叠加,从而提升了算法的准确性能。理论分析和实验结果表明:算法在聚类准确性和计算复杂度方面有了较大改进。

面向大规模数据的分层近邻传播聚类算法

近邻传播(Affinity Propagation,AP)聚类具有不需要设定聚类个数、快速准确的优点,但无法适应于大规模数据的应用需求。针对此问题,提出了分层近邻传播聚类算法。首先,将待聚类数据集划分为若干适合AP算法高效执行的子集,分别推举出各个子集的聚类中心;然后对所有子集聚类中心再次执行AP聚类,推举出整个数据集的全局聚类中心;最后根据与这些全局聚类中心的相似度对聚类样本进行划分,从而实现对大规模数据的高效聚类。在真实和模拟数据集上的实验结果均表明,与AP聚类和自适应AP聚类相比,该方法在保证较好聚类效果的同时,极大地降低了聚类的时间消耗。

基于近邻传播算法的最佳聚类数确定方法比较研究

在聚类分析中,决定聚类质量的关键是确定最佳聚类数。提出采用聚类效果较好的近邻传播聚类算法对样本进行聚类,运用6种聚类有效性指标分别对聚类结果进行有效性分析,以确定最佳聚类数。具体分析了这些有效性指标,并改进了IGP指标确定最佳聚类数的方法。针对8个数据集,通过实验比较这些指标的性能。分析和实验结果表明,基于近邻传播聚类算法,IGP指标确定最佳聚类数的性能最好。

基于近邻传播算法的半监督聚类

提出了一种基于近邻传播(affinity propagation,简称AP)算法的半监督聚类方法.AP是在数据点的相似度矩阵的基础上进行聚类.对于规模很大的数据集,AP算法是一种快速、有效的聚类方法,这是其他传统的聚类算法所不能及的,比如:K中心聚类算法.但是,对于一些聚类结构比较复杂的数据集,AP算法往往不能得到很好的聚类结果.使用已知的标签数据或者成对点约束对数据形成的相似度矩阵进行调整,进而达到提高AP算法的聚类性能.实验结果表明,该方法不仅提高了AP对复杂数据的聚类结果,而且在约束对数量较多时,该方法要优于相关比对算法.

基于近邻传播与密度相融合的进化数据流聚类算法

针对目前数据流离群点不能很好地被处理、数据流聚类效率较低以及对数据流的动态变化不能实时检测等问题,提出一种基于近邻传播与密度相融合的进化数据流聚类算法(I-APDen Stream)。此算法使用传统的两阶段处理模型,即在线与离线聚类两部分。不仅引进了能够体现数据流动态变化的微簇衰减密度以及在线动态维护微簇的删减机制,而且在对模型采用扩展的加权近邻传播(WAP)聚类进行模型重建时,还引进了异常点检测删除机制。通过在两种类型数据集上的实验结果表明,所提算法的聚类准确率基本能保持在95%以上,其纯度对比实验等其他相关测试都有较好结果,能够高实效、高质量、高效率地处理数据流数据聚类。

基于奇异值分解的自适应近邻传播聚类算法

针对近邻传播算法无法有效处理高维数据而导致聚类效果不佳的问题,提出一种基于奇异值分解的自适应近邻传播(SVD-SAP)聚类算法.通过引入奇异值分解,对高维数据进行重构、降维,消除冗余信息,并在此基础上采用非线性函数策略,自适应地调整阻尼系数,提高算法的聚类性能.仿真实验结果表明,与已有算法相比,该改进算法聚类精度更高,收敛速度更快.