一种三层加权文本聚类集成方法

为了提高聚类集成效果,本文设计了一种对点、簇、划分进行加权的统一框架,提出一种三层加权文本聚类集成方法。首先根据基聚类生成超图邻接矩阵,然后依次对点、簇、划分进行加权获得加权邻接矩阵,最后用层次凝聚聚类算法获得最终结果。在多个真实文本数据集上进行实验,结果表明,与未加权及其他层面加权相比,三层加权方法可以获得更好的聚类效果,三层加权相较于未加权的平均提升幅度为12.02%;与近年来的其他8种加权方法相比,该方法在所有数据集上的平均排名位列第一,验证了本文方法的有效性。

基于三阶张量的大规模数据谱聚类集成算法

为了降低大规模数据谱聚类计算负担,进一步提高聚类的准确性和鲁棒性,提出了一种基于三阶张量的大规模数据谱聚类集成算法。首先,提出一种混合代表最近邻近似方法构造数据间的稀疏亲和子矩阵;然后将稀疏亲和子矩阵表示为二部图,通过图分割的方法得到初步聚类结果;最后,提出三阶张量集成方法,将多个聚类结果进行融合,得到最终的聚类结果。在大规模的真实数据集和合成数据集上验证,相较经典的谱聚类算法、聚类集成算法以及近年来对其改进的算法,该算法表现出更优异的性能。

聚类集成研究综述

聚类分析作为数据研究领域的基本技术,旨在从无标签数据集中发现有意义的簇结构。由Kleinberg定理可知不存在能够学习任何数据集的基本聚类算法,即没有一种聚类方法能够正确地找到所有数据集的簇结构。聚类集成解决了这一固有挑战,通过组合多个聚类结果来探索高稳定性和鲁棒性的最终聚类。近些年来,提出了许多聚类集成技术,产生了解决实际问题的新方法以及新应用领域。从基聚类生成机制和共识函数设计两个维度对聚类集成技术进行了综述,分析了各种方法的优缺点并进行实验比较。最后针对当前的研究现状,讨论了未来的研究方向。

基于隐含变量的聚类集成模型

聚类集成能成为机器学习活跃的研究热点,是因为聚类集成能够保护私有信息、分布式处理数据和对知识进行重用,此外,噪声和孤立点对结果的影响较小.主要工作包括:第一,分析了把每一个基聚类器看成是原数据的一个属性这种处理方式的优越性,发现按此方法建立起来的聚类集成算法就具有良好的扩展性和灵活性;第二,在此基础之上,建立了latent variable cluster ensemble(LVCE)概率模型进行聚类集成,并且给出了LVCE模型的Markov chain Monte Carlo(MCMC)算法.实验结果表明,LVCE模型的MCMC算法能够进行聚类集成并且达到良好的效果,同时可以体现数据聚类的紧密程度.

一种改进的自适应聚类集成选择方法

针对自适应聚类集成选择方法 (Adaptive cluster ensemble selection, ACES)存在聚类集体稳定性判定方法不客观和聚类成员选择方法不够合理的问题,提出了一种改进的自适应聚类集成选择方法 (Improved ACES, IACES). IACES依据聚类集体的整体平均归一化互信息值判定聚类集体稳定性,若稳定则选择具有较高质量和适中差异性的聚类成员,否则选择质量较高的聚类成员.在多组基准数据集上的实验结果验证了IACES方法的有效性:1) IACES能够准确判定聚类集体的稳定性,而ACES会将某些不稳定的聚类集体误判为稳定; 2)与其他聚类成员选择方法相比,根据IACES选择聚类成员进行集成在绝大部分情况下都获得了更佳的聚类结果,在所有数据集上都获得了更优的平均聚类结果.

基于co-occurrence相似度的聚类集成方法

首先提出了一种基于属性值的co-occurrence相似度概念,通过对其进一步的研究,提出了3个等价性表述;然后对属性值之间的co-occurrence相似度进行引申,给出了数据对象之间co-occurrence相似度的定义,并将其成功应用到聚类集成方法中。利用co-occurrence相似度在计算某个初始聚类结果中数据对象之间的相似度时,充分考虑了其他初始聚类结果和该初始聚类结果之间的相互影响和联系。实验表明,基于co-occurrence相似度的聚类集成(CSCE)方法能有效识别数据之间的细微结构,有助于提高聚类集成的效果。

基于群体智慧的簇连接聚类集成算法

利用群体智慧原理,将多个相互独立的聚类算法的结果进行聚合,将显著提高聚类结果的准确性.基于群体智慧的簇连接聚类集成算法,首先使用群体智慧理论的独立性、分散性、多样性原则引导个体聚类结果的生成,然后提出基于连接三元组的聚类集成算法对个体聚类结果进行分组聚合,将分组聚合的结果再次进行聚合得到最终的聚类结果.该算法的优点包括:1)通过簇的分组和权重调整,避免了对基聚类生成的簇进行选择,有利于充分利用已生成簇的信息;2)采用连接三元组算法计算数据之间的相似性,可以充分挖掘数据点之间的关系.对不同数据集的实验研究表明:该算法相对传统的集成聚类算法以及群体智慧与机器学习相结合的集成聚类算法,可以进一步提高集成聚类结果的准确性.

基于谱聚类的聚类集成算法

谱聚类是近年来出现的一类性能优越的聚类算法,能对任意形状的数据进行聚类,但算法对尺度参数比较敏感,利用聚类集成良好的鲁棒性和泛化能力,本文提出了基于谱聚类的聚类集成算法.该算法首先利用谱聚类算法的内在特性构造多样性的聚类成员;然后,采用连接三元组算法计算相似度矩阵,扩充了数据点之间的相似性信息;最后,对相似度矩阵使用谱聚类算法得到最终的集成结果.为了使算法能扩展到大规模应用,利用Nystrm采样算法只计算随机采样数据点之间以及随机采样数据点与剩余数据点之间的相似度矩阵,从而有效降低了算法的计算复杂度.本文算法既利用了谱聚类算法的优越性能,同时又避免了精确选择尺度参数的问题.实验结果表明:较之其他常见的聚类集成算法,本文算法更优越、更有效,能较好地解决数据聚类、图像分割等问题.

一种基于T-分布随机近邻嵌入的聚类集成方法

该文将T-分布随机近邻嵌入(TSNE)引入到聚类集成问题中,提出一种基于TSNE的聚类集成方法。首先通过TSNE最小化超图邻接矩阵的行对应的高维数据点与低维映射点分布之间的KL散度,使得高维空间结构在低维空间得以保持,然后在低维空间运行层次聚类算法获得最终的聚类结果。在基准数据集上的实验结果表明:TSNE能够提高层次聚类算法的聚类质量,该文方法获得了优于主流聚类集成方法的结果。

聚类集成中的差异性度量研究

集体的差异性被认为是影响集成学习的一个关键因素.在分类器集成中有许多的差异性度量被提出,但是在聚类集成中如何测量聚类集体的差异性,目前研究得很少.作者研究了7种聚类集体差异性度量方法,并通过实验研究了这7种度量在不同的平均成员聚类准确度、不同的集体大小和不同的数据分布情况下与各种聚类集成算法性能之间的关系.实验表明:这些差异性度量与聚类集成性能间并没有单调关系,但是在平均成员准确度较高、聚类集体大小适中和数据中有均匀簇分布的情况下,它们与集成性能间的相关度还是比较高的.最后给出了一些差异性度量用于指导聚类集体生成的可行性建议.

基于成对约束的半监督选择性聚类集成

针对现有聚类集成算法基本都是无监督聚类集成算法和传统聚类集成方法,其通常将所有产生的聚类成员都参与集成的问题,设计了一种基于成对约束的半监督选择性聚类集成方法(SSCES).SSCES方法选择基于聚类成员质量和差异度的选择聚类集成为研究对象,借鉴半监督集成的关键思想,将半监督聚类信息带入到选择聚类集成中.通过在多组数据集上实验来验证SSCES算法的有效性.

基于贝叶斯网络的半监督聚类集成模型

已有的聚类集算法基本上都是非监督聚类集成算法,这样不能利用已知信息,使得聚类集成的准确性、鲁棒性和稳定性降低.把半监督学习和聚类集成结合起来,设计半监督聚类集成模型来克服这些缺点.主要工作包括:第一,设计了基于贝叶斯网络的半监督聚类集成(semi-supervised cluster ensemble,简称SCE)模型,并对模型用变分法进行了推理求解;第二,在此基础上,给出了EM(expectation maximization)框架下的具体算法;第三,从UCI(University of California,Irvine)机器学习库中选取部分数据来做实验.实验结果表明,SCE模型本身及其变分推理后所设计的EM算法都能进行半监督聚类集成,总的来说,效果比NMFS(algorithm of nonnegative-matrix-factorization based semi-supervised)、半监督SVM(support vector machine)、LVCE(latentvariable model for cluster ensemble)等算法要好.该半监督聚类集成模型聚集了半监督学习和聚类集成两者的优点,最后的聚类结果比单纯的半监督聚类或聚类集成的效果都要好.

聚类集成方法研究

聚类集成通过对原始数据集的多个聚类结果进行学习和集成,得到一个能较好地反映数据集内在结构的数据划分。聚类集成能够较好地检测和处理孤立点,提高聚类结果质量。综述了聚类集成的相关知识,介绍了聚类集成的相关概念和优点;根据使用的聚类算法介绍了3种产生聚类成员方法,分析了各自的优缺点及适用条件;介绍了目前已有的一致性函数,阐述了其基本原理,并指出了其局限;最后讨论了未来的研究方向。

基于关键词的学术文本聚类集成研究

文本聚类是一种无监督且高效的文本类别划分方法。从文本中抽取的关键词代表了文本主旨内容,基于关键词的文本聚类是当下主流方式之一。在学术文本聚类研究中,主要使用单一的聚类方法。目前,一部分提升聚类性能的方法被提出,聚类集成是其中之一。因此,根据聚类集成思想,本文开展了基于关键词的学术文本聚类研究。为分析聚类集成在学术文本聚类中的有效性,本文比较了非集成聚类算法与聚类集成算法的性能。同时,为分析关键词对聚类集成性能的影响,本文分析了不同关键词抽取方法和不同关键词个数下学术文本的聚类结果。实验结果表明,聚类集成算法能够提升学术文本聚类的性能。其中,当使用TextRank作为关键词抽取方法时,学术文本聚类结果较佳;随着关键词个数的增加,学术文本类别划分性能随之提升。

基于非负矩阵分解的谱聚类集成SAR图像分割

本文提出了一种新颖的基于非负矩阵分解的谱聚类集成SAR图像分割框架.首先,个体分割结果的产生采用基于Nystrom逼近的谱聚类方法,使用不同的尺度参数,得到具有差异性的个体分割结果;其次,使用非负矩阵分解的方法来合并这些个体分割结果,使用非负矩阵分解方法的优点在于其合乎人类大脑感知的直观体验,并具有明确的物理含义;最后,根据合并得到的像素点隶属度关系得到SAR图像分割结果.为了验证本文方法的有效性,对3幅纹理图像和4幅SAR图像进行分割实验,并对比K-means方法、基于Nystrom逼近的谱聚类方法、Meta-clustering方法,本文的方法无论是定性还是定量分析都是较好的,并具有一定的实用性.

谱聚类集成的淋巴结超声图像分割算法

为了对低信噪比的超声图像进行有效分割,提出一种谱聚类集成的超声图像分割算法.首先用改进的全变差去噪模型对超声图像进行有效的去噪;然后用聚类集成的方法对去噪后的图像进行图像分割,基聚类器采用K均值算法,集成采用改进的谱聚类算法;最后用K均值算法对谱聚类集成的结果进行再次聚类,得到最终的集成聚类分割结果.实验结果表明,与现有的方法相比较,该算法分割效果更好.

基于D-S证据理论的模糊聚类集成

针对现有集成方法在处理模糊聚类时的不足,提出一种新的模糊聚类集成方法。在证据合成的理论框架内,讨论在识别框架、概率分配函数、合成规则等问题。给出了3种基本概率分配方法:近似类别分配概率方法、归一化模糊海明距离方法以及二者证据合成的方法。分析指出合成的方法能够较好利用二者的优势进行互补,获取更为合理的基本概率分配方法。最后,通过实验讨论所提方法的参数设置、收敛性和有效性等问题。

采用联合相似度谱聚类集成的极化SAR分类

为了降低谱聚类算法尺度参数对分类结果的影响,避免Nystrm逼近导致的分类结果不稳定,提出了一种基于谱聚类集成的极化合成孔径雷达(SAR)地物分类方法.首先,利用像素间的空间关系和极化信息,将基于相干矩阵Wishart距离的相似性测度和基于极化特征矢量欧氏距离的相似性测度相结合,引入马尔可夫随机场势函数,构造谱聚类的相似性矩阵;然后,采用基于Nystrm逼近的谱聚类实现极化SAR数据的单次谱分类;最后,采用集成策略完成对极化SAR图像的地物分类.实验结果表明,该算法提高了分类精度,区域一致性保持较好,且分类结果稳定.

一种改进的多视图聚类集成算法

近年来,针对大数据的数据挖掘技术和机器学习算法研究变得日趋重要。在聚类领域,随着多视图数据的大量出现,多视图聚类已经成为了一类重要的聚类方法。然而,大多数现有的多视图聚类算法受算法参数设置、数据样本等影响,具有聚类结果不稳定、参数需要反复调节等缺点。基于多视图K-means算法和聚类集成技术,提出了一种改进的多视图聚类集成算法,其提高了聚类的准确性、鲁棒性和稳定性。其次,由于单机环境下的多视图聚类算法难以对海量的数据进行处理,结合分布式处理技术,实现了一种分布式的多视图并行聚类算法。实验证明,并行算法在处理大数据时的时间效率有很大提升,适合于大数据环境下的多视图聚类分析。

基于决策加权的聚类集成算法

聚类集成的目标是融合多个聚类成员的信息以得到一个更优、更鲁棒的聚类结果。针对聚类成员可靠度估计与加权问题,提出了一个基于二部图模型与决策加权机制的聚类集成方法。在该方法中,每个聚类成员被视作一个包含若干连接决策的集合。每个聚类成员的决策集合享有一个单位的可信度,该可信度由集合内的各个决策共同分享。基于可信度分享的思想,进一步对各个聚类成员内的决策进行加权,并将此决策加权机制整合至一个统一的二部图模型;然后利用快速二部图分割算法将该图划分为若干子集,以得到最终聚类结果。实验结果表明,该方法相较于其他对比方法在聚类效果及运算效率上均表现出显著优势。