基于二部图的联合谱嵌入多视图聚类算法

多视图聚类在图像处理、数据挖掘和机器学习等领域引起了越来越多的关注.现有的多视图聚类算法存在两个不足,一是在图构造过程中只考虑每个视图数据之间的成对关系生成亲和矩阵,而缺乏邻域关系的刻画;二是现有的方法将多视图信息融合和聚类的过程相分离,从而降低了算法的聚类性能.为此,提出一种更为准确和鲁棒的基于二部图的联合谱嵌入多视图聚类算法.首先,基于多视图子空间聚类的思想构造二部图进而产生相似图,接着利用相似图的谱嵌入矩阵进行图融合,其次,在融合过程中考虑每个视图的重要性进行权重约束,进而引入聚类指示矩阵得到最终的聚类结果.提出的模型将二部图、嵌入矩阵与聚类指示矩阵约束在一个框架下进行优化.此外,提供一种求解该模型的快速优化策略,该策略将优化问题分解成小规模子问题,并通过迭代步骤高效解决.提出算法和已有的多视图聚类算法在真实数据集上进行实验分析.实验结果表明,相比已有方法,提出算法在处理多视图聚类问题上是更加有效和鲁棒的.

自适应相似图联合优化的多视图聚类

相比于单一视图学习,多视图学习往往可以获得学习对象更全面的信息,因而在无监督学习领域,多视图聚类受到了研究者的极大关注,其中基于图的多视图聚类,近年来取得了很大的研究进展.基于图的多视图聚类一般是先从各个视图原始数据学习相似图,再进行视图间相似图的融合来获得最终聚类结果,因此,多视图聚类的效果是由相似图质量和相似图融合方法共同决定的.然而,现有基于图的多视图聚类方法几乎都聚焦在视图间相似图的融合方法研究上,而缺乏对相似图本身质量的关注.这些方法大多数都是孤立地从各视图的原始数据中学习相似图,并且在后续图融合过程中保持相似图不变.这样得到的相似图不可避免地包含噪声和冗余信息,进而影响后续的图融合和聚类.而少量考虑相似图质量的研究,要么相似图构造和图融合过程是直接联立迭代的,要么在预定义相似图过程中提前利用秩约束进一步初始化,要么就是利用相似图存在的一些底层结构来获取融合图的.这些方法对相似图本身改进很小,最终聚类性能提升也十分有限.同时现有基于图的多视图聚类流程也缺乏对各视图间一致性和不一致性的综合考虑,这也会严重影响最终的多视图聚类性能.为了避免低质量预定义相似图对聚类结果的不利影响以及综合考虑视图间一致性与不一致性来提升最终聚类效果,本文提出了一种自适应相似图联合优化的多视图聚类方法.首先通过Hadamard积来获得视图间高质量一致性部分信息,再将每个预定义相似图和这部分信息对标,重构各个视图的预设相似图.这个过程强化了各视图间的一致性部分,弱化了不一致性部分.其次设计了相似图重构改进和图融合联合迭代优化框架,实现了相似图的自适应改进,最终达到相似图和聚类结果共同提升的效果.该方法将相似图改进过程与图融合过程联合起来进行自适应迭代优化,并且在迭代优化中不断强化各视图间的一致性,弱化视图间的不一致性.此外,本文的方法也集成了现有多视图聚类方法的一些优点,自加权以及无需额外聚类步骤等.在九个基准数据集上与八个对比方法的实验验证了本文方法的有效性与优越性.

基于自注意力融合的不完整多视图聚类算法

基于不完整数据的多视图聚类任务已经成为无监督学习领域的研究热点之一。然而大多数基于“浅层”模型的多视图聚类算法通常在面对大规模高维数据时难以提取和刻画视图内的潜在特征结构;同时,堆叠或求平均的多视图信息融合方式忽视了视图之间的差异性,没有充分考虑各视图对构建公共一致表示的不同贡献。针对以上问题,提出一种基于自注意力融合的不完整多视图聚类算法(IMVCSAF)。首先,基于深度自编码器提取各视图的潜在特征,并采用对比学习的方式最大化各视图间的一致性信息;其次,采用自注意力机制对各视图的潜在表示进行重新编码和融合,并全面考虑和挖掘不同视图之间的内在因果性和特征互补性;再次,基于公共一致表示对缺失实例样本的潜在表示进行预测和恢复,从而完整地实现多视图聚类的过程。在Scene-15、LandUse-21、Caltech101-20和NoisyMNIST数据集上的实验结果表明,IMVCSAF在满足收敛性要求的前提下得到的准确率均高于其他对比算法,而在50%缺失率的Noisy-MNIST数据集上,IMVCSAF的准确率比次优的COMPLETER(inCOMPlete muLti-view clustEring via conTrastivE pRediction)算法提高了6.58个百分点。

基于多阶近邻约束的深度不完整多视图聚类方法

多视图聚类是重要的无监督学习方法之一,然而在实际应用中很难获取完整的多视图数据,导致不完整多视图聚类问题.大多数已有的不完整多视图聚类方法只考虑了视图的属性信息,而忽视了数据结构信息对聚类的影响,使提取的特征不能充分表示原始数据的潜在结构.针对以上问题,提出一种基于多阶近邻约束的深度不完整多视图聚类方法.首先,利用具有自注意力机制的深度自编码器获取带有视图间信息交互的深层次隐含特征,并采用加权融合的方式获取视图的公共语义信息;然后,对于不完整多视图中的缺失数据,利用多视图的公共表示进行补全;最后,提出一种多阶近邻约束机制,该机制考虑不完整多视图数据的深层结构信息,利用多视图的互补性构建近似完整的近邻图,引导编码器学习更紧致、更有判别性的高级语义特征.在公共数据集上的实验结果证明了所提方法的有效性.

基于超图正则NMF的自适应半监督多视图聚类

图正则非负矩阵分解(GNMF)虽然已成为大量多视图聚类方法的基本框架,但其尝试用简单图融合来自不同视图的复杂数据关系,同时获得一致性判别表示,这无疑有很大挑战性。为了更好地应对多视图数据的聚类任务,本文提出一种基于超图正则非负矩阵分解的半监督多视图聚类方法ASMCHNMF。该方法通过构造超图,学习来自多个视图的数据高阶关系,为合理利用现实世界中可获取的标签信息,引入标签约束项进行半监督学习。此外,该方法同时考虑一致性信息和互补性信息的学习,采用自适应措施区分不同视图的贡献,并使用交替迭代算法来对主函数进行优化。在7个真实数据集上的对比实验表明,在其中6个数据集上,ASMCHNMF算法的ACC和NMI指标均优于经典算法和当前先进算法。

基于改进松弛嵌入空间的多视图聚类

针对传统聚类方法缺乏统一特征表示,存在保守性的缺陷,提出一种基于改进松弛嵌入空间的多视图聚类方法。在统一的框架下联合学习一个综合的潜在嵌入表示矩阵、全局相似矩阵和一个精确指标矩阵。进一步放松全局相似矩阵的约束,并在此基础上提出一种改进的松弛多视图聚类嵌入空间,使得该方法具有更低的计算复杂度和更多的数据点对之间的相关性。实验结果表明,该方法能够获得鲁棒性更强、准确度更高的聚类结果。

基于加权锚点的多视图聚类算法

大规模多视图聚类旨在解决传统多视图聚类算法中计算速度慢、空间复杂度高,以致无法扩展到大规模数据的问题.其中,基于锚点的多视图聚类方法通过使用整体数据集合的锚点集构建后者对于前者的重构矩阵,利用重构矩阵进行聚类,有效地降低了算法的时间和空间复杂度.然而,现有的方法忽视了锚点之间的差异,均等地看待所有锚点,导致聚类结果受到低质量锚点的限制.为定位更具有判别性的锚点,加强高质量锚点对聚类的影响,提出一种基于加权锚点的大规模多视图聚类算法(Multi-view clustering with weighted anchors,MVC-WA).通过引入自适应锚点加权机制,所提方法在统一框架下确定锚点的权重,进行锚图的构建.同时,为增加锚点的多样性,根据锚点之间的相似度进一步调整锚点的权重.在9个基准数据集上与现有最先进的大规模多视图聚类算法的对比实验结果验证了所提方法的高效性与有效性.

多样性约束和高阶信息挖掘的多视图聚类

在现有的多视图聚类研究中,大多数方法没有考虑多视图的多样性,也没有关注数据的高阶邻域信息,导致聚类结果不够准确,难以挖掘数据集的底层信息。为了解决这些问题,提出了基于多样性约束和高阶信息挖掘的多视图聚类算法(MVCDCHO)。首先设计了视图间多样性测量的方法,利用多样性的约束保留数据的交集特征,同时去除多视图的差异特征;然后提出了一种挖掘视图高阶信息的方法,要求多视图的交集特征接近混合相似图,以挖掘数据间相关性所没有关注到的高阶信息;最后将多视图的交集特征融合成共识图,通过谱聚类来获取聚类目标图;另外,设计了一种交替迭代的方法来迭代学习优化目标函数。实验结果表明,MVCDCHO在归一化互信息(NMI)、调整后的兰德指数(ARI)、聚类精度(ACC)多个聚类评价指标上表现出优异的性能。理论分析和实验研究验证了MVCDCHO中多视图多样性和高阶信息的关键作用,证明了MVCDCHO的优越性。

6G业务场景的不完全多视图聚类分析

在6G网络中,由于业务种类繁杂且需求各不相同,5G网络中划分的三大业务场景已无法满足其粒度上的要求,这给6G按需服务目标的实现带来了巨大挑战。针对海量杂乱的6G场景和6G场景分类中业务数据量庞大以及数据缺失问题,提出了一套基于业务关键性能指标的多维度场景聚类分析方案。该方案基于不完全多视图聚类技术,在上千种参数组合下使用肘部法和轮廓系数法进行调参聚类。聚类结果表明,提出的方案能在不完整的场景数据集中保证收敛,并达到较高的轮廓系数值。此外,通过对比不同比例的缺失数据聚类实验,所提出的6G场景聚类方案能够有效完成对于不同程度缺失数据的多维度聚类。最后,结合原始数据和聚类标签,分析并提炼聚类得到了11类场景的场景知识及各场景的关键性能指标特征,从而为未来6G网络中的新兴场景及业务提供方法基础和理论参考。

图对比学习引导的多视图聚类网络

多视图聚类由于能从多个角度利用数据的信息引起了广泛的关注。然而,目前的多视图聚类算法普遍存在以下几个问题:1)专注数据的属性特征或结构特征,没有充分结合这两种信息,以提高潜在嵌入的质量;2)基于图神经网络的方法虽然能同时利用属性和结构数据,但是基于图卷积或图注意力的模型在网络层数过深时会产生过度平滑的问题。为了解决以上问题,提出一个图对比学习引导的多视图聚类网络(MCNGCL)。首先,使用多视图自编码器模块捕捉每个视图的私有表示;其次,通过自适应加权融合构造公共表示;再次,结合图对比学习模块,使相邻节点在聚类时更容易被划分为同簇,同时缓解网络在聚合邻居节点信息时产生的过度平滑的问题;最后,使用自监督聚类模块,使公共表示和视图的私有表示向有利于聚类的方向优化。实验结果表明,MCNGCL在多个数据集上都取得了不错的效果,在3sources数据集上,与次优的CMGEC(Consistent Multiple Graph Embedding for multi-view Clustering)相比,MCNGCL的准确率指标提升了2.83个百分点,规范化互信息(NMI)指标提升了3.70个百分点;消融实验和参数敏感性分析结果也验证了MCNGCL的有效性。

不完整多视图聚类综述

多视图聚类是近年来图数据挖掘领域的研究热点。由于数据采集技术的限制或人为因素等原因常导致视图或样本缺失问题。降低多视图的不完整性对聚类效果的影响是多视图聚类目前面临的重大挑战。因此,综合研究不完整多视图聚类(IMC)近年的发展具有重要的理论意义和实践价值。首先,归纳分析不完整多视图数据缺失类型;其次,详细比较基于多核学习(MKL)、矩阵分解(MF)学习、深度学习和图学习这4类IMC方法,分析代表性方法的技术特点和区别;再次,从数据集类型、视图和类别数量、应用领域等角度总结22个公开不完整多视图数据集;继次,总结评价指标,并系统分析现有不完整多视图聚类方法在同构和异构数据集上的性能表现;最后,归纳分析不完整多视图聚类目前存在的问题、未来的发展方向和现有应用领域。

基于混合阶相似性的多视图聚类:一个广义的视角

多视图聚类已经被广泛研究,它能够采用可用的多源信息来实现更好的聚类性能.然而,大多数之前的工作仍存在两个不足:(1)它们通常关注多视图属性特征的场景,很少留意到多视图属性图数据;(2)它们主要尝试发现一致的结构或多个视图之间的关系,而忽略了多视图观测之间潜在的高阶相关性。为了解决这些问题,我们从广义角度出发,提出了一种新颖的方法,称为混合阶相似性的多视图聚类(Multiview Clustering by Hybridorder Affinity,MCHA).它将结构图和多视图属性特征巧妙融合,同时考虑了低秩概率相似性图和混合阶的相关性.具体而言,我们通过图过滤策略构建了一组保留几何结构的视图特定的平滑表示.同时,我们将从平滑表示中学习得到的多视图概率相似性图堆叠成一个张量,并对该张量给予低秩属性的约束.这可以很好地恢复视图间更高阶的相关性.在八个基准数据集上的实验表明,我们所提出的MCHA方法具有最先进的有效性.

基于图的自适应加权多视图聚类

针对现有的基于图的多视图聚类算法没有考虑不同视图的权重和视图数据存在噪声的问题,提出一种基于图的自适应加权多视图聚类算法。通过自适应邻域学习从原始数据中构造多个关系图,引入视图权重调节参数,减少噪声的影响;通过自适应学习将各个关系图融合成统一关系图,通过秩约束优化使数据点自动划分成所需的簇,从而得到聚类结果。在多视图数据集上的实验结果表明了该算法的有效性。

多样性引导的深度多视图聚类算法

多视图聚类旨在从不同视图的多样性信息中,学习到更加全面和准确的共识表示,以提高模型的聚类性能.目前大部分多视图聚类算法采用希尔伯特-施密特独立性准则(HSIC)或自适应加权方法从全局考虑各视图的多样性,忽略了各视图样本之间的局部多样性信息学习.针对上述问题,提出了多样性引导的深度多视图聚类算法.首先,提出了融合多头自注意力机制的软聚类模块,多头自注意力机制用来学习全局多样性,软聚类模糊C均值算法用来学习局部多样性;其次,在深度图自编码器网络结构中引入软聚类模块,以达到多样性信息引导潜在表示生成的目的;然后,将得到的各视图潜在表示进行加权融合得到共识表示,并采用谱聚类算法对共识表示进行聚类;最后,在3个常用数据集上进行了对比实验和消融实验.实验结果表明,提出的聚类算法具有良好的聚类效果,以及提出的多样性信息学习模块可以有效提高算法聚类性能.

基于多样性与一致性的单步多视图聚类

随着数据采集技术的发展,多视图数据变得越来越常见。与单视图数据相比,多视图数据包含更丰富的信息,通常用一致性与多样性来刻画。现有基于图的多视图聚类方法大多只关注视图间的一致性信息,忽视了视图间的多样性信息,并且图的构建与聚类过程分离,从而影响聚类算法的效果。提出基于多样性与一致性的单步多视图聚类算法(OMCDC)。基于“距离较近的数据点成为邻居的可能性较大”这一先验知识构建各个视图的相似性图。不同于以往算法直接融合相似性图获得公共图,OMCDC将每个视图的相似性图分解为一致性图和多样性图,通过融合一致性图获得更具一致性的公共图。在此基础上,引入谱旋转,联合优化低维谱嵌入和聚类概率矩阵,将图学习和聚类融为一体,直接获得聚类结果。OMCDC充分利用了多视图数据的一致性信息与多样性信息,结合谱旋转实现了单步多视图聚类。实验结果表明,该算法在100L和HW2数据集上的聚类准确率分别为94.62%和99.30%,相比MVGL、AWP、MCGC等方法具有较优的聚类性能。

基于相似图投影学习的多视图聚类

随着数据来源方式的多样化发展,多视图聚类成为研究热点。大多数算法过于专注利用图结构寻求一致表示,却忽视了如何学习图结构本身;此外,一些方法通常基于固定视图进行算法优化。为了解决这些问题,提出了一种基于相似图投影学习的多视图聚类算法(multi-view clustering based on similarity graph projection learning, MCSGP),通过利用投影图有效地融合了全局结构信息和局部潜在信息到一个共识图中,而不仅是追求每个视图与共识图的一致性。通过在共识图矩阵的图拉普拉斯矩阵上施加秩约束,该算法能够自然地将数据点划分到所需数量的簇中。在两个人工数据集和七个真实数据集的实验中,MCSGP算法在人工数据集上的聚类效果表现出色,同时在涉及21个指标的真实数据集中,有17个指标达到了最优水平,从而充分证明了该算法的优越性能。

多角度语义标签引导的自监督多视图聚类

多视图聚类旨在从多个角度挖掘对象的特征信息,以获得精准的聚类结果。然而,现有研究往往无法妥善处理视图融合时产生的信息冲突,并且对多视图之间的互补信息利用不够充分。为解决这些问题,提出了一种由多角度语义标签引导的自监督多视图聚类模型。该模型首先将各视图的潜在表示映射到独立的低维特征空间,在一个空间中专注于优化视图间的一致性,以维护特征空间的局部结构和样本间的相对关系;同时,在另一空间中直接从视图层面提取聚类信息,以捕获更丰富多样的语义特征;最后,利用多个角度语义特征生成的伪标签,引导对象层面的聚类分配,实现两种表示的协同优化。大量实验结果表明,该方法能够全面挖掘多视图数据中的公共信息与互补信息,并展现出良好的聚类性能。此外,相较于其他方法,该方法在视图数量较多的场景更具优势。

基于一致引导的不完全多视图聚类

为了解决传统聚类方法存在的效果差、泛化能力弱等问题,提出一种基于一致引导的不完全多视图聚类方法。将图学习和一致性表示学习集成到一个联合框架中,从而充分利用多视图数据信息。引入的自适应学习权值向量可以平衡不同视图的影响,联合正则化表示学习策略则为一致表示学习提供了更大的自由度。提出交替迭代优化算法对聚类进行优化。在七个数据集上的实验结果表明,提出的方法能够有效提升不完全多视图聚类的效果。

基于干净字典学习的多视图聚类算法

多视图聚类已被广泛应用到图像分类、信息检索、医学病理分析等多个领域。虽然基于自表示学 习的多视图子空间聚类算法在学术界已有诸多研究,但这些方法大多数是直接利用原始数据作为 字典来构建亲和图,因此,聚类性能往往会受到原始数据特征质量的影响。为了克服这一问题, 我们提出了一种全新的多视图聚类算法,名为 “基于干净字典学习的多视图聚类算法”。在这种 方法中,我们首先将原始数据分解为干净数据和噪声数据,然后通过采用干净数据矩阵来进行字 典学习,从而避免了直接使用受污染数据所导致的错误表示。同时,我们引入了鲁棒主成分分析 (RPCA) 和秩约束,以构建出更加干净、鲁棒的亲和矩阵。最后,我们使用了基于增广拉格朗日 乘子 (ALM) 的优化方法来求解模型的目标函数。实验结果表明,在 4 个真实的多视图数据集上, 我们算法的聚类性能均优于其他先进的聚类算法,展现出了非凡的性能。

稀疏矩阵和改进归一化切割的快速多视图聚类

多视图聚类是一种新颖的聚类算法,它可以有效地探索出数据之间的内在聚类结构。大多数多视图聚类算法在构造相似图时容易受到噪声的影响,而且在聚类过程中还会面临信息损失问题,从而降低聚类结果的准确性。此外,现有多视图聚类算法通常使用交替迭代优化方法获得最优解,多次迭代会导致内存溢出或耗时过长。为了解决上述问题,提出了一种基于稀疏矩阵和改进归一化切割的快速多视图聚类算法(SINFMC)。该算法根据原始数据构造每个视图的相似图,并对相似图进行融合得到共识图矩阵。对共识图矩阵进行l1范数约束获得稀疏矩阵,实现数据降噪和加速计算。使用改进的归一化谱聚类算法对稀疏的共识图进行聚类得到聚类指标矩阵,这样不仅能够直接获得聚类结果,而且消除了聚类过程中的信息损失和偏差。该聚类算法无需交替迭代优化且通过稀疏矩阵表示精简计算过程,大幅降低了算法的时间和空间复杂度。人工和真实数据集上的比较实验结果表明该算法在质量和效率方面优于对比算法。