一种三层加权文本聚类集成方法

为了提高聚类集成效果,本文设计了一种对点、簇、划分进行加权的统一框架,提出一种三层加权文本聚类集成方法。首先根据基聚类生成超图邻接矩阵,然后依次对点、簇、划分进行加权获得加权邻接矩阵,最后用层次凝聚聚类算法获得最终结果。在多个真实文本数据集上进行实验,结果表明,与未加权及其他层面加权相比,三层加权方法可以获得更好的聚类效果,三层加权相较于未加权的平均提升幅度为12.02%;与近年来的其他8种加权方法相比,该方法在所有数据集上的平均排名位列第一,验证了本文方法的有效性。

基于一致性图的权重自适应多视角谱聚类算法

随着移动设备和互联网的普及,多视角数据的采集和分享变得更加容易,其可以从多个视角更准确地描述数据。目前,一些多视角聚类算法忽略了不同视角间的一致性潜在知识和不同视角的重要性。针对该问题,提出一种平衡视角间一致性信息的多视角聚类算法。首先通过调节视角权重学习视角间一致的共享相似度矩阵,提升共享矩阵的一致性,其中相关性强的视角具有的一致性信息更多,视角权重越大,在一致性学习中发挥的作用越大,而差异性大的视角其权重越小,在学习中发挥的作用越小。其次学习视角间的一致性样本嵌入以及不同视角的特征嵌入,并将特征嵌入中包含的多样性特征信息迁移到样本嵌入中,以此促进样本嵌入的一致性表达。在不同视角特征中包含多样性信息,可补充上述共享相似度矩阵学习中单一样本关系的不足。因此,采用二部图协同聚类,通过建立样本数据、样本嵌入和特征嵌入的关系图,学习样本的特征嵌入,并将其迁移到样本嵌入中。最后将图学习、谱聚类和特征嵌入学习整合到统一的框架中进行联合优化,得到最优的样本嵌入。实验结果表明,通过对样本嵌入进行K-means聚类,将该算法运行于5个真实数据集并与7种聚类算法对比,其中在3-Sources、Yale、MRSCV1数据集上的正确率均高于对比算法5%以上,验证了该算法的有效性。

基于二部图的联合谱嵌入多视图聚类算法

多视图聚类在图像处理、数据挖掘和机器学习等领域引起了越来越多的关注.现有的多视图聚类算法存在两个不足,一是在图构造过程中只考虑每个视图数据之间的成对关系生成亲和矩阵,而缺乏邻域关系的刻画;二是现有的方法将多视图信息融合和聚类的过程相分离,从而降低了算法的聚类性能.为此,提出一种更为准确和鲁棒的基于二部图的联合谱嵌入多视图聚类算法.首先,基于多视图子空间聚类的思想构造二部图进而产生相似图,接着利用相似图的谱嵌入矩阵进行图融合,其次,在融合过程中考虑每个视图的重要性进行权重约束,进而引入聚类指示矩阵得到最终的聚类结果.提出的模型将二部图、嵌入矩阵与聚类指示矩阵约束在一个框架下进行优化.此外,提供一种求解该模型的快速优化策略,该策略将优化问题分解成小规模子问题,并通过迭代步骤高效解决.提出算法和已有的多视图聚类算法在真实数据集上进行实验分析.实验结果表明,相比已有方法,提出算法在处理多视图聚类问题上是更加有效和鲁棒的.

基于信念子簇切割的模糊聚类算法

信念峰值聚类(BPC)算法是一种基于模糊视角的密度峰值聚类(DPC)算法的新变体,它用模糊数学的观点刻画数据的分布特征与相关性。但BPC算法的信念值计算主要基于局部数据点信息,未考察数据集整体的分布和结构,且原始的分配策略鲁棒性弱。针对以上问题,提出一种基于信念子簇切割的模糊聚类算法(BSCC),所提算法结合了信念峰值和谱方法。首先,通过局部信念信息将数据集划分为众多高纯度子簇;其次,将子簇视作新样本,通过簇间的相似关系,利用谱方法进行割图聚类,从而耦合局部信息与全局信息;最后,将子簇内的点分配至子簇所在类簇以完成最终聚类。与BPC算法相比,BSCC在带有多子簇结构的数据集上具有明显优势,如在americanflag数据集和Car数据集上的准确率(ACC)分别提高了16.38个百分点和21.35个百分点。在合成数据集和真实数据集上的聚类实验结果表明,BSCC在调整兰德系数(ARI)、归一化互信息(NMI)和ACC这3个评价指标上整体优于BPC和其他7种聚类算法。

结合聚类边界采样的主动学习

主动学习是一种机器学习方法,需要选择最有价值的样本进行标注。目前,主动学习在应用时面临着一些挑战,其依赖分类器的先验假设,这容易导致分类器性能意外下降,同时需要一定规模的样本作为启动条件。聚类可以降低问题规模,是主动学习的一种有效手段。为此,结合密度聚类边界采样,开展主动学习方法的研究。针对容易产生分类错误的聚类边界区域,通过计算样本密度,提出一种密度峰值聚类边界点采样方法;在此基础上,给出密度熵的定义,并利用密度熵对聚类边界区域进行启发式搜索,提出一种基于聚类边界采样的主动学习方法。试验结果表明,与文献中的5种主动学习算法相比,该算法能够以更少标记量获得同等甚至更高的分类性能,是一种有效的主动学习算法;在标记不足,无标签样本总量20%的情况下,算法在Accuracy、F-score等指标上取得较好的结果。

结合软约束的演化数据流模糊聚类算法

多源局部放电检测中,不同类型的局放信号同时存在且不断变化使得信号的分离更具挑战,而这种情况同样存在于许多数据流的聚类分析场景中。为了能够适应类簇内的不均匀密度和类簇间的重叠边界问题,同时对数据流的漂移和演化进行及时跟踪,提出了一种结合软约束的实时数据流模糊聚类算法。算法引入2种模糊性软约束来描述微簇距离和密度上的不确定度,通过阈值划分出核心微簇、边界微簇和离群微簇;在类簇边缘使用模糊隶属度,给予微簇分属不同类簇的可能性,保证类簇的完整性并提高聚类效果;使用两阶段的流程结构和2种时间窗口模型,赋予算法具有对可变化数据流的适应能力和更低的时间空间占用率。在多种数据集上的实验表明,该算法相比同类型算法在聚类效果上提升了1%~3%,且平均运行时间缩短5%~20%,在实际硬件平台的测试中也验证了算法的聚类分离性能。

基于大数据聚类的通信网络安全态势预测技术

传统通信网络安全态势预测技术缺乏大数据支撑,难以对发生的攻击进行详细分类和追踪,导致在进行长时间的态势预测中收敛过慢,准确度降低.提出一种基于大数据聚类的通信网络安全态势预测技术.分析通信网络的属性以及特点,选择安全态势描述一级指标,将数据标准化处理之后,细分出二级指标;优化大数据聚类算法,计算最优聚类数量、确定聚类中心,建立关联规则库并优化预测流程,完成基于大数据聚类的通信网络安全态势预测技术的设计.通过实验结果表明,与两种传统的安全态势预测技术相比,设计的技术收敛速度更快,全体数据点没有出现残差扩散的现象,并且数据完整度较高.

多维因素影响下的K-Hybrids聚类算法

在实际问题中,进行聚类分析的数据点常常受到很多因素的影响。本文针对多因素影响下的聚类问题,提出了K-Hybrids聚类算法,该算法考虑了聚类过程中点的权重差异,以及数据点所属标签相似度的问题。用加权K-means算法对聚类过程进行调整,同时用基于独热编码的Jaccard相似度计算数据点之间的逻辑距离,最后引入权重因子对这两个影响因素进行整合。实验结果显示,该算法的聚类效果很好,更具有实际意义。大数据时代下,数据的产生、采集方式日新月异,对数据的处理技术也在飞速发展,如何提高对数据的处理速度、优化处理流程一直是人们研究的主要内容。

基于三支决策的灰色可能度聚类方法及应用

针对经典的灰色可能度聚类评估模型难以判定决策对象的灰类归属和过度聚类等问题,利用三支决策的思想和方法,通过引入三支灰类的概念描述决策对象和灰类之间的不确定聚类关系;将其代替灰色定权聚类中的灰类和严格的聚类关系,构建基于三支决策的灰色可能度聚类方法,并采用决策粗糙集中的贝叶斯推理确定聚类阈值;最后,以案例验证所提方法的有效性和合理性。结果表明:本文所构建的模型是经典灰色可能度聚类评估模型的拓展和泛化,可以有效避免过度聚类,降低决策风险,提高聚类可靠性。

跳跃跟踪SSA交叉迭代AP聚类算法

针对传统近邻传播聚类算法以数据点对之间的相似度作为输入度量,由于需要预设偏向参数p和阻尼系数λ,算法精度无法精确控制的问题,提出了一种跳跃跟踪麻雀搜索算法优化的交叉迭代近邻传播聚类方法.首先,针对麻雀搜索算法中发现者和加入者位置更新不足的问题,设计了一种跳跃跟踪优化策略,通过考虑偏好阻尼因子的跳跃策略设计大步长更新发现者,增加麻雀搜索算法的全局勘探能力和寻优速度,加入者设计动态小步长跟踪领头雀更新位置,同时,利用自适应种群划分机制更新发现者和加入者的比重,增加算法的后期局部开发能力和寻优速度;其次,设计基于扰动因子的Tent映射,在此基础上增加3个参数,使映射分布范围增大,并避免了陷入小周期点和不稳周期点;最后,引入轮廓系数作为评价函数,跳跃跟踪麻雀搜索算法自动寻找较优的p和λ,代替手动输入参数,并融合基于扰动因子的Tent映射优化近邻传播算法,交叉迭代确定最优簇数.使用多种算法聚类University of California Irvine数据集的10种公共数据集,仿真结果表明,本文提出的聚类算法与经典近邻传播算法、基于差分改进的仿射传播聚类算法、基于麻雀搜索算法优化的近邻传播聚类算法和进化近邻传播算法相比具有更优的搜索效率以及聚类精度.对国家信息数据进行了聚类分析,提出的方法更加准确有效合理,具有较好的应用价值.

基于三阶张量的大规模数据谱聚类集成算法

为了降低大规模数据谱聚类计算负担,进一步提高聚类的准确性和鲁棒性,提出了一种基于三阶张量的大规模数据谱聚类集成算法。首先,提出一种混合代表最近邻近似方法构造数据间的稀疏亲和子矩阵;然后将稀疏亲和子矩阵表示为二部图,通过图分割的方法得到初步聚类结果;最后,提出三阶张量集成方法,将多个聚类结果进行融合,得到最终的聚类结果。在大规模的真实数据集和合成数据集上验证,相较经典的谱聚类算法、聚类集成算法以及近年来对其改进的算法,该算法表现出更优异的性能。

基于机器学习的茶树DNA聚类算法

为了研究茶树基因序列的聚类问题,设计一种基于累计方差贡献率进行改进的核主成分分析(KPCA)与k均值(k-means)++聚类算法相结合的降维聚类算法(KPCA-k-means++)。将基因库数据集筛选分组后,利用k-mers算法提取基因数据的数据特征,根据累计方差贡献率的占比大于85%的标准确定降维主元个数对KPCA进行降维改进并采用k-means++算法对降维后数据聚类,通过CH(Calinski-Harabaze Index)指标和响应时间分析聚类结果。结果表明:在单独聚类、KPCA聚类、改进PCA聚类、改进KPCA聚类4种处理方式中,改进KPCA-k-means++算法在不同处理方式和不同样本数的对比下,CH指标均为最高,与未改进时相比平均高出33%。在响应时间方面,改进KPCA-k-means++算法与同样改进PCA-k-means++算法在不同聚类数和样本数的对比下响应时间均较短。改进KPCA-k-means++算法能够保证对于茶树的基因序列的聚类准确率和聚类速度,表现出极好的聚类稳定性。

基于组合相似度动态聚类和词熵的网络话题在线检测

[研究目的]为实现网络热点话题的在线检测,提升增量式聚类算法的聚类效果,提出了基于组合相似度的动态聚类算法,同时通过计算词熵实现主题词提取和演化跟踪。[研究方法]通过CIFG-BiLSTM-CRF模型实现文本的命名实体识别,计算文本与话题的实体相似度,再取文本词向量与话题中心余弦相似度的最大值作为词向量相似度,二者结合判断文本所属话题。在聚类过程中利用时间窗口策略实现话题中心和成员文本的动态更新。同时,计算文本词熵,生成话题的词熵和列表,实现话题主题词提取和演化跟踪。实验以新冠疫情新闻为数据实现话题在线检测,并展示了话题主题词的演化和跟踪过程。[研究结论]实验表明,与传统相似度计算方法相比,组合相似度能够获得更好的聚类效果,聚类过程中提取出的话题主题词也正确地反映了原始数据的热点话题内容。

基于非负矩阵分解的函数型聚类算法改进与比较

非负函数型数据可以不等间隔观测,在理论和实践中应用广泛,对其进行聚类可以更好地探索客观规律。文章利用位置积分变换将函数型数据转化为高维向量,再通过非负矩阵分解(NMF)将其转化为低维向量,以此构建函数型聚类算法。针对基于NMF的函数型谱聚类算法,给出了确定聚类个数K的两种方法:一种是根据Laplacian矩阵的特征值确定K;另一种是构建新评价指标,通过搜索确定K。数值实验结果显示:基于位置积分变换和NMF的函数型聚类算法有效,对函数结构要求宽松,但需限制函数取值为正;NMF的秩可通过cophenetic相关系数确定,建议取较小的值,以剔除类的冗余特征。在确定谱聚类的聚类个数K时,建议对降维后的数据进行标准化处理,以缩小样本间的距离变化范围;聚类个数变点图直观有效,再结合特征值差分法确定K很有参考价值,建议阈值取[0.05,0.08];根据吻合度与相似比确定K的方法有效且简单易懂。

多样性引导的深度多视图聚类算法

多视图聚类旨在从不同视图的多样性信息中,学习到更加全面和准确的共识表示,以提高模型的聚类性能.目前大部分多视图聚类算法采用希尔伯特-施密特独立性准则(HSIC)或自适应加权方法从全局考虑各视图的多样性,忽略了各视图样本之间的局部多样性信息学习.针对上述问题,提出了多样性引导的深度多视图聚类算法.首先,提出了融合多头自注意力机制的软聚类模块,多头自注意力机制用来学习全局多样性,软聚类模糊C均值算法用来学习局部多样性;其次,在深度图自编码器网络结构中引入软聚类模块,以达到多样性信息引导潜在表示生成的目的;然后,将得到的各视图潜在表示进行加权融合得到共识表示,并采用谱聚类算法对共识表示进行聚类;最后,在3个常用数据集上进行了对比实验和消融实验.实验结果表明,提出的聚类算法具有良好的聚类效果,以及提出的多样性信息学习模块可以有效提高算法聚类性能.

基于改进高斯混合模型的变电站负荷聚类算法

针对传统高斯混合模型(Gaussian mixture model,GMM)聚类算法中计算复杂、收敛速度慢和人为确定聚类数目时存在盲目性和主观性等不足,提出了一种基于改进GMM的变电站负荷聚类算法。以传统GMM聚类算法为基础,采用k均值(k-means)算法确定初始聚类中心。减少了GMM聚类算法迭代步骤,提高了输出结果的稳定性。输出不同聚类数下聚类结果的Davies-Bouldin(DB)指标、CalinskiHarabasz(CH)指标和轮廓系数(silhouette coefficient,SC),应用熵权法确定不同评价指标所占权重,构建聚类评价混合指数(cluster evaluation mixed index,CEM)。将聚类评价混合指数最大值对应的聚类个数作为最佳聚类数目,再次输入到改进GMM聚类算法中,得到变电站负荷聚类结果和聚类中心。结果表明,所提方法增强了传统GMM聚类算法的计算速度和稳定性,对变电站负荷具有良好的聚类综合能力,有助于实现聚类结果最优化。

基于超像素快速模糊聚类的印刷品图像分割方法

针对当前彩色印刷品色差检测过程中效率低、复杂性高等问题,提出了一种基于超像素快速模糊聚类的印刷品图像分割方法(SFFCM)。先用简单线性迭代聚类(SLIC)算法将图像分割为紧密相邻的超像素区域。每个超像素区域被视为一个独立的聚类单元。随后,将模糊C均值聚类(FCM)算法应用于超像素的归属关系计算中,即引入隶属度值,允许超像素归属于多个聚类中心,并通过权衡归属度值来实现模糊聚类。实验结果表明,相对于其他算法,本文方法在保持良好实时性的同时,实现了较好的分割效果,有效平衡了算法复杂度与分割效果之间的关系。

基于类簇合并的无参数密度峰值聚类算法

密度峰值聚类算法(DPC)通过决策图直观地找到类簇中心进而完成聚类,是一种简单高效的聚类算法。然而,DPC算法的截断距离和类簇中心都是人为确定的,受主观影响较大,具有不确定性。针对上述问题,提出一种基于类簇合并的无参数密度峰值聚类算法(NDPCCM)。首先根据样本点两两之间的相似度的分布特征将其分为类内相似度和类间相似度两种类型,并利用类内相似度自动确定截断相似度,避免了人为设置参数;接着根据簇中心权值的下降趋势自动选择初始类簇中心,得到初始类簇;最后通过合并初始类簇对初步聚类结果进行优化,提高了聚类的准确性。在人工数据集和UCI真实数据集上,将所提算法与DPC、DBSCAN、K-means算法进行对比实验。结果表明所提算法无需输入参数就能够自动得到类簇,且聚类性能优于其他算法。

局部标准差优化的密度峰值聚类算法

密度峰值聚类(clustering by fast search and find of density peaks,DPC)算法是一种基于密度的聚类算法,它可以发现任意形状和维度的类簇,是具有里程碑意义的聚类算法。然而,DPC算法的样本局部密度定义不适用于同时发现数据集的稠密簇和稀疏簇;此外,DPC算法的一步分配策略使得一旦有一个样本分配错误,将导致更多样本的错误分配,产生“多米诺骨牌效应”。针对这些问题,提出一种新的样本局部密度定义,采用局部标准差指数定义样本局部密度,克服DPC的密度定义缺陷;采用两步分配策略代替DPC的一步分配策略,克服DPC的“多米诺骨牌效应”,得到ESDTS-DPC算法。与DPC及其改进算法KNN-DPC、FKNN-DPC、DPC-CE和经典密度聚类算法DBSCAN的实验比较显示,提出的ESDTS-DPC算法具有更好的聚类准确性。

基于PSO-KM聚类分析的通信网络恶意攻击代码检测方法

恶意代码的快速发展严重影响到网络信息安全,传统恶意代码检测方法对网络行为特征划分不明确,导致恶意攻击代码的识别率低、误报率高,研究基于PSO-KM聚类分析的通信网络恶意攻击代码检测方法;分析通信网络中恶意攻击代码的具体内容,从网络层流动轨迹入手提取网络行为,在MFAB-NB框架内确定行为特征;通过归一化算法选择初始处理中心,将分类的通信网络行为特征进行归一化处理,判断攻击速度和位置;实时跟进通信网络数据传输全过程,应用适应度函数寻求恶意代码更新最优解;基于PSO-KM聚类分析技术构建恶意代码数据特征集合,利用小批量计算方式分配特征聚类权重,以加权平均值作为分配依据检测恶意攻击代码,实现检测方法设计;实验结果表明:在文章方法应用下对恶意攻击代码检测的识别率达到95.0%以上,最高值接近99.7%,误报率可以控制在0.4%之内,具有应用价值。