一种基于粗糙熵的改进K-modes聚类算法

K-modes聚类算法被广泛应用于人工智能、数据挖掘等领域。传统的K-modes聚类算法有不错的聚类效果,但是存在迭代次数多、计算量大、容易受到冗余属性的干扰等问题,且仅采用简单的0-1匹配的方法来定义2个样本属性值之间的距离,没有充分考虑每个属性对聚类结果的影响。针对上述问题,该文将粗糙熵引入K-modes算法。首先利用粗糙集属性约简算法消除冗余属性,确定各属性的重要程度;然后利用粗糙熵确定每个属性的权重,从而定义新的类内距离。将该文所提算法与传统的K-modes聚类算法分别在4组公开数据集上进行对比试验。试验结果表明,该文所提算法聚类准确率比传统的K-modes聚类算法更高。

基于凝聚层次聚类算法的ATT&CK模型改进

在应用ATT&CK模型(网络攻击模型)进行网络安全威胁分析的过程中,ATT&CK模型提供的技术集合过于复杂。针对ATT&CK模型应用复杂的问题,论文对模型的技术集进行聚类简化研究,提出了基于聚类算法的模型改进方法,首先对ATT&CK模型的技术集合进行量化和聚类趋势评估,然后对量化的数据应用凝聚层次聚类算法得到简化的聚类结果,最后通过实验验证模型改进有效性。

新型无监督聚类算法监测与评估桥梁结构健康状况

近年来,因车辆超载、结构设计缺陷、施工质量问题等原因导致的城市高架桥梁倒塌事故时有发生。因此,首次提出了一种可实时监测高架桥梁运行状况、通过改进K-means聚类算法实现对结构损伤实时检测、对数据驱动结构损伤进行检测的高效方法。该方法主要是对钢结构桥梁模型在结构完好状态下的振动数据进行采集,然后通过深度研究从这些数据中提取有效的结构损伤敏感特征值,最后利用改进的无监督聚类算法训练奇异值检测模型。试验结果表明,采用桥梁结构完好状况下的损伤敏感特征值作为训练数据,对数学模型加以训练后,可以有效检测并识别出桥梁结构在不同损伤状况下的测试结果。该新型检测方法可实现城市高架桥梁在长期运营阶段的结构健康实时监测。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于组合相似度动态聚类和词熵的网络话题在线检测

[研究目的]为实现网络热点话题的在线检测,提升增量式聚类算法的聚类效果,提出了基于组合相似度的动态聚类算法,同时通过计算词熵实现主题词提取和演化跟踪。[研究方法]通过CIFG-BiLSTM-CRF模型实现文本的命名实体识别,计算文本与话题的实体相似度,再取文本词向量与话题中心余弦相似度的最大值作为词向量相似度,二者结合判断文本所属话题。在聚类过程中利用时间窗口策略实现话题中心和成员文本的动态更新。同时,计算文本词熵,生成话题的词熵和列表,实现话题主题词提取和演化跟踪。实验以新冠疫情新闻为数据实现话题在线检测,并展示了话题主题词的演化和跟踪过程。[研究结论]实验表明,与传统相似度计算方法相比,组合相似度能够获得更好的聚类效果,聚类过程中提取出的话题主题词也正确地反映了原始数据的热点话题内容。

基于多信息融合的层次聚类测井曲线自动分层方法

随着人工智能的快速发展,机器学习的应用范围越来越广泛,将机器学习的方法用于测井曲线分层可以提高分层效率和精度。在利用测井资料进行岩性识别、沉积相分析等研究时,先要对测井曲线进行分层。文中提出一种基于多信息融合的层次聚类分层方法,实现了对测井曲线的自动分层。首先,采用滤波的方式滤除曲线上的噪点,对数据进行归一化处理,消除量纲的影响;其次,通过特征优选,选择包含较多地层信息的特征曲线,构造一个滤波器,将其中相似性较高的曲线融合,曲线融合的权值通过遗传算法求得;最后,使用层次聚类方法对多信息融合后的测井数据进行划分,将分层结果与人工分层结果进行对比验证。该方法能够提高分层效率,为地质勘探工作提供可靠的分层依据。

一种基于荧光信息导航的聚类算法

聚类是无监督机器学习算法的一个分支,它在信息时代具有广泛的应用。然而,在多样化的聚类算法研究中,常存在密度计算需要指定固定的近邻数、需要提前指定簇数目、需要多次迭代完成信息叠加更新等问题,这些问题会让模型丢失部分数据特征,也会加大计算量,从而使得模型的时间复杂度较高。为了解决这些问题,受萤火虫发光和光信息传递、交流的启发,提出了一种萤光信息导航聚类算法(firefly luminescent information navigation clustering algorithm, FLINCA)。该方法由腐草生萤和聚萤成树两大模块构成,首先将数据点视作萤火虫,并采用自适应近邻数的方式确定萤火虫亮度,通过亮度完成萤火虫初步聚类,然后再根据萤火虫树进行簇融合,完成最终聚类。实验证明,与12种不同的算法进行对比,FLINCA在4个聚类benchmark数据集和3个多维真实数据集上表现出较好的聚类效果。这说明基于萤火虫发光和光信息传递的FLINCA算法在聚类问题中具有广泛的应用价值,能够有效解决传统聚类算法中存在的问题,提高聚类结果的准确率。

运用区间二型模糊集的半监督模糊聚类算法

将区间二型模糊集引入半监督聚类,提出一种运用区间二型模糊集的半监督聚类算法.该算法以区间二型模糊集为隶属度,将已标识样本的类别标签融入目标函数,使得聚类算法可以在已标识样本类别信息的引导下,得到合理的隶属度.实验表明,相比其他聚类模型,结合半监督机制和区间二型模糊集的聚类算法具有更好的聚类性能.

基于约束动态更新的半监督层次聚类算法

提出了一种基于约束动态更新的半监督层次聚类算法.与现存的半监督层次聚类算法类似,该算法也使用了必连和不连约束.但不同的是,该算法并不是在对满足必连约束的数据样本点进行预先划分的基础上依据不连约束进行聚合操作,而是首先将约束扩展为一个闭包,然后在这此基础上直接依据不连约束进行聚合操作,并在聚合的过程中依据聚类结果动态地更新必连和不连约束,以保证最终的聚类结果同时满足必连和不连约束.该算法的优势在于省略了对必连约束的数据样本点进行预先划分的步骤,这一改进能够保证数据样本点获得更为合理的聚合顺序,从而得到更为准确的聚类结果.本文具体给出了该算法基于Ward层次聚类算法的实现,提出了C-Ward算法.实验表明,与其他同类算法相比,无论是在人工模拟数据集还是在现实数据集上,本文提出的算法都表现出了更高的准确性和更强的稳定性.

基于分裂层次半监督谱聚类算法的风电场机群划分方法

在谱聚类技术的基础上,面向风电场动态等值建模,提出一种基于分裂层次半监督谱聚类算法的风电场机群划分方法。首先根据风电机组的实测运行数据,构造一个可以体现原始数据结构且能为分类提供更多有效信息的特征向量矩阵Y。进而利用获取的部分样本组的先验信息,采用自顶向下的簇分裂策略,对Y中的样本组进行半监督聚类划分,得到风电机组的机群划分结果 ,采用容量加权法计算各机群等值风电机组的参数,建立风电场的动态等值模型。以某实际风电场为例进行仿真验证,结果表明,采用所提方法建立的动态等值模型与详细模型较接近,能够较准确地反映风电场的动态响应特性。

基于Cloude-Pottier目标分解和聚合的层次聚类算法的全极化SAR数据的非监督分类算法研究

本文提出了一种新的基于Cloude-Pottier分解和聚合的层次聚类的全极化SAR(Synthetic Aperture Radar)数据的非监督分类算法.作者使用极化总功率SPAN来改进常规的初始化方法,并采用聚合的层次聚类算法对初始化结果进行类的合并,提高非监督分类器的性能.实验表明,该算法能获得有效的分类中心,分类结果明显优于常规的WishartH/α/A分类算法.

分水岭算法和基于MRF的层次聚类相结合的混合无监督图像分割算法

提出一种新的混合多阶段无监督图像分割算法。在第一阶段,通过分水岭算法得到一幅过度分割的图像,该图像中的所有小区域作为初始聚类状态将在接下来的层次聚类阶段中被合并。在第二阶段,一种新的启发式的基于Bayesian方法和Markov随机域的计算模型被用于基于区域的层次聚类算法,该算法用来合并初始分割结果中的邻接区域,以改进分水岭算法的分割效果。深入分析了该计算模型中两个相互作用的部分。通过对多种不同种类图像使用该算法进行分割,表明这种多阶段的方法适合无监督分割,它按照视觉一致的方式合并区域,并且比传统的层次聚类算法快很多。

融合动态层次聚类和邻域区间重组的蚁群算法

针对蚁群算法搜索速度过慢以及解质量不足等问题,提出一种融合动态层次聚类和邻域区间重组的蚁群算法。在初始阶段,调整层次聚类阈值并按照类间距离最小合并的原则迭代至目标簇集,根据预合并系数进行簇间合并,通过蚁群系统得到小类路径并断开重组以加快算法整体收敛速度;接着使用蚁群系统对解空间进行优化,同时并行处理簇集与簇集邻域区间扩散重组,增加解的多样性,进一步固定迭代次数进行比较,若邻域区间重组解质量优于当前优化解则进行推荐处理,提高解的精度;当算法停滞时,引入调整因子降低各路径信息素之间差异以增强蚂蚁搜索能力,有助于算法跳出局部最优。实验结果表明,在面对大规模问题时,算法的精度在3%左右,该方法相比传统方法可以有效提高解的精度和收敛速度。

基于层次聚类和人工免疫的无监督结构故障分类算法

目的利用层次聚类与人工免疫模式识别相结合的方法解决无监督结构健康监测中对结构故障识别和分类的问题.方法通过凝聚型层次聚类实现样本数据的分类,通过模仿生物免疫识别和学习机理来训练记忆细胞集合,进而实现对结构故障的识别与分类.结果在benchmark结构模型上的仿真实验测试结果表明在抗原样本数据中采用凝聚型层次聚类和方法能够成功地确定抗原样本数据的模式数目,继而采用人工免疫模式识别算法对实测数据进行模式识别与分类,分类成功率为81%.结论基于层次聚类和人工免疫的无监督结构故障检测与分类算法通过免疫学习和进化产生高质量的记忆细胞,从而有效地识别结构故障模式.

一种新的半监督熵模糊聚类算法

结合熵值和半监督模糊聚类两种概念,提出了半监督熵模糊聚类算法.该算法在目标函数中加入了反映划分矩阵的熵值项和已标记数据标签的监督项,使得聚类算法可以同时兼顾划分矩阵的模糊性和已知样本的类别信息.其迭代求解公式具有较为简洁的形式.将聚类方法应用于文本识别及其他真实数据库,实验结果表明,文章提出的半监督聚类算法和传统的聚类算法相比具有更好的聚类效果.

一种CCA-层次聚类的基因聚类算法

针对基因芯片技术带来的海量基因表达数据,为了充分挖掘其蕴含的生物信息和潜在的生物机制,提出一种基于CCA-层次聚类的基因聚类算法(CCA-Hc)。该算法在层次聚类的基础上引入典型相关分析,优化相似性矩阵计算方法。首先,利用典型相关分析方法结合基因的多个特征信息进行基因相关性度量,得到基因相似性矩阵。然后将该相似性矩阵作为层次聚类的邻近矩阵进行凝聚层次聚类。在Oryza sativa L.(水稻)的基因表达数据集上进行CCA-Hc聚类效果测试实验,结果表明,与采用欧式距离的传统层次聚类算法(EUC-Hc)相比,CCA-Hc的内部稳定性指标和生物功能性指标均优于EUC-Hc,具有更佳的鲁棒性和聚类准确性,更有利于去发现基因间的共表达关系。

结合特征金字塔网络的半监督AP聚类算法

为使AP算法对图像进行聚类时充分考虑不同尺度的特征及有效利用未标记数据的特征,提出了结合特征金字塔网络的半监督AP聚类算法(Semi-supervised AP clustering Based on Feature Pyramid Networks, FPNSAP)。FPNSAP算法使用改进的特征金字塔网络来获得图像不同尺度的特征图,对不同大小的特征图进行融合,获得图像的高级语义特征,识别不同大小、不同实例的目标;k近邻标记更新策略可以动态增加标记数据集样本数量,充分利用未标记数据的特征,提高AP算法的聚类性能。FPNSAP算法与四个经典算法(FCH、SAP、DCN和DFCM)在Fashion-MNIST、YaleB和CIFAR-10数据集上进行实验对比,结果表明,FPNSAP算法具有较高的聚类性能,同时算法的鲁棒性更好。

基于成对约束的交叉熵半监督聚类算法

极大熵聚类(MEC)目标函数中缺乏成对约束的有效信息表达,在拥有少量成对约束的情况下,可能导致有效监督信息的浪费.在MEC的基础上,文中提出基于成对约束的交叉熵半监督聚类算法.利用样本交叉熵表达成对约束信息,并作为惩罚项引入至MEC的目标函数中,通过拉格朗日最优化处理目标函数,得出聚类中心与隶属度的迭代公式.实验表明,文中算法能有效利用少量的成对约束监督信息提高聚类性能,在实际数据应用中性能较好.

基于改进的K-means聚类和深度神经网络的轴承故障诊断算法研究

提出了一种改进K-means聚类算法,使用该方法对轴承振动数据进行聚类和基于深度神经网络的半监督学习的故障诊断研究。对轴承振动数据进行时域和频域处理,得到28维的时域和频域特征数据;利用提出的算法对高维特征数据进行聚类处理,得到伪标签,建立特征数据和伪标签对应的数据集;利用神经网络对具有伪标签的特征数据进行半监督学习,实现对不同轴承振动状态的高精度识别。通过对比聚类指标,提出的算法较好地改善了聚类效果;用伪标签数据训练神经网络,将预测的结果与真实数据比较,精度可达96.2%,可100%区分正常状态和故障状态。

基于成对约束的半监督凝聚层次聚类算法

半监督聚类就是利用样本的监督信息来帮助提升无监督学习的性能。在半监督聚类中,成对约束(must-link约束和cannot-link约束)作为样本的先验知识被广泛地使用。凝聚层次聚类(AHC)也叫合成聚类,是层次聚类法的一种。提出了一种基于成对约束的半监督凝聚层次聚类算法(PS-AHC),该算法利用成对约束来改变聚类簇之间的距离,使聚类簇之间的距离更真实。在UCI数据集上的实验表明,PS-AHC能有效地提高聚类的准确率,是一种有前景的半监督聚类算法。