基于相对密度的增量式聚类算法

基于聚类的相对性原则:簇内对象具有较高的相似度,而簇间对象则相反,提出一种基于相对密度的增量式聚类算法,它继承了基于绝对密度聚类算法的抗噪声能力强、能发现任意形状簇等优点[1],并有效解决了聚类结果对参数设置过于敏感、参数值难以确定以及高密度簇完全被相连的低密度簇所包含等问题。同时,通过定义新增对象的影响集和种子集能够有效支持增量式聚类。

基于自适应模糊C-均值的增量式聚类算法

针对模糊C-均值(FCM)算法不能很好地处理更新数据的缺点,提出基于FCM的自适应增量式聚类算法AIFCM。该算法结合密度和集合的思想,给出一种自动确定聚类初始中心的方法,能在聚类过程中动态改变聚类结果数,改善聚类的质量,减少人为的主观因素,获得比较符合用户需求的聚类结果,并能在原有聚类结果的基础上简单有效地处理更新数据,过滤噪声数据,较好地避免大量重复计算。

基于模糊C-均值的增量式聚类算法

给出了一种新的基于FCM的聚类算法,能根据由数据的分布的特性自动获取要聚类的数目,在新增数据后,可以进行增量式聚类,结果对孤立点不敏感,并能完成FCM不具备的非球型或椭球型分布的数据集的聚类,实验结果显示算法的有效性和优越性。

基于增量式聚类和矩阵分解的鲁棒推荐方法

现有基于矩阵分解的推荐算法在面对"托"攻击时鲁棒性较差,而且随着用户和项目的增加需要进行模型重构,时间代价较高.针对上述问题,提出一种基于增量式聚类和矩阵分解的鲁棒推荐方法.首先,采用基于k-median聚类的用户评分矩阵分块算法对用户评分矩阵中的相似用户进行聚类,构建用户评分矩阵分块,并对每个分块进行鲁棒矩阵分解建立推荐模型;然后,针对新增用户(项目),利用增量式聚类算法对用户评分矩阵分块进行更新,并采用基于加权信息熵的线性回归方法,对新增用户(项目)的特征向量进行局部参数估计.在Movie Lens 1M数据集上的实验结果表明,本文提出的推荐方法不仅具有较高的推荐精度和鲁棒性,而且模型更新的时间明显减少.

具有抗噪性能适用高维数据的增量式聚类算法

针对含有噪声的高维数据的聚类问题,提出一种使用新的距离度量方式的增量式聚类算法ANFCM(c+p)。由于传统的模糊C均值聚类算法对初始化聚类中心比较敏感,所提出的聚类算法将单程FCM的增量机制(称为SpFCM)与FCPM中使用的初始化聚类中心的策略相结合,即将先前数据块的聚类中心附近的几个样本点添加到下一个数据块进行聚类,以避免FCM对噪声的敏感性。此外,所提出的聚类算法使用一种新的改进后的距离度量的同时,使用修正后的约束条件和目标函数。通过以上改进,可以有效区分已知类和未知类在算法中的不同影响程度,并加强类之间的相互影响程度。实验结果表明,该算法对高维噪声数据具有很好的聚类效果和鲁棒性。

基于改进Spark技术的高维数据增量式聚类算法

已有数据增量式聚类算法忽略了数据的降维过程,导致算法无法聚类处理属性较多的高维数据。现提出基于改进Spark技术的高维数据增量式聚类算法。基于混沌分区方法重组高维数据结构,获取模糊数据分布轨迹。采用基于信息熵的高维稀疏降维算法,筛选分布空间中的高维数据特征,完成数据降维。改进Spark技术,设计并行化增量式高维数据聚类优化算法,检测降维后数据特征之间的关联性,并融合数据特征,确定聚类中心后完成高维数据增量式聚类。测试结果表明,高维数据的嵌入维数为7时,算法的重组效果较好,有效实现数据集的维度下降,降低了存储空间的占用率,可完成高维数据的有效、可靠聚类。

高维数据的增量式聚类算法的距离度量选择研究

合适的距离度量函数对于聚类结果有重要的影响。针对大规模高维数据集,使用增量式聚类算法进行距离度量的选择分析。SpFCM算法是将大规模数据集分成小样本进行增量分批聚类,可在有限的计算机内存中获得较好的聚类结果。在传统的SpFCM算法的基础上,使用不同的距离度量函数来衡量样本之间的相似性,以得出不同的距离度量对SpFCM算法的影响。在不同的大规模高维数据集中,使用欧氏距离、余弦距离、相关系数距离和扩展的杰卡德距离来计算距离。实验结果表明,后3个距离度量相对于欧氏距离可以很大程度地提高聚类效果,其中相关系数距离可以得到较好的结果,余弦距离和扩展的杰卡德距离效果比较一般。

基于组合相似度动态聚类和词熵的网络话题在线检测

[研究目的]为实现网络热点话题的在线检测,提升增量式聚类算法的聚类效果,提出了基于组合相似度的动态聚类算法,同时通过计算词熵实现主题词提取和演化跟踪。[研究方法]通过CIFG-BiLSTM-CRF模型实现文本的命名实体识别,计算文本与话题的实体相似度,再取文本词向量与话题中心余弦相似度的最大值作为词向量相似度,二者结合判断文本所属话题。在聚类过程中利用时间窗口策略实现话题中心和成员文本的动态更新。同时,计算文本词熵,生成话题的词熵和列表,实现话题主题词提取和演化跟踪。实验以新冠疫情新闻为数据实现话题在线检测,并展示了话题主题词的演化和跟踪过程。[研究结论]实验表明,与传统相似度计算方法相比,组合相似度能够获得更好的聚类效果,聚类过程中提取出的话题主题词也正确地反映了原始数据的热点话题内容。

基于增量式蚁群聚类的用户访问模式挖掘

提出一种新的用户访问模式增量式聚类算法:首先引入一种新的用户兴趣表示方法构造用户访问特征对象,再基于蚁群聚类的基本思想,利用人工蚂蚁依相邻区域对象相似性拾起或放下对象实现聚类;然后使用一种类解体机制,随着用户兴趣度的变化而形成新的类别,从而实现增量式聚类更新发现用户新的访问兴趣。实验结果表明,该方法能动态有效地实现增量式聚类。

增量式CURE聚类算法研究

聚类是一种非常有用的数据挖掘方法 ,可用于发现隐藏在数据背后的分组和数据分布信息 .目前已经提出了许多聚类算法及其变种 ,但在增量式聚类算法研究方面所作的工作较少 .当数据集因更新而发生变化时 ,数据挖掘的结果也应该进行相应的更新 .由于数据量大 ,在更新后的数据集上重新执行聚类算法以更新挖掘结果显然比较低效 ,因此亟待研究增量式聚类算法 .通过对 CURE聚类算法的改进 ,提出了一种高效的增量式 CU RE聚类算法 .它能够很好的解决传统聚类算法在伸缩性、数据定期更新时所面临的问题 .

一种增量式文本软聚类算法

针对传统文本聚类算法时间复杂度较高,而与距离无关的算法又不适用于动态、变化的文本集等问题,提出了一种基于语义序列的增量式文本软聚类算法.该算法考虑了长文本的多主题特性,并利用语义序列相似关系计算相似语义序列集合的覆盖度,同时将每次选择的具有最小熵重叠值的候选类作为一个结果聚类,这样在整个聚类的过程中大大减小了文本向量空间的维数,缩短了计算时间.由于所提算法的语义序列只与文本自身相关,所以它适用于增量式聚类.实验结果表明,算法的聚类精度高于同条件下的其他聚类算法,尤其适合于长文本集的软聚类.

一种增量式MinMax k-Means聚类算法

针对MinMax k-means算法易产生空解、收敛速度慢和计算效率低的问题,提出一种增量式MinMax k-means聚类算法.该算法从给定的初始聚类个数开始,以固定步长递增式产生新的聚类中心,采用基于数据均衡的快速分裂方法产生增量聚类中心,从而避免了传统增量聚类中心选择中遍历数据、k-means聚类算法运行次数过多导致的大计算量问题.与MinMax k-means及相关算法的对比实验结果表明,该算法在计算效率和求解精度上均优于对比算法,有效改善了MinMax k-means聚类对初始化中心敏感和易产生空解的问题.

增量式K-Medoids聚类算法

聚类是一种非常有用的数据挖掘方法,可用于发现隐藏在数据背后的分组和数据分布信息。目前已经提出了许多聚类算法及其变种,但在增量式聚类算法研究方面所做的工作较少。当数据集因更新而发生变化时,数据挖掘的结果也应该进行相应的更新。由于数据量大,在更新后的数据集上重新执行聚类算法以更新挖掘结果显然比较低效,因此亟待研究增量式聚类算法。该文通过对K-Medoids聚类算法的改进,提出一种增量式K-Medoids聚类算法。它能够很好地解决传统聚类算法在伸缩性、数据定期更新时所面临的问题。

基于密度的增量式网格聚类算法(英文)

提出基于密度的网格聚类算法GDCA,发现大规模空间数据库中任意形状的聚类.该算法首先将数据空间划分成若干体积相同的单元,然后对单元进行聚类.只有密度不小于给定阈值的单元才得到扩展,从而大大降低了时间复杂性.在GDCA的基础上,给出增量式聚类算法IGDCA,适用于数据的批量更新.

适合大规模数据集的增量式模糊聚类算法

FCPM算法已被成功地应用到模糊系统建模上,但其在某一类的聚类中心已知的大规模数据上的聚类性能较差。为了避免这个缺点,参照单程模糊c均值(SPFCM)聚类算法、在线模糊c均值(OFCM)聚类算法,提出了适合大规模数据集的增量式模糊聚类算法(Incremental fuzzy(c+p)-means clustering,IFCM(c+p))。通过在每个数据块中使用FCPM算法进行聚类,把每个数据块的聚类中心及其附近的一些样本点加入到下一个数据块参与聚类,同时添加平衡因子以提高算法聚类性能。同SPFCM、OFCM以及rse FCM算法相比,IFCM(c+p)对初始聚类中心不敏感。实验表明在没有花费很多运行时间的情况下,IFCM(c+p)算法的聚类性能比SPFCM算法和rse FCM算法更具优势,因此该算法更适合处理某一类聚类中心已知的大规模数据集。

多中心点增量式模糊聚类算法

增量聚类算法可以解决数据量大、内存不足的问题.传统的增量式模糊聚类(incremental multiple medoids based fuzzy clustering,IMMFC)算法只为每个数据块选择一个或多个相同数目的中心,当聚类中的对象权重较小时聚类效果不好.该文提出新的增量式模糊聚类算法用于处理大数据集.首先将大数据集分成多个小的数据块,并对每个小的数据块进行模糊聚类;然后从每个小数据块的每个簇群中选择目标中心点,中心点的个数是簇群中对象的权重之和大于阈值的最少对象数.最后合并所有选定的中心点,并对最终数据块进行模糊聚类,获取最终的中心点.实验结果表明,与IMMFC算法相比,当数据块占总数据的10%以上时,所提算法优于IMMFC.

改进的模糊C均值的增量聚类算法

针对FCM算法的缺点,提出了一种基于改进的FCM的增量式聚类方法。该算法首先对模糊C均值算法进行加权,并将权系数归一化,然后将改进的算法与增量式聚类算法结合。改进的方法既提高了FCM算法的性能,避免了FCM算法的缺陷,并能够实现增量式聚类,避免了大量的重复计算,并且不受孤立点的影响。实验表明该算法的有效性。

增量式0阶TSK模糊分类器及鲁棒改进

为了克服传统的分类器难以在具有令人满意的分类性能、快速的学习效率的同时兼顾高可解释性之不足,提出增量式0阶模糊分类器TSK-IFC0IRLS.该分类器通过使用增量式模糊聚类算法IFCM(c+p)对训练样本进行聚类,使用高斯隶属度函数将聚类结果映射到模糊子空间,使用迭代重加权最小二乘优化算法IRLS对模糊规则的后件参数进行学习.通过提出基于伪Huber函数的代价函数,它的鲁棒性改进版本TSK-IFC0PHub被提出来以提高分类器的抗噪能力.仿真实验表明,与FCPM-IRLS、RBF、ANFIS分类器相比,提出的2种模糊分类器均具有良好的分类性能及数据规模的可扩展性,TSK-IFC0PHub具有良好的鲁棒性.

基于簇核心的XML结构聚类方法

随着XML技术的不断应用和推广,XML结构聚类技术在XML管理与挖掘中扮演着重要角色.针对目前XML结构聚类算法聚类不准确、效率低、对数据输入次序敏感的不足,提出簇核心的概念,并指出在动态环境下,对簇核心加以正确维护可以支持增量式聚类.在此基础上设计了一套有效的XML结构聚类算法COXClustering,该算法涵盖静态聚类和增量式聚类,静态聚类提取子树作为特征合理反映XML结构之间的相似性,并利用簇核心快速分类的特点提高聚类效率,利用簇核心正交的特点降低对数据输入次序的敏感性;增量式聚类根据当前增加的XML文档动态调整簇核心,从而自适应地指导增量式聚类.理论分析和实验表明该算法静态聚类效率高、聚类质量好、能够有效屏蔽输入次序的敏感性,增量式聚类将聚类速度大幅度提升,聚类质量接近静态聚类质量.

基于数据概要描述的分布式数据流聚类模型与算法

数据流挖掘可有效解决大容量流式数据的知识发现问题,并已得到广泛研究。数据流的一个典型的例子是传感器采集的流式数据。然而,随着传感器网络的应用普及,这些流式数据在很多情况下是分布式采集和管理的,这就必然导致分布式地挖掘数据流的需求。分布式数据流挖掘的最大障碍是由分布式而导致的挖掘质量或者效率问题。为适应分布式数据流的聚类挖掘,探讨了分布式数据流的挖掘模型,并且基于该模型设计了对应的概要数据结构和关键的挖掘算法,给出了算法的理论评估或者实验验证。实验说明,提出的模型和算法可以有效地减少数据通信代价,并且能保证较高的全局模式的聚类质量。