BIRCH数据聚类算法优化研究及仿真分析

近年来在数据分析中最广泛研究的问题之一就是在多维数据集中识别聚类或密集区域。为了解决大型数据集和最小化I/O成本的问题。由此提出一种基于层次结构的数据聚类方法——平衡迭代和聚类方法 BIRCH。论文中对BIRCH聚类算法性能从时间/空间效率、对算法参数改变下的Calinski-Harabasz指数和聚类质量等方面进行了评估,并和经典的CLARANS算法进行了性能比较。

一种改进的BIRCH分层聚类算法

由于传统的BIRCH算法是用直径来控制聚类的边界,因此如果簇不是球形,它就不能很好地工作,而且传统的BIRCH算法只适用于单表。针对BIRCH的这些缺点,本文提出了一种改进的BIRCH——IBIRCH算法,该算法首先通过ID传播把多个表联系起来,使得BIRCH算法可以适用于多表的情况,再通过计算共享最近邻密度,可以发现任意形状的簇。实验表明,该算法不仅具有较强的可伸缩性,还可以得到较高精确的聚类结果。

一种改进的BIRCH聚类算法

BIRCH算法是一种适应于大规模数据集的聚类算法,通过对所有叶节点设定统一阈值T来构建聚类特征(CF)树,并在各阶段采取不同的阈值来重建树,但没有给出一个合理设定阈值初值T及如何在各阶段提升阈值大小的具体方法。另外BIRCH算法只能处理数值型数据,这使其应用受到限制。针对以上不足,对BIRCH算法做了以下改进:1)改进原BIRCH算法的CF结构,使其可以处理混合型属性数据集;2)启发式为BIRCH算法选择初始阈值T并给出了第二阶段提升阈值的具体操作方法;3)对BIRCH算法的参数B和L做了探讨,指出当参数B=L时算法性能相近,并提出为获得较好聚类效果时B值的取值范围。实验结果表明,改进后的BIRCH算法具有较好的性能。

基于数据流的BIRCH改进聚类算法

数据流管理作为一种新兴课题正在逐渐受到国内外广大研究学者的重视,数据流聚类是其中的一个重要研究领域。论文基于BIRCH聚类算法,提出了一种M-BIRCH聚类算法,克服了BIRCH算法对非球形的聚类效果不佳等缺点。实验结果证明,M-BIRCH聚类算法在聚类质量上比BIRCH有较大提高。

差分隐私保护BIRCH算法

针对现有的层次聚类算法可能存在的隐私数据泄露问题,提出一个面向大规模数据集,且有效保护用户隐私的差分隐私BIRCH算法DP-BIRCH.DP-BIRCH算法依据差分隐私模型并借鉴概率分配思想,基于误差最小原则来调整隐私预算,采用异方差加噪方式,对待发布的CF树加入Laplace噪音.为进一步提高算法的查询精度及可用性,在DP-BIRCH算法的基础上,提出FP-BIRCH算法,同时采用线性回归及迭代运算等方法,解决了DP-BIRCH算法中存在的不一致约束性问题.实验采用两组真实数据集,在不同的隐私预算下,对DP-BIRCH算法和FP-BIRCH算法发布的DP-CF树与FP-CF树进行查询误差比较.实验结果表明,相比DP-BIRCH算法,所提出的FP-BIRCH算法有效可行,且查询精度更高.

基于BIRCH算法的模糊集数据库挖掘算法

为开发高效的数据挖掘算法,实现模糊集聚类算法的高效性,将BIRCH聚类算法思想与模糊集算法进行融合。通过对模糊集算法处理的数据进行二次聚类计算,细化群边缘,最后加载判别函数进行数据定位,完成数据挖掘。最后使用KDDCUP2011数据库进行仿真实验,对目标数据进行挖掘,证实了融合BIRCH聚类算法思想的模糊集算法具有可行性,对比改进前的算法在数据挖掘方面效率更高。

改进BIRCH算法的MRI脑图像分割

针对现有磁共振常规扫描序列对于颅脑白质、灰质信号相近分辨不清,解剖病变欠佳,难以达到临床高精准诊断的需求,选用改进的BIRCH算法,首先将3维MRI体数据经过预处理,由灰度与梯度组成特征向量,然后利用Cophenet相关系数,确定最优参数——分支因子B、阈值T,最后通过定义可调节线段L,改进原BIRCH算法仅将数据样本点到质心的平均距离作为半径R的局限性。仿真实验表明,提出的改进BIRCH算法,与已有BIRCH算法相比,聚类指标FMI值与RI值指数分别达到0.754 5与0.542 1,分别提升了2.79%与1.42%,并于其他聚类算法比较,所提算法性能表现仍为最优,脑WM、GM、CSF的组织分割精度Dice指数分别为0.939 4、0.834 2、0.853 1,Hausdorff距离分别为14.988 1、12.964 2、13.601 5,所提算法可为临床医学提供一定帮助。

一种改进的BIRCH聚类分析算法及其应用研究

文中详细分析讨论了BIRCH算法中存在的不足,并针对其不足进行一定的改进,提出了一种基于离差平方和的改进多阈值BIRCH算法,充分利用离差平方和来建立簇与簇的相关性,相对于单纯以簇之间的中心距离来建立相关性有一定的改进,同时在分裂因子的确定上采用了簇中直径的最大值,克服因采用经验值确定分裂因子的缺陷.最后,引入到基因序列图形表达数据聚类分析应用中.

一种基于BIRCH的异常检测技术

文章针对KNN存在的复杂度过高的问题,提出应用把BIRCH算法的层次聚类思想近似地计算weight的BirchOut算法,以降低其复杂度,同时利用孤立点挖掘的思想做异常检测.通过在KDD99数据集上的实验,我们验证了算法的有效性.

基于XML的可继承BIRCH研究

针对BIRCH算法过分依赖内存且无法高效处理新增数据的问题,提出一种BIRCH算法的可继承性处理模型。该模型利用XML技术存储聚类特征树,并通过解析XML文档来还原聚类特征树,增强了BIRCH算法的灵活性,解决了BIRCH算法中处理新增数据的效率问题。实验结果表明,该模型是有效的。

食品HACCP分类的BIRCH算法

食品卫生的HACCP自动分类要处理的数据集形状呈现多样性,对分类结果的准确性和专业性要求很高,已有的算法难以满足。该文基于经典BIRCH算法,结合多阈值思想和多代表点特征树思想,提出多阈值多代表点的BIRCH算法,增加了专业分类知识的指导,并对每一个代表点设立单独的阈值,使得该算法能适应各种形状的数据集,减少了聚类特征树重建次数,提高了算法的效率。

BIRCH混合属性数据聚类方法

数据聚类是数据挖掘中的重要研究内容。现实世界中的数据往往同时具有连续属性和离散属性,但现有大多数算法局限于仅处理其中一种属性,而对另一种采取简单舍弃的办法丢失聚类信息和降低聚类质量。一些能处理混合属性的算法又往往处理的属性过多,导致计算量的大增。提出了一种基于BIRCH算法的混合属性数据的聚类算法;在UCI数据集上的实验表明,文中提出的算法具有较好的性能。

基于阈值的BIRCH算法改进与分析

平衡迭代规约层次聚类(balanced iterative reducing and clustering using hierarchies, BIRCH)算法是一个综合的层次聚类算法。但BIRCH算法为叶子节点中的簇设置统一的空间阈值,根据数据对象与簇之间的距离来决定数据对象的插入位置,从而忽略了簇与簇之间的关系;此外,算法在分裂节点时,选取距离最远的2个聚类特征作为子簇,其他聚类特征会根据与这2个聚类特征之间的距离关系分裂为另外的子簇,造成处于簇与簇之间的样本数据错误分类,这样会忽略聚类特征之间的关系。针对BIRCH算法的这2个问题,提出了基于阈值的自适应算法,用于解决原算法统一空间阈值的问题;并在针对聚类特征关系的问题上,结合朴素贝叶斯算法对原算法进行改进。对改进后BIRCH算法与传统的算法进行仿真实验。结果表明,改进算法在损失效率的情况下,聚类效果得到了明显的改善,并且与其他算法相比,所提算法具有不错的表现性,而且具有跨数据集的鲁棒性。

BIRCH算法在自适应WEB设计中的应用

本文把BIRCH算法应用于自适应WEB站点的设计中,具体给出聚类过程中的距离计算公式和聚类中心计算公式,并按数据挖掘的过程对自适应WEB站点的设计中的各个问题进行了介绍.

基于连通距离和连通强度的BIRCH改进算法

为解决利用层次方法的平衡迭代规约和聚类(BIRCH)算法聚类结果依赖于数据对象的添加顺序,且对非球状的簇聚类效果不好以及受簇直径阈值的限制每个簇只能包含数量相近的数据对象的问题,提出一种改进的BIRCH算法。该算法用描述数据对象个体间连通性的连通距离和连通强度阈值替代簇直径阈值,还将簇合并的步骤加入到聚类特征树的生成过程中。在自定义及iris、wine、 pendigits数据集上的实验结果表明,该算法比多阈值BIRCH、密度改进BIRCH等现有改进算法的聚类准确率更高,尤其在大数据集上比密度改进BIRCH准确率提高6个百分点,耗时降低61%。说明该算法能够适用于在线实时增量数据,可以识别非球形簇和体积不均匀簇,具有去噪功能,且时间和空间复杂度明显降低。

基于改进BIRCH聚类算法的评价对象挖掘

本文对于意见挖掘领域中的评价对象的修剪和聚类问题,提出使用K-means聚类算法和BIRCH聚类算法相结合的方式来进行评价对象的修剪和聚类。利用BIRCH算法类别聚类的功能对评价对象进行聚类,并删除包含较少数据的簇来实现修剪评价对象;再通过对于剩下的簇使用K-means聚类算法来获得最优评价对象。这种修剪聚类方法与以往的基于PMI算法修剪然后基于K-means聚类算法相比,减少了评价对象修剪时对语料库的依赖,最终聚类的结果更加精准,而且BIRCH算法采用一次扫描数据库的策略,可以有效提高速度。

改进SPBO优化BIRCH算法的退役动力电池等级划分

针对退役动力电池存在数量庞大、一致性差、分类效率低等问题,将改进学生心理优化算法(SPBO)和BIRCH算法结合,对退役动力电池进行等级划分。基于BIRCH算法原理并结合退役动力电池参数,构建聚类特征树。利用改进后SPBO的优化特性,优化聚类特征树中节点的选取。分析仿真结果可知:与改进前相比,解决了聚类特征树中存在异常节点的问题;所提算法相对于传统k均值聚类,性能更为优良;使划分等级后的电池,拥有较高的一致性。

基于DBIRCH算法的Argo剖面数据聚类

为解决实时分析处理的海洋Argo浮标剖面观测数据特有的数据密度较高、快速响应且需要识别任意形状簇等问题,提出了一种可通过单次扫描数据集进行有效处理的低复杂度聚类算法DBIRCH(Density-Based Balanced Iterative Reducing and Clustering Using Hierarchies)。该算法通过使用新引入的参数密度阈值修正因子,动态的更新限制CF(Clustering Feature)树生长的约束系数子空间阈值,同时结合密度关联思想在不同邻域内多次建立CF树且合并,最终以核心CF树子节点为聚类结果输出,避免了BIRCH(Balanced Iterative Reducing and Clustering Using Hierarchies)算法对参数的过度依赖,同时因能处理任意形状簇从而提升了数据处理的整体鲁棒性,提高了处理Argo剖面监测数据的时效性和算法的整体吞吐速度。为测试算法的综合性能,使用真实Argo浮标剖面实时监测数据集,并根据不同的参数对算法做出多组对比实验,同时使用不同评价指标对算法从运行时间和聚类准确率上进行综合评估,从全局角度分析该算法在DBSCAN(Density-Based Spatial Clustering of Applications with Noise)、BIRCH及DBIRCH 3种不同算法中综合聚类性能最优。实验结果表明,在3种算法中,BIRCH算法运算速度最快,但准确率最低;DBSCAN算法聚类性能高于BIRCH算法,但运算速度最慢;改进的DBIRCH算法运算效率略低于BIRCH算法,但聚类准确率最高。

基于BIRCH算法的配电网设备多源数据融合存储技术研究

针对智能配电网设备量剧增导致的数据上传速率慢、数据存储性能较差等问题,提出了基于海量信息处理的配电网设备数据存储模型研究。利用Hadoop分布式平台搭建配电网设备数据存储模型架构,以此获取配电网设备海量数据。且应用CMCH算法并行关联配电网设备的多源数据,并采用了BIRCH算法融合设备并行关联数据库,以此获取配电网设备多源数据融合结果。再通过一致性哈希算法存储配电网设备数据,实现配电网设备数据存储模型的运行。同时搭建了Hadoop分布式平台,准备实验数据集来进行设备数据存储仿真实验。实验结果显示,与传统模型相比,所构建模型的数据上传速率较高、数据压缩也比较大,充分说明了该模型设备数据的存储性能较好。

随机游走与BIRCH融合的聚类统计方法

聚类统计分析在大数据理论研究和实践应用方面具有重要地位,是学习分析技术的重要组成部分。文章首先在数据初始化和规范化的基础上定位分类条件,实现学习行为的分化和集成,形成多个待聚类的数据子集;然后,根据学习交互活动之间的拓扑关联性和依赖性,设计随机游走模型与BIRCH算法融合的聚类统计方法,实现关键学习交互活动的检索评估和数据聚类;最后,对算法执行的多个性能指标进行计算和对比。实验结果表明,改进后的算法在学习交互活动聚类方面具有明显优势,聚类统计过程和分析结果具有可行性和可靠性。