自动确定单词-文档谱聚类最佳聚类数目的研究

针对大多数的谱聚类算法缺少聚类数目的问题,提出一种自动确定最佳聚类数目的单词-文档谱聚类方法.该方法从多文档集合对应的单词-文档矩阵出发,利用形态学对矩阵进行转换、过滤,通过特征间隙确定最佳聚类数目.主要过程包括三个阶段:第一阶段将单词-文档矩阵转换成聚类数目趋势图像,第二阶段采用图像处理技术对灰度图进行过滤.第三阶段通过计算过滤后的灰度矩阵的第一个极大特征间隙所在位置得到最终的最佳聚类数目.实验证明,该方法不仅能评估最佳聚类数目,而且能在一定程度上提高单词-文档谱取类方法的准确性.

聚类趋势问题的研究综述

聚类算法的性能与数据集的结构是密切相关的,虽然目前已经研究出了很多聚类算法,但没有普遍适用的万能聚类算法,欠缺对数据集结构的有效解释。对聚类分析过程中重要的关键性问题,即聚类趋势问题进行了系统性的研究,从统计检验、可视化分析等角度给予了讨论,为数据集的无监督聚类分析提供了合理和有效的前期分析工具。

基于形态学的单词-文档谱聚类方法

本文利用形态学的方法确定聚类数目,并对单词-文档谱聚类方法进行改进.确定聚类数目主要分三个步骤:第一步将单词-文档谱聚类方法中产生的矩阵转换成可视化聚类趋势分析方法(visual assessment of tendency,VAT)灰度图,第二步利用灰度形态学、图像二值化、距离转换等图像处理技术过滤产生的VAT灰度图,第三步对过滤后的VAT灰度图建立信号图,并进行平滑处理,通过平滑后的信号图的波峰波谷数目确定文档集的聚类数目.实验表明,该方法能够提高单词-文档谱聚类方法的聚类效果.