基于改进自适应DBSCAN的混合式MOOC视频观看模式挖掘

基于密度聚类的DBSCAN算法能够依据数据特征自动执行分类任务,多应用于含噪声的复杂数据集的聚类分析,但也存在难以确定参数以及人工参与度高的缺陷,限制了自动高准确率挖掘的应用。基于此,提出了一种基于k-dist图斜率的自适应DBSCAN算法KSSA-DBSCAN,可以依据k-dist图斜率自动选择合适的k-dist图拐点作为最佳邻域,并在聚类迭代过程中依据聚类数目的变化自动确定最佳密度阈值,克服了难以确定参数和人工参与度过高的缺陷。基于6个数据集将KSSA-DBSCAN和DBSCAN、KANN-DBSCAN进行了对比,实验结果显示,该算法的准确率在4个数据集上均优于其它算法,并且与DBSCAN相比准确率最大提高了25%。将其应用于某混合式MOOC视频观看行为数据的模式挖掘,结果显示该算法能够对视频观看模式进行有效的自动挖掘,进一步验证了该算法的有效性。

K-means初始聚类中心的选择算法

K-means算法随机选取初始聚类中心,容易造成聚类准确率低且聚类结果不稳定。针对这一问题,提出一种初始聚类中心的选择算法。通过k-dist的差值(DK)图分析,确定数据点在k-dist图上的位置,选择主要密度水平曲线上k-dist值最小的点作为初始聚类中心。实验证明,改进算法选择的初始聚类中心唯一,聚类结果稳定,聚类准确率高,迭代次数少。

一种改进的DBSCAN密度算法

DBSCAN算法是一种基于密度的聚类算法,算法存在许多优点,也存在一些不足。比如对输入参数Eps敏感,DB-SCAN由于采用全局Eps值,所以在数据密度不均匀和类间距离相差比较大的情况下,聚类质量会受到很大影响。文中主要针对算法输入参数Eps以及数据密度不均匀问题加以改进,提出了一种新的数据分区方法,通过对k-dist图纵坐标距离值单维度聚类,然后对比横坐标实现分区,使每个分区的数据尽可能均匀。实验证明,改进算法明显缓解了全局Eps导致的聚类质量恶化问题,聚类结果更加准确。

基于MapReduce的改进DBSCAN算法

针对聚类算法DBSCAN中存在的Eps参数问题和处理海量数据集时的效率问题,提出OPDBSCAN算法。OPDBSCAN算法通过交叠分区获取局部Eps以降低全局Eps参数对聚类质量的影响,并结合MapReduce并行框架提高算法效率。实验结果表明,OPDBSCAN算法的效率和聚类质量都高于原DBSCAN算法。