在数据流数据库中集成聚类算法研究与实现

在数据流管理系统中集成数据挖掘功能,有助于对数据流进行更加有效的管理和挖掘,但目前研究界对此方面工作关注不够。基于数据流管理系统Esper,利用时间窗口和自定义函数,采用Esper处理语言改写Clustream算法,在Esper系统中实现聚类算法。实验结果表明,该方法可以Esper具有对数据流进行聚类分析的能力;与用Java实现数据流聚类相比,在Esper中实现聚类方法具有更好的处理多维大数据量数据流的能力。

基于多元词组和数据流聚类的热点话题动态发现

本文主要通过改进的TF-IDF算法和多元词组动态构建来选择特征关键词,并利用Clu Stream数据流聚类方法,实现文本主题的动态发现.实验表明,该方法可以较好地发现海量文本信息中不断变化的主题信息,从而达到推荐关联主题、动态监测舆情等目的.

具有资源约束的自适应聚类算法

为有效考虑大数据流环境中设备节点的内存、计算处理能力、电池电量等资源有限的问题,分析在资源约束的情况下,快速有效挖掘抽取知识的方法,并在K-means算法的基础上提出DRA-Kmeans聚类算法。结合基于资源约束的自适应聚类算法框架RA-Cluster算法,引入自适应聚类方法,对数据流聚类算法CluStream进行改进。该算法在资源受限时优化聚类有效范围,加大聚类精确度;增大聚类半径阈值,抑制新聚类的生成,减少有限资源消耗。

基于Storm的分布式实时数据流密度聚类算法

基于经典流聚类框架CluStream和密度聚类算法DBSCAN,提出了一种分布式实时数据流密度聚类算法DBS-Stream,并在Storm流式处理平台上设计了算法实现方案.该算法局部节点使用CluStream的两段式经典框架,在线微聚类中利用DBSCAN代替K-means初始化数据,在中心节点再使用DBSCAN算法进行全局聚类.该算法可解决任意型聚类问题,并可使局部节点快速更新数据.将DBS-Stream算法与CluStream算法进行比较,实验结果表明,本研究算法在聚类质量和通信代价方面均优于CluStream.

汽轮机能耗性能的聚类监测方法

文中对汽轮机能耗性能的聚类监测方法—Clustream数据流聚类算法进行了分析研究,该算法在处理热工过程海量数据时,能够充分利用历史数据,实时更新系统特性,减少聚类时间,这样有利于工业生产,特别是电站能耗特性的实时更新。机组能耗特性曲线是负荷优化分配的前提和基础,不仅与机组自身有关,而且受环境、运行方式、设备状态、运行人员的技术水平以及煤种等因素影响。以某电厂超临界600 MW机组为例,从现场海量数据中提取出的与汽轮机热耗率相关的主要特征信息,利用Clustream的算法对影响汽机热耗率的重要参数聚类。研究表明,采用文中方法能够准确地诊断出汽轮机性能在较长时间后的变化情况及规律,它对电厂实际操作运行提供参考。