基于流数据聚类算法的电力大数据异常检测

针对电力大数据流的异常检测问题,该文将流数据聚类算法与电力大数据相结合,针对现有流数据聚类算法不易存储全部数据、断电数据易丢失等问题,以及流数据聚类算法对于离线阶段聚类算法实时应答的要求,从数据的完整性、安全性以及流数据聚类算法的低时间复杂度的角度出发,对CluStream流数据聚类算法进行改进,提出流式K-means聚类算法。对在线阶段,使用Redis集群进行流数据的缓冲,并设计节点时间衰减策略,增大心跳消息中有效消息所占比例;对离线阶段聚类算法进行优化,使用最佳距离法确定初始聚类中心,减少迭代次数;最后,使用所提出的流式K-means聚类算法进行用户用电异常行为检测,实验结果表明,该算法能够很好的发现用户用电异常行为。

传统与流数据聚类算法

在数据骤增的大数据时代,聚类算法成为研究热点。首先,介绍传统聚类算法与流数据聚类算法,流数据聚类算法可以达到数据快速扫描并分类形成簇集合的效果。此外,介绍基于划分的传统算法K-means、K-means++、K-中心点以及基于流数据的Stream算法;基于层次的传统算法BIRCH以及基于流数据的CluStream算法;基于密度的传统算法DNSCAN以及基于流数据的DenStream算法;基于网格的传统算法CLIQUE以及基于流数据的D-Stream算法。

基于网格和MST的混合属性流数据聚类算法

现有的流数据聚类算法往往只能处理单一属性类型的流数据,或是不能发现任意形状的聚类。针对这个问题,该文提出一种混合属性流数据聚类算法GTMS,算法使用了网格及MST（最小生成树）技术,采用基于信息增益和几何相邻的方法来计算混合类型数据相似度。实验表明该算法能够有效地处理混合属性流数据。

基于Spark的云数据中心性能异常实时检测方法

针对当前云计算环境下数据中心性能异常检测方法的实时性、可扩展性问题，提出一种云数据中心环境下基于Spark的性能异常实时检测方法Spark—ADOPD（Spark-based Anomaly Detection OverPerformance DataInRealtime）．方法设计基于Spark的分布式、可扩展流数据聚类算法对采集的云数据中心性能数据进行自动分类，建立性能异常预测模型；定义相似度函数，通过计算持续到达的性能数据与预测模型的相似度，挖掘性能异常行为，以动态调整资源分配．实验结果证明Spark-ADOPD具有较好的实时性和准确性．