基于分布式KNN分类器的大数据分类处理方法设计

大数据时代的到来在一定程度上加剧了数据量的赋存,为此提出一种基于分布式KNN分类器的大数据分类处理方法。引进分布式KNN分类器,对大数据回归任务进行聚类处理,使用KNN算法对未知项进行检索,以欧几里德距离作为度量的标准,导出欧几里德距离计算结果,完成对任务的聚类。同时,整合MR框架,定义一个value处理键,将待分类的样本数据进行Map映射处理,规范大数据分类处理流程,当样本数据集合与中间key具备直接关联时,执行分类处理行为,完成对大数据分类处理方法的设计。在此基础上,设计对比实验证明设计的基于分布式KNN分类器的大数据分类处理方法,具有更高的处理效率。

一种改进的自适应快速AF-DBSCAN聚类算法

基于密度的DBSCAN聚类算法可以识别任意形状簇,但存在全局参数Eps与Min Pts的选择需人工干预,采用的区域查询方式过程复杂且易丢失对象等问题,提出了一种改进的参数自适应以及区域快速查询的密度聚类算法。根据KNN分布与数学统计分析自适应计算出最优全局参数Eps与Min Pts,避免聚类过程中的人工干预,实现了聚类过程的全自动化。通过改进种子代表对象选取方式进行区域查询,无需漏检操作,有效提高了聚类的效率。对4种典型数据集的密度聚类实验结果表明,本文算法使得聚类精度提高了8.825%,聚类的平均时间减少了0.92 s。

基于Spark的输变电线路实时故障监测研究

输变电线路状态监测数据是智能电网中数据量很大的一部分,不仅包括在线的状态监测数据,还包括设备的基本信息、实验数据、缺陷记录等,在数据处理的可靠性和实时性方面的要求都很高。根据实际应用中输变电线路的故障类型,设计并实现了输变电线路实时数据故障监测模型。其中,利用高效处理实时数据的Spark系统,研发出基于Spark的分布式ISODATA和模糊KNN大数据分析算法,与单机KNN算法相比,在时间性能上提高了70.75%效率,具有明显的计算效率优势。