-
题名基于分布式KNN分类器的大数据分类处理方法设计
- 1
-
-
作者
雷宇
-
机构
长江职业学院数据信息学院
-
出处
《新型工业化》
2021年第4期72-73,共2页
-
文摘
大数据时代的到来在一定程度上加剧了数据量的赋存,为此提出一种基于分布式KNN分类器的大数据分类处理方法。引进分布式KNN分类器,对大数据回归任务进行聚类处理,使用KNN算法对未知项进行检索,以欧几里德距离作为度量的标准,导出欧几里德距离计算结果,完成对任务的聚类。同时,整合MR框架,定义一个value处理键,将待分类的样本数据进行Map映射处理,规范大数据分类处理流程,当样本数据集合与中间key具备直接关联时,执行分类处理行为,完成对大数据分类处理方法的设计。在此基础上,设计对比实验证明设计的基于分布式KNN分类器的大数据分类处理方法,具有更高的处理效率。
-
关键词
分布式knn分类器
大数据
分类处理方法
聚类处理
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名一种改进的自适应快速AF-DBSCAN聚类算法
被引量:31
- 2
-
-
作者
周治平
王杰锋
朱书伟
孙子文
-
机构
江南大学物联网工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2016年第1期93-98,共6页
-
基金
国家自然科学基金资助项目(61373126)
江苏省产学研联合创新资金-前瞻性联合研究基金资助项目(BY2013015-33)
-
文摘
基于密度的DBSCAN聚类算法可以识别任意形状簇,但存在全局参数Eps与Min Pts的选择需人工干预,采用的区域查询方式过程复杂且易丢失对象等问题,提出了一种改进的参数自适应以及区域快速查询的密度聚类算法。根据KNN分布与数学统计分析自适应计算出最优全局参数Eps与Min Pts,避免聚类过程中的人工干预,实现了聚类过程的全自动化。通过改进种子代表对象选取方式进行区域查询,无需漏检操作,有效提高了聚类的效率。对4种典型数据集的密度聚类实验结果表明,本文算法使得聚类精度提高了8.825%,聚类的平均时间减少了0.92 s。
-
关键词
密度聚类
DBSCAN
区域查询
全局参数
knn分布
数学统计分析
-
Keywords
density clustering
DBSCAN
region query
global parameters
knn distribution
mathematical statis tics and analysis
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于Spark的输变电线路实时故障监测研究
被引量:4
- 3
-
-
作者
陈建峡
朱季骐
张月
张晓星
吕俊涛
白德盟
-
机构
湖北工业大学计算机学院
武汉大学电气工程学院
国网山东省电力公司电力科学研究院
-
出处
《计算机工程与应用》
CSCD
北大核心
2018年第5期265-270,共6页
-
基金
国家高技术研究发展计划(863)(No.2015AA050204)
-
文摘
输变电线路状态监测数据是智能电网中数据量很大的一部分,不仅包括在线的状态监测数据,还包括设备的基本信息、实验数据、缺陷记录等,在数据处理的可靠性和实时性方面的要求都很高。根据实际应用中输变电线路的故障类型,设计并实现了输变电线路实时数据故障监测模型。其中,利用高效处理实时数据的Spark系统,研发出基于Spark的分布式ISODATA和模糊KNN大数据分析算法,与单机KNN算法相比,在时间性能上提高了70.75%效率,具有明显的计算效率优势。
-
关键词
实时大数据
输变电线路
故障监测
分布式迭代自组织数据分析算法(ISODATA)
分布式模糊k最近邻分类算法(knn)
-
Keywords
real-time big data
transmission lines
fault monitoring
distributed Iterative Self Organizing Data Analysis Techniques Algorithm(ISODATA)algorithm
distributed fuzzy k-Nearest Neighbo(rknn)algorithm
-
分类号
TM715
[电气工程—电力系统及自动化]
-