基于Spark的输变电线路实时故障监测研究

输变电线路状态监测数据是智能电网中数据量很大的一部分,不仅包括在线的状态监测数据,还包括设备的基本信息、实验数据、缺陷记录等,在数据处理的可靠性和实时性方面的要求都很高。根据实际应用中输变电线路的故障类型,设计并实现了输变电线路实时数据故障监测模型。其中,利用高效处理实时数据的Spark系统,研发出基于Spark的分布式ISODATA和模糊KNN大数据分析算法,与单机KNN算法相比,在时间性能上提高了70.75%效率,具有明显的计算效率优势。

一种基于SVM的博客大数据分类算法及应用

提出了一种基于SVM的博客大数据分类算法BBD-SVM,根据RSS博客文本特点提取博客特征词,通过SVM模型参数寻优化SVM分类模型实现博客大数据分类。并设计了RSS博客爬虫,以互联网上各种计算机程序设计语言的技术博客为爬取对象,利用BBD-SVM算法对相关技术博客进行专业分类,为用户学习程序设计语言提供专业推荐服务。其中,博客文本特征的提取选用改进的TF-IDF作为权重计算函数,SVM分类模型的参数寻优很好地提高了分类效率。实验结果表明,BBD-SVM算法具有准确率高,耗时少的优势,能够实现快速准确的博客推荐服务。