基于RHadoop搭建大数据统计分析平台

Hadoop是当前非常流行的大数据分布式处理基础架构,通过HDFS和Mapredue实现了对海量数据的高速运算和存储。R软件是具有完善数据统计分析功能且被广泛使用的开源系统。文章叙述了基于R和Hadoop构建大数据统计分析平台的过程,藉此实现对大数据的统计分析。

基于RHadoop搭建大数据统计分析平台探索

当前,在大数据分布式处理基础构架中,RHadoop极为流行,基于Mapreduce与HDFS,使海量数据的储存及高速运算得以实现,在统计分析功能方面,R软件具有较好的完善性,在开源系统中应用广泛,本文基于RHadoop,对大数据统计分析平台的构建过程予以探讨,促进大数据统计分析更好的实现。

基于MapReduce和Bagging的并行组合支持向量机

为提高大规模支持向量机的运算效率,提出一种基于MapReduce和Bagging的并行组合支持向量机训练算法。该算法包括两个MapReduce流程:(1)分布式并行训练,利用标准SVM算法进行多任务并行的分块训练,保留所有的支持向量,迅速缩减数据集;(2)集成式并行训练,采用Bagging集成算法的思想,结合随机次梯度SVM算法对剩余的支持向量训练,以提高算法的分类精度。实验结果表明,并行组合支持向量机训练算法在保持较高分类精度的基础上,能提高算法运行效率及数据处理能力,能很好地应用于大规模数据集的SVM训练。

在线学习大数据分析架构研究

在线学习大数据分析是一种数据价值发掘模式,目的在于通过大数据分析,了解和把握在线学生的学习行为、学习情感及教育舆情,从而有效进行因材施教,提高教育和学习效率。通过综合分析在线学习大数据的特点,为适应在线学习数据分析需要,提出了在线学习大数据分析架构。重点介绍了分析架构数据挖掘分析层的关键技术。

基于R和Hadoop的大规模数据主成分分析

R软件具有强大的统计分析功能,Hadoop平台能够存储和处理TB级别以上的大规模数据,将R与Hadoop相结合,在目前阶段是一种比较好的处理分析大规模数据的方案。本文利用RHadoop项目中的rhdfs和rmr2两个包,以及Map Reduce编程模型,设计出能够针对大规模数据进行主成分分析的函数,并对纽约股票市场部分股票价格数据进行主成分分析,以验证其可行性。