基于Spark优化的协同过滤推荐算法研究

推荐算法是数据挖掘中较为重要的算法之一,在如今的互联网发展中被广泛使用。而基于Spark Mllib平台上使用的ALS协同过滤算法在个性化推荐系统中发挥着重要作用,但由于Spark复杂的内核架构与其基于内存计算的特点,想通过Spark实现高性能的推荐系统,还存在着诸多问题需要研究。针对基于ALS模型的协同过滤算法及用来实现该算法的Spark计算技术进行分析与优化,经过资源优化后,缩短了推荐所用的时间,其性能提升了33.3%;在资源优化的基础上再经过Spark Shuffle优化,优化后的性能与无优化时相比,其性能提升了54.8%。

基于Spark的MapReduce相似度计算效率优化

随着互联网的用户及内容呈指数级增长,大规模数据场景下的相似度计算对算法的效率提出了更高的要求。为提高算法的执行效率,对MapReduce架构下的算法执行缺陷进行了分析,结合Spark适于迭代型及交互型任务的特点,基于二维划分算法将算法从MapReduce平台移植到Spark平台;同时,通过参数调整、内存优化等方法进一步提高算法的执行效率。通过2组数据集分别在3组不同规模的集群上的实验表明,与MapReduce相比,在Spark平台下算法的执行效率平均提高了4.715倍,平均能耗效率只有Hadoop能耗的24.86%,能耗效率提升了4倍左右。

以大数据为基础的挖掘数据引擎研究

该文在开篇介绍了大数据的基本内涵、主要特点和研究价值。随后浅述了数据挖掘的三种工具和四类主要算法,并在第三部分简述了一种以Spark为基础的数据挖掘算法的模型结构。