基于Spark算法的船舶尾气排放实时计算方法研究

船舶尾气排放计算模型复杂,所需数据源种类多样,计算数据量巨大,传统的单机计算程序难以满足船舶尾气排放监测的实时需求。文中基于Spark算法,设计了一种高性能、可扩展的船舶尾气排放实时计算方法。该方法首先通过Spark Streaming将离散的船舶AIS轨迹点连接成连续地轨迹段,然后通过插值生成单船尾气排放量网格,再通过Spark reduce By Key工具将船舶尾气中具有相同网格索引的各类排放物总量进行叠加合并,生成区域排放量网格数据,实现区域船舶尾气排放的实时计算,并基于GIS平台构建了深圳港船舶尾气排放实时监测平台。

基于Spark的ItemBased推荐算法性能优化

MapReduce计算场景下,复杂的大数据挖掘类算法通常需要多个MapReduce作业协作完成,但多个作业之间严重的冗余磁盘读写及重复的资源申请操作,使得算法的性能严重降低。为提高Item Based推荐算法的计算效率,首先对MapReduce平台下Item Based协同过滤算法存在的性能问题进行了分析;在此基础上利用Spark迭代计算及内存计算上的优势提高算法的执行效率,并实现了基于Spark平台的Item Based推荐算法。实验结果表明:当集群节点规模分别为10与20时,算法在Spark中的运行时间分别只有MapReduce中的25.6%及30.8%,Spark平台下的算法相比MapReduce平台,执行效率整体提高3倍以上。

基于Hadoop平台的Spark快数据推荐算法解析——以其在图书推荐系统中的应用为例

在大数据挖掘方面,基于Hadoop平台的Spark快数据推荐算法具有一定优势.基于这种认识,本文从平台算法组成和算法实现两个角度对该算法进行了解析,并对算法在图书推荐系统中的应用方法展开了探讨.从系统功能仿真分析结果来看,应用Spark快数据推荐算法进行图书推荐,能够使图书推荐系统推荐准确度得到提高,并且大幅度缩短图书推荐时间.

基于Hadoop平台的Spark快数据推荐算法解析——以其在图书推荐系统中的应用为例

在大数据挖掘方面,基于Hadoop平台的Spark快数据推荐算法具有一定优势。基于这种认识,本文从平台算法组成和算法实现两个角度对该算法进行了解析,并对算法在图书推荐系统中的应用方法展开了探讨。从系统功能仿真分析结果来看,应用Spark快数据推荐算法进行图书推荐,能够使图书推荐系统推荐准确度得到提高,并且大幅度缩短图书推荐时间。

基于数据挖掘技术的学生思想动态分析

本文基于学生出入校园数据、学生操行分数据、智育分数据、微信个性签名信息等数据,首先对出入校园数据进行分析,根据我院实际情况,建立一个异常的判断模型,确定判断依据,设定临界值。基于这个模型,通过K最近邻(KNN)分类算法,对出入校园数据实现自动分类,分类为正常、黄色预警、橙色预警、红色预警。接着在有关数据处理的基础上,利用智育分的等级作为标签,运用spark决策树多元分类算法对学生的行为趋势进行数据挖掘,预测智育分;然后对学生的个性签名进行情感分析,得出学生的情绪状态;最后,根据以上结果,设计学生思想动态监测模型,以期更好地帮助学生,服务学生。

一种分布式并行参数优化算法设计及其应用

并行参数优化算法在科学计算中有广泛应用。随着Spark等分布式平台的快速发展,越来越多并行参数优化算法开始采用分布式平台进行实现。如何在Spark等平台上设计优化算法,避免其运行效率受到框架固定时间开销和网络I/O影响,已经成为亟需解决的问题。本文设计一种分布式与单机多核并行结合的参数优化算法,将其划分为调度部分和独立子问题部分,单机多核并行算法处理子问题,分布式平台负责子问题的跨节点并行。碳通量模型参数优化的实验结果表明,改进的算法能有效节省时间开销,更快地搜索参数空间。