基于Spark的实时AIWERS的设计与实现

为辅助电大学生在基于web的学习过程中有针对性地找到更适合自己的课程,降低查询时间的成本,将Spark技术和AI算法相结合设计了个性化课程推荐的AIWERS系统,实现了实时电大课程推荐。该系统架构有三个层次:实时电大学生行为数据采集层、Spark计算推荐层和数据存储层,其中Spark计算推荐层分为离线推荐模块和实时推荐模块,离线推荐模块是基于Spark MLlib的ALS算法设计的,实时推荐部分是基于协同过滤算法(UBCF)设计的。将AIWERS系统部署在Spark集群上,实现了个性化课程推荐预测功能,运行速度和分析速度均超过单机节点。