基于Spark架构的艺术学慕课资源协同过滤推荐算法研究

传统资源协同过滤推荐算法MAE值偏高,因此提出基于Spark架构的艺术学慕课资源协同过滤推荐算法。采用分级响应形式,建立用户⁃资源评分关系模型,用户对资源的评分减掉该用户评分平均值,完成资源协同过滤相似度计算的优化,引入集成度高的Spark架构,预测用户对资源的评分并生成推荐列表,实现艺术学慕课资源的精准推荐。经过与两种传统算法的对比实验结果可知,研究的算法在不同比例训练集和测试集的情况下,MAE值均低于两种传统方法,说明基于Spark架构的艺术学慕课资源协同过滤推荐算法推荐精度更高,性能更好。

Spark平台下基于聚类挖掘的影视资源智能推荐

为了从海量的网络影视资源中快速准确地向用户推荐其感兴趣的视频,提出了一种Spark平台下基于邻近传播(AP)聚类的智能推荐方案。数据存储采用了分布式文件系统,并在弹性分布式数据集中采用AP聚类进行资源实时推荐,加快聚类速度。此外,将明可夫斯基(Minkowski)相似性度量引入到AP聚类中,替换原有的欧氏距离度量来构建相似度,以提高其聚类精度。在常用电影数据集MovieLens上进行实验验证。结果表明,Spark平台有效提升了聚类计算的效率。同时,相比于AP聚类和K-均值聚类算法,改进AP聚类的推荐准确率更高。

Azure云平台Apache Spark集群的使用

阐述在微软云平台Azure HDinsight中使用Spark集群,并结合一个事例使用Jupyter notebook来运行Spark查询SQL。

基于改进K-Means和DNN算法的电力数据异常检测

为获取较高的数据辨识效率,结合Spark架构理论,该文提出了一种基于改进K-Means和深度神经网络(DNN)算法的电力数据异常检测技术。首先,利用改进K-Means聚类算法对初始聚类中心的选取和样本权值进行适应性改进,实现各聚类子类的并行运算,从而提升异常数据的辨识效率。其次,该文建立了基于DNN算法的电力异常数据的修正模型,对辨识出的异常数据进行修正,针对现有聚类算法和异常值检测算法的参数难以控制且算法的随机性欠缺等问题,该文在DNN训练层中增加了反馈关联层,并使用改进粒子群算法对该算法的网络模型中的权值空间进行深度优化。最后,以某调度中心的监控与数据采集(SCADA)系统数据为样本开展算例验证,仿真结果说明该文方法能高效处理电网运行大数据的异常情况,数据成功修复率可维持在91%以上,对数据修复后预测的准确率平均达到95.2%。

一种个性化智慧教育云服务模式的设计

针对目前高校智慧校园大数据存储和计算效率不高的问题,文章构建了基于Spark分布式数据存储服务体系架构的个性化智慧教育云服务模式,为学生、教师、教育管理者和服务资源供应商提供多方协同的数字化生态环境。通过搭建实验集群,分别对采用Spark和Hadoop的MapReduce框架的智慧校园云服务平台的数据并行处理能力进行对比测试。结果表明,同一组数据集在两个平台上进行Kmeans聚类推荐计算,Spark架构在计算时间和计算效率方面具有明显的优势。

基于人工智能的电商大数据分类与挖掘算法

针对当前电商大数据背景下的数据分类与挖掘中存在递归效率低、周期频繁、冗余度高等问题,文中提出一种基于人工智能的大数据分类和挖掘算法。该算法采用快速Spark架构,在将获取到的电商大数据进行智能Spark分类的基础上,通过设置根据数据管辖维度进行控制的纵向序列,可以在较大程度上提高数据挖掘的效率。在数据挖掘的过程中构建各类数据所对应的挖掘模式,从而能够在最短的时间内生成用户行为树,降低数据挖掘中的冗余度。在数据分类时,将用户行为树及其数据的集合进行依次映射,从而解决因频繁搜索导致的周期收敛困难的问题。使用旅游业电商数据对所提算法进行仿真验证,结果表明,该算法在数据挖掘中消耗时间短、准确度高。

基于云计算系统的空间查询处理方法

针对传统的关系型空间数据库已经不能很好地适应于超大规模高并发空间查询访问的处理需要的问题,该文着眼于解决大数据时代下地理信息服务所面临的日益严峻的大规模空间查询访问需求,探索了一套基于Spark架构的空间查询实现技术,并给出相应的解决方案。提出一个基于Spark并提供类SQL访问接口的空间查询实现模型GeoSpark SQL,解决了以下关键问题:数据的外包矩形数据生成和标准地理信息数据对Spark的导入导出方法;Spark空间查询算子实现方法;Spark空间索引与查询优化方法。GeoSpark SQL模型在初步实验中,已可以满足实时性的要求,对复杂的空间查询也能有良好的性能表现。