基于MapReduce的序列规则在推荐系统中的研究

目前常用的个性化推荐系统模型通常是基于协同过滤或者是基于内容的,也有部分基于关联规则的。这些算法没有考虑事务间的顺序,然而在很多应用中这样的顺序很重要。文章提出了一种简易的基于序列模式的推荐模型,并且考虑到大规模数据的处理,结合了MapReduce编程模型。这种简易的推荐模型可以用来辅助通常的个性化推荐系统。

基于MapReduce和分布式缓存的KNN分类算法研究

随着大数据时代的到来,K最近邻(KNN)算法较高的计算复杂度的弊端日益凸显。在深入研究了KNN算法的基础上,结合Map Reduce编程模型,利用其开源实现Hadoop,提出了一种基于Map Reduce和分布式缓存机制的KNN并行化方案。该方案只需要通过Mapper阶段就能完成分类任务,减少了Task Tracker与Job Tracker之间的通信开销,同时也避免了Mapper的中间结果在集群任务节点之间的通信开销。通过在Hadoop集群上实验,验证了所提出的并行化KNN方案有着优良的加速比和扩展性。

粗糙集属性约简在文本分类中的性能研究

在文本分类中,特征空间维数可以达到数万维。使用信息度量的方法,如文档频率、信息增益、互信息等,对特征进行选择后的维数通常还是很大,降低阈值或减小最小特征数可能会降低分类效果。针对这个问题,提出基于粗糙集的二次属性约简。实验表明,该方法在有效降低特征维数的同时保证了分类效果。

基于MapReduce的SON算法实现

在挖掘频繁项集的算法中,SON算法能够有效地降低CPU和I/O负载,但是SON算法在单节点上运行时仍然受限于内存和CPU;并且随着海量数据的来临,单节点也无法满足数据的存储。在深入研究SON算法的基础之上,提出了MapReduce编程模型实现SON算法的方法。算法的执行需要两轮MapReduce迭代,第一轮迭代求出局部频繁项集,第二轮迭代求出全局频繁项集。实验结果表明:SON算法采用MapReduce编程模型并行化后,部署在Hadoop集群上运行,随着分区数目的增加能够获取较好的加速比。

一种基于FP-growth的并行SON算法的实现

单节点运行的传统SON算法能够有效降低CPU和I/O负载,而且算法仅需要对整个事务数据集扫描两次。但是在算法执行的阶段一中发现局部频繁项集时采用的Apriori算法仍然需要对每个分区进行多次扫描。在深入研究SON算法的基础上,根据MapReduce编程模型提出了基于FPgrowth的SON算法的并行化实现。实验结果表明,基于FP-growth的并行SON算法不仅降低了传统SON算法的运行时间,并且随着分区数目的增加还能获取比较好的加速比。

大数据处理平台比较与分析

虽然以MapReduce和Hadoop分布式系统(HDFS)为核心的Hadoop已在大规模数据密集的商业领域成功应用,但是对于多个并行操作之间重用工作数据集却表现不佳。作为对其的一种补充,本文介绍了Spark。首先介绍Hadoop的MapReduce与HDFS基本概念与设计思想,然后介绍了Spark的基本概念与思想,并且着重介绍了弹性分布式数据集RDD,并通过实验证明和分析对比了Hadoop与Spark。

基于自生成深度神经网络的4D航迹预测

针对四维(4D)航迹预测的实时性不强和存在迭代误差的问题,提出了一种自动生成的条件变分自动编码器(AutoCVAE)。它以编码-解码的形式直接对未来一段时间的航迹进行预测,并能灵活选取观测点个数和预测步长。该方法以处理后的广播式自动相关监视(ADS-B)数据为引导,以减小预测误差为目标,通过贝叶斯优化的方法,在预定义的搜索空间内进行模型结构搜索,每一次的超参数取值都会参考之前的评估结果,使得每一次的模型结构都能向目标更靠近一点,最终实现了一个基于ADS-B数据的高精度的4D航迹预测模型。实验得出,所提模型能快速准确地进行航迹的实时预测,其中经纬度平均绝对预测误差(MAE)均小于0.03°,高度MAE小于30 m,各时刻点的时间误差也不会超过10 s,每次批量预测轨迹的延迟时间不超过0.2 s。

基于自编码器的评分预测算法

评分预测是推荐系统的一个组成部分,通过一个实数表达对用户的偏好进行预测,在学术界被广泛研究。神经网络具有很强的特征提取能力,能获取数据深层次的特征。使用神经网络中的一种网络即自编码器,通过扩展使其具有处理像评分矩阵这种有缺失数据的矩阵的能力,并通过实验证明其预测结果与当前主流的评分预测算法SVD的性能接近。

一种基于中间结构层的分层粒子群算法

针对标准粒子群算法易陷入局部极值和优化精度较低的缺点,结合复杂系统理论提出一种多层次粒子群算法,通过在算法结构中引入中间结构层,分别定义了进行大范围的较优值搜索的粒子和在较优值周围进行精细搜索的粒子,增加了粒子群的多样性,有效协调了粒子的寻优能力。采用了两种标准测试函数对算法性能进行了实验,结果表明,该算法可有效避免陷入局部最优,并在保证运行速度的同时提高了求解精度。