面向大规模流数据的可扩展分布式实时处理方法

MapReduce是处理大规模数据集的常用技术,但不能满足大规模数据集中流数据实时计算的要求。对此提出一种面向大规模流数据的可扩展、分布式实时处理方法。该方法在Map阶段,建立基于内存Hash B+树的缓存结构对中间结果处理机制进行优化,以降低对中间结果的频繁读写造成的I/O消耗,同时消除对中间结果的排序,以降低对CPU的消耗;在Reduce阶段,设计基于动态增量Hash技术的快速内存处理方法,并消除对中间结果的多遍扫描合并,对流数据进行增量处理、单遍分析,以提高对流数据的实时分析能力。实验结果表明:上述方法可以对大规模流数据进行实时性处理,并且具有较好的可扩展性。

基于Hadoop MapReduce的分布式数据流聚类算法研究

随着数据流规模的持续增大,现有基于网格的聚类算法对数据流的聚类效果不好,不能实时发现任意形状的簇,也不能及时删除数据流中的噪声点。文章提出了一种Hadoop平台环境下基于网格密度的分布式数据流聚类算法(PGDC-Stream),利于基于Hadoop的MapReduce框架对数据流进行阶段化的并行聚类分析,实时发现数据流中任意形状的簇,定义检测周期和密度阈值函数并及时删除数据流中的噪声点。算法基于网格密度对数据流初始聚类后,随着新数据的到来,使用基于密度阈值函数的噪声点处理策略,周期性检测和删除噪声点,使用基于Hadoop MapReduce框架的并行分析模型周期性地调整已经生成的簇。实验结果表明,PGDC-Stream对大规模数据流的聚类质量、可伸缩性和实时性都好于CluStream。

基于Spark的云数据中心性能异常实时检测方法

针对当前云计算环境下数据中心性能异常检测方法的实时性、可扩展性问题，提出一种云数据中心环境下基于Spark的性能异常实时检测方法Spark—ADOPD（Spark-based Anomaly Detection OverPerformance DataInRealtime）．方法设计基于Spark的分布式、可扩展流数据聚类算法对采集的云数据中心性能数据进行自动分类，建立性能异常预测模型；定义相似度函数，通过计算持续到达的性能数据与预测模型的相似度，挖掘性能异常行为，以动态调整资源分配．实验结果证明Spark-ADOPD具有较好的实时性和准确性．

基于积分算子技巧的容量相关估计

利用与积分算子特征值下降速率有关的两种容量相关条件,在抽样是同分布且样本是独立选取的情况下,通过积分算子技巧和假设概率随机事件的方法给出了正则化最小二乘回归学习算法的一致性误差界,并将正则化最小二乘回归学习算法的学习速率提高到了O(m-β(1+2β))。