一种改进的基于遗传算法的Map/Reduce模型

为了解决数据存储的安全性问题,提出了一种云计算环境下的改进型Map/Reduce模型。模型改进了传统Map/Reduce模型没有考虑集群中大量异构节点的计算性能差异问题,通过采用最小化最大计算时间的目标函数进行建模,实现了一种更高效、更合理利用资源的分配算法。

基于Map Reduce的Bagging贝叶斯文本分类

集中式系统框架难以进行海量文本数据分类。为此,提出一种基于Map Reduce的Bagging贝叶斯文本分类算法。介绍朴素贝叶斯文本分类算法,将其与Bagging算法结合,运用Map Reduce并行编程模型,在Hadoop平台上实现算法。实验结果表明,该算法分类准确率较高,运行时间较短,适用于大规模文本数据集的分类学习。

基于Map Reduce的序列模式挖掘算法

传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。

基于模拟退火的Map Reduce调度算法

在计算能力作业调度算法的基础上,提出一种基于模拟退火的Map Reduce作业调度算法。利用带记忆功能的模拟退火算法选择最优作业,从而避免陷入局部最优解。在Hadoop平台上的实验结果表明,该算法能减少所有作业的运行时间以及每个作业的等待响应时间,具有较高的作业调度效率及用户满意度。

基于MapReduce的SQL查询优化分析

对SQL翻译成Map Reduce程序的性能进行分析,并对影响翻译性能的原因进行阐述。结合Map Reduce作业间输入相关性、数据转换相关性和作业流相关性的分析,通过合并冗余的作业,减少资源消耗,从而达到提高SQL查询性能的目的,给出了优化条件和优化规则。通过对优化前后的性能进行对比,证明改进后的SQL过程有更高的执行效率。

一种基于MapReduce的短时交通流预测方法

非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。

基于Map/Reduce的朴素贝叶斯数据分类算法研究

针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。

基于MAP/REDUCE的移动目标连续轨迹模式挖掘的研究

针对传统序列模式挖掘算法都是针对单机环境、静态实例以及非连续轨迹的不足,提出了Map/Reduce系统与经过优化的PrefixSpan序列模式挖掘算法相结合的改进型算法。该算法在生成投影数据库时,只有当待投影序列的第一个元素和前缀的最后一个元素相同时才会被选中,保证了挖掘出的都是连续轨迹片段。同时采用并行处理的方法,使用Map函数构建每个频繁序列前缀对应的投影数据库,使用Reduce函数整合所有的中间键值对得到需要的结果。

基于改进遗传算法的云计算平台负载均衡优化模型

云计算是一种由网格计算、分布式计算以及并行计算发展起来的新型计算模式。针对标准遗传算法在云计算资源调度的应用中往往会出现负载不均的问题,本文提出了一种基于Map/Reduce编程模型实现对诸多任务的分配功能的改进的多任务调度算法。

云计算下的一种数据挖掘算法的研究

如何进行云计算下的数据挖掘一直以来都是研究的重点,本文针对传统挖掘算法K-meas的不足,提出基于数据采样和分布密度的改进方法来获取算法的中心点,在聚类中构造函数提高了聚类效果,并对云计算下的Map/Reduce模型进行了函数改进,仿真实验通过对不同的数据集进行实验,从聚类分析比较,系统运行时间,加速比等方面说明了本文的算法适合在云计算下的数据挖掘具有一定的优越性。

面向大数据系统的检测器快速筛选算法

筛选成熟检测器是决定人工免疫系统性能和效率的关键因素,在大数据环境下由于初始检测器的数量极其庞大,会造成现有检测器筛选算法时间开销过大。针对该问题,提出一种新的海量初始检测器快速筛选算法。设计海量初始检测器的分布存储模式,利用Map/Reduce模型,给出混合式初始检测器快速筛选架构、海量初始检测器分区检查策略和成熟检测器集优化策略,以提高筛选初始检测器的效率,优化成熟检测器。在Hadoop集群中实现面向大数据系统检测器快速筛选算法原型系统,使用CERT synthethic sendmail data数据集进行测试与分析,结果表明,与传统算法相比,该算法能减少58.87%的时间开销,并在初始检测器数量不断增加时保持时间开销的稳定。

海量视频图像检索系统设计及应用研究

随着计算机技术快速发展及其普遍应用,视频数据容量也展示出几何级数增长的发展状态。而如何在海量视频图像检索系统内快速检索所需要的片段及视频信息,成为研究的热点问题。本文研究中,以公安部门视频监控系统为研究对象,针对海量的视频数据库,提出依托Map/Reduce分布式计算模型和关键帧算法相结合的方式,这种方法不仅可以提升检索效率,也能大大提高检索准确率,以期为类似研究提供一定的参考。

Hadoop平台下计算能力调度算法的改进与实现

在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。

复杂网络社团划分算法研究

网络社团发现的研究在生物学、计算机科学和社会学等多个领域具有重要意义。近年来,随着科学技术的进步,人们提出了很多社团划分的算法。本文综述了该领域比较有代表性的一些算法,然后提出了一种基于Map/Reduce模型的标号传播算法。最后,展望了该领域的未来研究方向。

基于云计算的海量网络流量数据分析研究

随着当前海量网络流量数据的增长,加强对网络异常数据的分析,进而维护网络的信息安全,成为当前思考的重点,并使得入侵检测进入到人们的视野。针对当前入侵检测不能兼顾大规模网络流量分析的问题,引入云计算平台。通过多尺度主成分分析法对网络异常流量进行分析,并借助Map Reduce的并行处理优势,对大规模的网络流量进行并行计算处理,从而提高网络分析的效率。最后,通过原型系统对上述的改进方案进行试验,验证了该方案在网络流量异常方面检测的可行性与准确性。