基于Map/Reduce的朴素贝叶斯数据分类算法研究

针对目前机器学习研究领域中的数据分类问题,选择朴素贝叶斯算法作为研究对象。首先,通过对样本数据特征属性的权重进行加权调整,提高算法处理的准确率;然后,改进朴素贝叶斯算法分类器模型,使其能够利用Map/Reduce并行编程模型,采用多计算资源节点并行处理,进一步提高处理速度。最后,对UCI dataset数据库进行实验验证,结果表明:改进后的算法在海量数据分类处理中具有更好的性能表现。

基于Map Reduce的序列模式挖掘算法

传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。

一种基于MapReduce的短时交通流预测方法

非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。

基于改进的Map/Reduce及模式空间划分的数据挖掘

为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法.

基于Map/Reduce集群上的模式空间划分的序列模式挖掘

通过模式空间划分将基于Map/Reduce处理数据集与候选序列模式集的多对多的对应关系的问题转化为处理数据集与以频繁1-序列为基的各子模式空间的多对多的对应关系问题,大大缩小了中间结果键值对集合的规模,避免了由于组合爆炸导致的单一Map节点的瓶颈问题.通过三轮的Map/Reduce任务,实现了模式空间和过滤规则的建立,并在此基础上实现了各子模式空间上独立地进行序列模式的挖掘.通过充分利用整个模式空间的全局特征及各子模式空间的个性特征,设计了优化的非递归挖掘算法,减少了前缀投影库构造次数及对构造的投影库的扫描次数,从而提高了挖掘阶段的效率.

基于Map-Reduce的自适应双语短语挖掘系统

对于跨语言信息检索,统计翻译等应用,双语短语都是极其重要的资源.提出了基于自适应模式的双语短语挖掘算法,该算法可以自动的学习当前Web页面的翻译模式,然后利用学习到的模式抽取当前页面中的双语短语.同时,将自适应双语短语挖掘算法与Map-Reduce并行编程模型融合起来,大大提高了系统的运行效率,并且通过实验验证了该方法的有效性.

基于大数据聚类的电力系统中长期负荷预测

随着电网数据收集能力的提升,积累了海量的负荷及相关数据,为负荷预测开辟了新的思路。提出了一种应用大数据技术的中长期负荷预测新方法。首先通过历史负荷序列的增长趋势、波动性等变化特性的参数化表达,实现负荷的标准化处理,形成大数据聚类的样本;然后结合大数据分析平台的数据处理能力设计了基于Map Reduce并行编程模型的改进模糊K-means聚类方法,实现对负荷大数据的聚类划分;最后综合相同聚类负荷,并建立预测模型。计算结果表明,大数据聚类算法能有效地进行大量负荷数据的聚类划分,实现不同增长特性负荷的区分预测,具有较高的预测精度。

一种基于可排序视图的RDF模式匹配算法

随着语义网络中数据量的激增,在RDF数据集中高效查询数据已成为一个亟待解决的问题。传统的基于物化视图的RDF模式匹配方法虽然能降低表的自连接操作次数,加快查询模式重写过程,但在视图集中检索模式匹配的视图等价于子图同构这一NP-hard问题。为了减小查询模式重写代价,提高RDF模式匹配过程效率,引入可排序视图概念,设计包含映射发现算法contain及其扩展算法contain+,简化等长度模式间包含映射发现过程,同时保证模式间的匹配代价与输入数据的规模线性相关。此外,提出基于倒排表/Map Reduce检索候选可排序视图的方法,实现RDF模式重写算法rewrite,用以处理不同规模数据集上的模式匹配问题。理论分析及实验证明,基于可排序视图的RDF模式匹配算法能有效地兼顾算法效率及算法可扩展性。

单层树型网格下独立任务的周期性调度

提出单层树型网格下单位独立任务的周期性调度方法,单位独立任务是大小相等的独立任务.首先,为单层树型网格下的单位独立任务调度建立线性规划模型,通过分析整数线性规划求解过程,发现一个单层树型网格平台在节点构成不同时,分别具有非饱和态、临界态或冗余态特征;并且,随着网格节点上任务数的增多,线性规划最优解呈线性增长,任务调度具有周期性特性.据此给出非饱和态、临界态或冗余态网格的定义、性质和判定方法,推导出单位独立任务调度的周期长度.最后,分析了周期性调度的时间复杂性,提出一种周期性调度算法Periodic-Sched.实验结果表明,周期性调度是有效的.单位独立任务的周期性调度将大规模的任务调度问题简化为一个周期内的任务调度,降低了调度问题的复杂度.该调度方法适用于对Hadoop平台的Map任务进行调度.

面向办公人员的地图服务模式研究与实践

本文基于目前迅速发展的IT技术与成熟的地理信息技术,结合政府办公人员的工作特点,提出了基于G IS功能的地图服务模式,并用C开发了无编程网络地图发布工具,实现了专题地图的网络发布,证明了该技术方法的可行性;通过与基于系统的地图服务模式比较,证实了基于GIS功能的地图服务模式更适合办公人员去使用地图。

基于PFP的关联规则增量更新算法

对快速增长的数据进行挖掘的有效途径之一是采用增量式更新算法,其中最具代表性的是MRFUP算法。该算法的剪枝策略减少了关联规则的计算,但在处理增长快速的数据时效率过低,且频繁计算新增数据。文章以提高海量数据下关联规则增量更新效率为目标,通过扩展能够并行处理关联规则的PFP算法而提出一种基于PFP的关联规则增量更新算法MRPFP。该算法能充分利用云平台强大的存储和并行计算能力。该算法的实验结果表明,MRPFP处理海量数据的效率优于MRFUP算法,更适用于海量数据的关联规则挖掘。

基于消息映射的服务器控制模式

针对大型服务器程序设计中对灵活性、可扩展性和健壮性的要求,引入了一种基于消息映射的服务器控制模式,把Windows编程中对于消息的处理机制和服务器程序中常见的自动状态机(FSM)设计结合起来,使得既支持服务器中对于多服务多版本的统一处理,又能够提供用户当前服务类型的无缝切换,并能方便地支持各种服务实现的变更和程序流程的重定义。

基于Redis的分布式搜索引擎研究

针对互联网网内信息搜索效率低下问题,设计了以Redis数据库以及Map-reduce思想为核心的分布式搜索引擎框架。为了应对互联网信息时效性强、更新快、难以被准确检索的特点,基于该框架设计了分布式爬虫、分布式索引建立、分布式链接分析算法。该框架明显提高了信息处理的效率,为分布式搜索引擎的搭建提供有效模板。经过测试,与以基于其它主流框架搭建分布式搜索引擎相比,基于Redis的分布式搜索引擎在爬虫爬取、索引生成、链接分析性能方面均有提升。

降维映射分析法及其应用

用人工神经网络将多维空间的样本数据降维映射到二维平面上 ,并生成目标函数的等值线 ,可全景式地展现出样本数据集操作空间的面貌和特征 ,由此可直接看出最优操作点或最优操作区域。映射平面上的任意点可通过逆映射算法将其还原到多维空间。本文对这个方法的基本原理进行了简要的描述 ,并用于操作优化的实例计算。演示的实例说明 ,这个方法比模式识别方法优越。

应用基于规划的学习算法建立对物体进行不变性识别的模型

本文给出了一个对二维物体进行不变性识别的模型。我们把应用基于规划的学习算法的神经元网络和复数—对数预处理变换结合起来对物体进行大小、方向和位置的不变性识别。规划学习算法是用规划数学中相当成熟的优化技术求解联想记忆的神经元网络的学习问题,从而使网络具有容量大、训练样本稳定、吸引半径得到优化等特点。联想记忆的互连网络根据预处理的结果不仅可以识别物体,还可以估计出物体在尺寸和方向上的变化量。本文进行了一些实验识别机械手操作平台上的工件,给出了实验结果并讨论了把该模型与眼在手上的机器人系统相结合用来实现三维物体的不变性识别的初步工作。