Hadoop架构下基于模式匹配的短期电力负荷预测方法

大数据处理技术充分利用海量动态数据,能有效提升电力负荷预测精度及计算效率。采用Hadoop架构提出了一种基于模式匹配的短期电力负荷预测方法,通过度量日负荷序列相似性挖掘得出典型日负荷模式,辨识出关键影响因素构建基于并行随机森林的决策树群从而建立模式匹配规则,实现待测日负荷模式的快速准确匹配;在典型负荷模式下建立多时刻点预测模型,采用Map Reduce计算框架进行负荷计算与预测分析,从而建立大量样本下的负荷预测模型。以某地市电网全年负荷数据为例进行负荷预测分析,并通过平均误差和方均根误差等指标对比局部加权线性回归(LWLR)算法的预测效果。仿真结果表明该方法用于短期负荷预测时具有更高的预测准确性和计算效率。

基于Hadoop的大数据频繁模式挖掘算法

针对传统的频繁模式挖掘算法不能满足大数据环境下的挖掘需要,提出一种高效挖掘大型数据库中频繁模式的并行算法H_PrePost.首先从压缩数据库、简化数据表示以及采用高效的连接和剪枝策略等方面对PrePost算法进行改进,以提高单机模式下的挖掘效率.然后将改进算法迁移到Hadoop平台上,利用MapReduce模型进行并行计算,同时提出一种负载均衡策略保证集群高效运行.最后使用kulczynski度量和不平衡比对所挖掘的频繁模式进行评估,以确保所挖掘模式具有实际应用价值.实验结果表明,H_PrePost算法可以有效挖掘大数据集中的频繁模式.

基于Hadoop技术的并行计算模式定向数据挖掘方法

本文研究以Hadoop为技术支撑,提出一种并行计算模式定向数据挖掘方法。在云计算平台中引入分布式网络存储技术,构建HDFS分布式文件系统,通过评估Hadoop集群内节点性能获取各节点性能值。以此为依据选取存储数据块的合适节点,按比例存储数据块。然后基于分布式文件系统设计HBASE分布式数据库,存储并处理大规模数据,经MapReduce并行化处理朴素贝叶斯分类算法后实现对定向数据的分类与挖掘。仿真实验中,利用基于Hadoop平台的常规PC机搭建内部局域网通信形式,设置主数据节点、从数据节点以及Hadoop环境,从挖掘精度与效率两个角度对本文方法展开性能评估。根据指标数据与实际案例应用效果可知:本文方法具有较高的挖掘效率与精准度,且能够有效展示出城区建设扩展趋势,为更科学、更高效地城市建设服务奠定基础。

Hadoop下多模式并行分类算法及其应用研究

根据人工神经网络自组织、高度并行以及具有非线性映射能力的特点,提出一种基于云计算的Hadoop多模式并行分类算法。通过将自组织映射网络与多个并行BP神经网络结合,提高多语义模式中复杂分类问题的学习效率和训练精度。采用Hadoop平台下的Map Reduce框架实现算法的并行处理,解决大规模数据样本训练时内存开销大、通信耗时长的问题。实验结果表明,与传统单BP多输出分类算法相比,该算法训练速度更快、分类精度更高,在处理大规模数据集时具有实时和高效的特性。

基于Hadoop的车位空闲模式挖掘方法

提出一种基于Hadoop平台的车位空闲模式挖掘方法.利用Apriori算法的思想定义空闲模式,并通过构造带标记的事务矩阵,在搜索过程中实现对事务集和连接步的压缩,同时采用MapReduce并行计算框架设计具体实现方案.实验结果表明,与传统方法相比,该方法提高了计算效率,能快速完成车位空闲模式的挖掘.

基于SPOC的线上线下混合式教学模式探究——以Hadoop大数据技术为例

针对现代信息技术如何与具体课堂融合提升传统课堂教学问题,提出基于SPOC与对分课堂构建一种新型线上线下混合式教学模式,该教学模式取各种典型传统教学模式优点并结合互联网信息技术,以超星学习通平台为工具,实现在"以教为中心"和"以学为中心"之间的平衡。并以Hadoop大数据技术课程"社交网站日志大数据的处理与分析专题"为例开展实践,实施结果表明能够从线上和线下两方面增强学生接受度和认可度,加强大学生学习驱动力,提高课堂教学质量。

基于Hadoop平台的日志分析模型

为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。

云计算及其架构模式

为了构建有效、稳定的云计算平台环境并对其应用性能进行研究,采用理论分析和实践设计的方法,研究了云计算的关键技术,包括云数据中心串联、云数据存储管理技术和云编程模型,提出了一个通用的云计算架构模型,实现了一个基于Hadoop的实际云平台。研究结果表明:该通用架构模型与NIST模型具有良好的一致性,构建的云平台具有较好的分布式计算性能。该成果对云计算架构模型的研究具有一定的理论指导意义和实际应用价值。

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。

PFPonCanTree:一种基于MapReduce的并行频繁模式增量挖掘算法

频繁模式挖掘是最重要的数据挖掘任务之一,传统的频繁模式挖掘算法是以"批处理"方式执行的,即一次性对所有数据进行挖掘,无法满足不断增长的大数据挖掘的需要。MapReduce是一种流行的并行计算模式,在并行数据挖掘领域已得到了广泛的应用。将传统频繁模式增量挖掘算法CanTree向MapReduce计算模型进行了迁移,实现了并行的频繁模式增量挖掘。实验结果表明,提出的算法实现了较好的负载均衡,执行效率有明显提升。

一种基于MapReduce的频繁模式挖掘算法

为了解决Algorithm_Add算法在挖掘大数据中的频繁模式时存在的内存占有量大和运行速度慢等问题,该文在深入研究Algorithm_Add算法的基础上,提出了基于MapReduce计算模型的并行挖掘算法——MRAlgorithm_Add。算法利用MapReduce模型对新增加模式进行处理,在各个节点上求出局部频繁模式,通过合并各个节点的结果得到全局频繁模式。介绍了MRAlgorithm_Add的设计思想,分析了算法的运行性能。实验结果表明MRAlgorithm_Add算法在Hadoop集群上运行,具有较好的加速比性能和良好的可扩展性。

基于Map Reduce的序列模式挖掘算法

传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。

一种Hadoop集群下的行为异常检测方法

随着分布式计算技术的发展,Hadoop成为大规模数据处理领域的典型代表,由于安全机制相对薄弱,缺少用户行为活动的监控,容易受到隐藏的安全威胁,如数据泄露等。结合主成分分析计算的特点,基于MapReduce对其做并行化处理,克服了传统主成分分析计算的缺点,提高了模型训练效率。提出了一种基于并行化主成分分析的异常行为检测方法,即比较当前用户的行为模式是否与历史行为模式相匹配作为判定用户行为异常与否的度量标准。实验表明该方法能够较好地发现用户的异常行为。

基于Hadoop集群的多表并行关联算法及应用

针对因特网环境下并行数据库实现多个大数据表关联存在的计算瓶颈,基于Hadoop集群设计了一个并行关联多个大数据表的简便算法MR_Join。以商业网站凡客诚品的销售数据为例进行实验,验证算法的可行性并做出应用实例。实验结果表明,MR_Join算法可以有效地实现大数据表的快速关联,具有显著的并行效率。

大数据背景下软件工程专业教学模式的思考

分析大数据技术对传统软件工程专业教育的影响,将大数据技术和理念融合到软件工程专业教学中,从教学的多方面提出了大数据背景下软件工程专业教学模式变革的思路,以顺应大数据时代对软件工程人才的需求。

云计算与大数据处理课程教学模式研究

针对当前我国对高素质云计算与大数据处理专业人才的迫切需求,分析了该领域的关键技术和主流工具,探讨了高等院校计算机相关专业的云计算与大数据处理课程体系结构,提出了以Hadoop开源平台下MapReduce、Spark和Storm等编程框架为重点的课程教学模式。

云模式下智慧城镇大数据系统设计

针对智慧城镇建设中出现的大数据平台搭建问题,设计了一种智慧城镇大数据系统。采用Hadoop的云模式计算手段,搭建了涵盖政务信息、地理信息、人员信息以及交通信息的大数据平台,通过C#语言实现智慧城镇大数据系统功能,其能够为管理者提供重要的决策依据。

基于聚类划分的高效用模式并行挖掘算法

针对在大规模数据库中挖掘高效用模式产生大量基于内存的效用模式树,从而导致内存空间占用较大以及丢失一些高效用项集的问题,提出在Hadoop分布式计算平台下的基于聚类划分的高效用模式并行挖掘算法PUCP。首先,采用聚类的方法把数据库中相似的事务划分为若干数据子集;然后,把若干划分好的数据子集分配到Hadoop平台的各个节点中构造效用模式树;最后,把各个节点中相同项的条件模式基分配到同一个节点中进行挖掘,以减少各个节点交叉操作的次数。通过实验结果和理论分析表明:PUCP算法在不影响挖掘结果可靠性的前提下,与主流串行高效用模式挖掘——效用模式增长挖掘算法(UP-Growth)和现有的并行高效用模式挖掘算法PHUI-Growth相比,挖掘效率分别提高了61.2%和16.6%;并且使用了Hadoop计算平台,能有效缓解挖掘大规模数据的内存压力。

基于Hadoop的温室无线传感网络数据采集与管理系统

文章基于Hadoop技术设计了温室无线传感网络数据采集、存储与管理系统。系统采用ZigBee、无线传感器、物联网等技术实时采集温度、湿度、光照度、二氧化碳浓度等温室环境参数,利用基于HBase历史数据改进的自适应加权融合算法对采集的数据进行数据融合,方便用户掌握温室的整体状况。利用MySQL+HBase混合存储模式组成的系统数据库,实现了对海量温室环境数据的可靠存储与快捷查询,为后续的智能控制、数据挖掘提供了数据支撑。

MapReduce并行加速数据流多模式相似性搜索

设计时间序列数据在Hadoop分布式文件系统(HDFS)中的有效存储方式,利用分布式缓存工具Distributed Cache将各子序列分发到Hadoop集群的计算节点上,将动态时间弯曲距离矩阵划分成多个子矩阵,采取并行迭代计算每条反对角线上子矩阵的方法,基于MapReduce编程模型,实现高效并行计算时间序列动态弯曲距离,通过改进剪裁冗余计算方法,设计实现一种数据流多模式相似性搜索并行算法。中国雪深长时间序列数据集的实验结果表明,当每条时间序列的长度达到5 000以上时,并行计算动态弯曲距离所需时间少于串行计算所需时间,当每条时间序列的长度达到9 000以上时,参与计算的集群节点越多,并行计算所需时间越少;当模式长度达到4 000、参与计算的集群节点数达5个以上时,从数据流中并行搜索出与模式匹配的相似子序列所需时间约为串行搜索所需时间的20%。