模块化教学模式探析--以“Hadoop大数据处理”课程模块化教学设计为例

课程模块化教学是对课程内容的重组以及整合,利用教学平台,引入企业项目案例资源,把传统的教学模式转变为以学生为主体、教师为主导的模式。本文以高等职业院校“Hadoop大数据处理”课程为例,采用模块化教学模式以适应大数据专业的工作岗位,介绍了模块化教学模式的概念、国内外研究现状,进行了“Hadoop大数据处理”课程模块化设计,分别是教学主体转换、内容模块化设计、教师分工协作模块化设计、应用信息化教学平台。以“Hadoop大数据处理”课程中大数据计算分析模块中“微博精准广告营销”为例说明课程模块化教学设计的具体实施步骤和最终的教学效果。

基于云服务的Hadoop大数据平台挖掘算法及实现

探讨了Hadoop与云服务的结合,强调云计算技术在支持大规模数据存储和分布式计算方面的作用;以电影推荐系统为例,详细介绍了大数据挖掘的实现过程,包括数据预处理、挖掘算法选择与实现等;为提高挖掘算法性能探讨了Hadoop配置参数优化、数据分区与并行处理、算法优化及利用云服务特性4个主要优化策略。通过这些优化策略,可以实现高效、准确的基于云服务的Hadoop大数据平台挖掘算法,满足实际应用中的各种数据分析和挖掘需求。

基于Hadoop处理大数据分析

时下,大数据分析已成热门行业,随着物联网等新兴技术的崛起,海量的数据正等待着系统进行消化,如何从海量数据中挖掘出有价值的信息是众多企业所面临的新的难题和挑战。在此应用背景下,Apache开源组织推出了Hadoop框架,用以实现海量数据的分布式存储和高效率可扩充的分布式计算。

面向大数据处理的Hadoop与MongoDB整合技术研究

随着数据种类的增多和数据规模的增大,No SQL技术与MapReduce并行处理思想越来越受到重视。Mongo DB作为NoSQL数据库的典型代表,支持对海量数据进行索引和查询,但Mongo DB提供的MapReduce还不能满足复杂的数据分析和计算。而Hadoop虽然提供了强大的MapReduce并行计算框架,却在实时服务方面存在较高延时。针对这种情况,综合考虑扩展性,数据本地化,I/O性能等因素,提出并实现Hadoop与Mongo DB四种不同的整合方案。通过设计三种具有代表性的应用作为性能的测量基准,对不同的整合方案进行性能对比实验,得出不同应用场景下的最优整合方案。实验表明,在Mongo DB与Hadoop的折衷使用过程中,若对不同的应用采用合理的方案,性能最多可以提高3倍。

Hadoop大数据技术应用分析

Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机制及原理。对目前Hadoop的应用场景作了详细的论述,并对其在使用过程中存在的问题进行了总结,最后给出这些问题目前的研究状况及部分解决方案。后期的使用证明,该方案可在一定程度上解决使用Hadoop过程中所遇到的问题。

基于云计算的Hadoop大数据平台挖掘算法及实现研究

云计算是将数据中心资源进行虚拟化,利用虚拟化资源管理技术和分布式技术,将所有处理能力分布到网络上,并借助网络技术,结合实际需求,以服务租赁的方式为用户提供服务。而Hadoop大数据平台以Personal Computer为基础,使用分布式集群系统,具有兼容性高、运行效率高、拓展能力强的优势,已广泛应用在多个领域。基于此,笔者针对Hadoop大数据平台的设计进行阐述,并结合平台设计原理对大数据挖掘服务平台功能实现进行研究。

基于云计算的Hadoop大数据平台挖掘算法及实现研究

在Personal Computer技术的基础上,Hadoop大数据管理平台采用了一种新型的分布式数据集群管理系统,具有网络兼容性好、运行管理效率高、扩展应用能力强等特点,目前已经在很多行业中得到应用。在此基础上,文章对Hadoop新型大数据平台的设计基本特征及其实现进行了深入的阐述,并通过实例结合该数据平台的具体工作及设计原理,对Hadoop大数据服务平台的主要功能及其平台实现应用情况进行了深入的分析研究。

基于Hadoop的缉查布控系统大数据平台设计

本文以辽宁省公安厅交通安全管理局缉查布控系统大数据平台设计为例，介绍基于Had00p的大数据平台构建方法，重点介绍了基础软硬件平台的配置方法和计算依据。

大数据分析技术在智慧交通管理中的应用

由于交通数据呈海量特征,为充分发挥智慧交通管理的重要作用,需要高效分析处理交通数据资源,特提出智慧交通管理大数据分析技术,不断推动智慧交通管理的发展。在综合阐述大数据分析技术和智慧交通管理特点的基础上,对两者的关系进行研究;通过分析Hadoop大数据平台原理,实现了交通大数据的分布式提取、计算和处理,能够有效提高交通数据的分析能力。结合保定市智慧交通管理实际状况,打开了交通拥堵、交通安全、交通效率治理的一条新思路。

大数据技术在生态环境保护中的应用研究

随着经济的持续发展,我国的生态环境保护问题变得越发复杂。大数据技术的出现,正好适应了生态环境保护问题的发展现状。本文从分析生态环境相关数据入手,对大数据技术在生态环境保护领域的应用架构及关键技术展开论述。

大数据技术在智能管道海量数据分析与挖掘中的应用

随着越来越多的电信运营商着手构建智能管道,应用大数据技术来分析处理智能管道所产生的海量数据已成为必然趋势。介绍了在智能管道的数据处理分析系统中应用大数据技术的架构方案,并给出了相关实现处理流程和算法,来满足智能管道对海量数据分析处理的需求。

大数据Spark技术研究

文章从技术角度对Spark进行了深入探讨。首先提出了Hadoop的技术缺陷;然后提出了Spark的设计思想和系统架构,分析了Spark在Spark SQL、MLlib、Spark流和Graph X方面技术处理过程。接着重点分析了Spark的六种运行模式的执行过程;最后分析了Spark当前应用现状和未来发展趋势。

Hadoop平台技术极其在油田企业的应用研究

文章着重介绍了Hadoop平台的基本特点与处理大数据的方法与优势，并结合油田企业数据的特点分析了Hadoop平台在油田企业中应用的意义与价值。

大数据平台下的互联网广告点击率预估模型

现存的广告点击率预估模型提取的特征维数较多,数据量较大,使得传统平台在应用时压力大,反应时间较长。针对这一问题,提出梯度提升决策树与因子分解机相结合的广告点击率预估模型,将基础特征库里的连续特征离散化,利用梯度提升决策树对输入特征进行非线性转化,利用Hadoop大数据平台进行分布式训练,高效快速地提取出高层特征,利用因子分解机融合模型解决不均衡分类问题,利用AUC指标对模型进行评估,与常用广告点击率预估模型进行对比。实验结果表明,大数据平台以及并行化的应用使特征提取更加高效,模型解决了分类不均问题,具有更好的广告点击率预估效果。

电力气象系统数据存储优化方案

随着电力气象相关系统规模的不断扩大,数据存储管理变得越来越复杂,传统的单服务器数据存储方式已经无法满足管理者和用户对系统高可用性、高可靠性的需求,因此,提出一种新型的数据存储优化方案变得十分必要。

基于HADOOP的网络用户信用度评估模型研究

针对开放网络环境下海量网络用户的信用度评估问题,研究了HADOOP平台下,应用改进的D-S证据理论算法对网络用户进行信用度评估。由于网络证据间存在冲突且数量巨大,通过分析选取改进的D-S证据理论算法处理冲突证据,计算网络用户信用度,并构建Hadoop并行计算平台,提高计算效率。实验表明改进的D-S证据理论可以应用到网络用户信用度评估领域,能够有效处理网络证据冲突,区分网络用户信用度。HADOOP并行计算平台大幅降低了计算时间。

高能物理实验径迹系统流式数据获取框架的研究

高能物理实验研究基本粒子及其相互作用,需要获取和分析大量的实验数据以发现新粒子或测量已知粒子的特性。随着高能物理实验规模的不断扩大以及加速器能量和亮度的不断提升,海量数据的获取、处理及分析将更具挑战性。在高能物理实验中,径迹系统探测器的通道数和数据量尤为巨大,为了读出和在线处理径迹系统探测器产生的海量数据,本文结合Hadoop大数据框架,引入主流开源的大数据处理组件,研究实现了一种流式数据获取框架——BigDataDAQ,并应用于时间投影室探测器模型实验中。实验室性能测试结果表明:这一数据获取框架具有良好的数据吞吐和数据处理能力,且易于部署和管理,为未来高能物理径迹系统结合大数据框架研制处理海量数据的流式数据获取系统进行了有益的尝试,并提供了一种可行的解决方案。

基于大数据技术的新媒体监管技术研究

在三网融合与媒体融合发展的大背景下,随着网络视听新媒体、新兴互联网渠道、各种移动智能终端的不断涌现,广播电视网络平台的传播途径变得日益复杂,广电新媒体监管面临越来越严重的压力。介绍大数据技术的技术架构,提出了大数据技术在新媒体监管中的具体应用。

基于大数据平台的货车位置服务应用研究

通过搭建Hadoop大数据平台,将货运车辆的北斗/GPS导航定位数据迁移到分布式文件系统里。结合Hive,Mahout等大数据组件,运用Java语言进行大数据算法的开发。设计并实现了基于时空特征的K-means聚类算法以及基于专家系统和协同过滤算法的货车未来活动区域预测方法,挖掘货车的轨迹规律和业务发展特征,对大数据技术在货运行业的工程化应用进行了探索。

基于Hadoop平台的用户网络行为系统设计

网民借助于网络工具进行的一切操作都会产生大量的有用数据,尤其是在当下电商的迅猛发展局势下,利用数据挖掘技术分析这些数据有助于提出更好的推荐系统和广告设置。该文就基于目前的研究现状分析并设计以Hadoop大数据平台为依托,采用K-means算法实现本系统。