基于“湖仓一体”技术的城轨大数据平台设计与升级改造实践

为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一体”大数据技术所具备的湖仓一体、流批一体、OLTP+OLAP、多重负载等优点,研究了基于该技术的大数据平台架构升级改造设计要点,并将该技术在北京地铁数据中心的大数据平台升级改造中进行应用验证。结果表明:“湖仓一体”大数据平台技术兼具数据湖的低成本、数据仓库的高性能等优点,解决了原大数据平台在性能、容量与多用途支持上的不足,为城轨行业大数据平台建设与升级改造提供了新的解决思路。

MESHJOIN*:实时数据仓库环境下的数据流更新算法

提出了一种新的实时数据仓库环境下的数据流更新算法——MESHJOIN*算法。算法的特性有:(1)关系R采用了分块和散列的组织形式,尽可能避免对当前连接无效元组的读取,减少连接操作所涉及元组的数量,从而提高连接算法的效率;(2)采用了多线程并发连接技术,并根据工程学原理,实现了连接操作和关系R读取操作的最佳调度,保证了连接算法效率的最大化;(3)根据当前系统的服务率和数据流元组的到达率之间的关系,合理调度实时元组和准实时元组的执行,保证了系统对实时元组的处理要求。实验结果表明,MESHJOIN*算法可以取得比MESHJOIN算法更好的性能。

网站粘性与购买量关系的实证研究——基于消费者手机上网数据的研究

通过由WAP(无线应用通讯协议,Wireless Application Protocol)网站所提供的手机用户上网点击流数据研究了网站粘性(Stickiness)与购买量之间的关系。研究结果表明网站粘性的三个方面(访问频率、访问持续期和访问深度)与购买量之间存在显著的正相关关系。

基于Hadoop的Web日志分析系统设计

电子商务网站在运行过程中会产生海量的访问日志数据,通过分析Web日志可以获取有价值的信息,并为网站运营提供决策支持。针对传统日志分析系统处理大数据能力不足的问题,本文提出基于Hadoop分布式平台的日志分析系统,充分利用HDFS分布式存储能力和MapReduce并行计算能力实现日志向点击流数据处理,借助Hive数据仓库实现日志分析。

ERM数据仓库模式探讨

如果一个企业不是垄断经营,市场上的大多数成员就不是它的客户。为了争取潜在的客户,企业必须花费大量的时间和精力去了解和分析用户的行为。在传统的商务中,这项工作更多的是凭直觉而非事实,因为他们无法跟踪非客户的行为。但是,在面向电子商务的数据仓库系统中,可以利用点击流数据去了解和分析用户的行为,通过聚合方法将用户活动连贯成为完整的用户访问历史,并据此争取更多的客户,更好地满足市场的需求。通过比较B2C电子商务环境下CRM和ERM系统的不同,探讨了ERM数据仓库的模式,其中包括可以记载所有用户活动的用户行为事实表、可能的基本数据维表和聚合数据维表,同时探讨了在不同电子商务环境中ERM数据仓库模式的改进方法。

电子商务中点击流数据仓库的应用研究

电子商务网站逐渐成为商务智能中数据量最大的地方之一.把数据仓库技术引入电子商务应用中,把用户在电子商务网站上的点击流(Click Stream)和Web日志文件作为数据源,利用高效的改进的关联规则算法,可以有效地分析出其中蕴涵的如用户行为模式这样的知识.利用这些知识,商务人员能够拓展他们的市场,改善客户关系,降低成本,使操作流水化,有效地辅助其改进商业策略。

网络数据测量调研

对网络数据测量的研究现状与进展进行了阐述,首先介绍了网络数据测量的研究背景,进而从网络数据测量的主要技术方面对当前研究工作进行了细致的分类归纳和分析,指出了当前网络数据测量各种技术,并对未来需要深入的研究方向进行了展望。

Web站点的点击流数据分析方法的设计与实现

Web挖掘就是利用数据挖掘技术从Web文档和服务中自动发现和抽取信息,用于Web挖掘的最有效的数据就是点击流,现在对点击流数据进行建模和分析所采用的方法要么过分强调挖掘算法,要么过分强调实用性。基于此,笔者提供了一种将挖掘算法与商业智能(BI)相结合的统计建模方法。

基于Hadoop平台的轨道交通能效管理系统的建设方案

随着城市轨道交通线网化进程和海量数据的累积,挖掘能效数据的潜在价值以提升地铁能效管理水平、实现节能降耗,对地铁的经济运行具有重要意义。对基于Hadoop平台实现轨道交通能效管理系统的建设方案进行了研究,并分别以历史数据和实时流数据的数据流和功能框图,具体说明了系统的实现方式。给出了基于Hadoop平台的能效管理系统的车站、线路、线网的三层式建设方式,以及组成模块的框架图,并按数据的在线和离线两种方式给出模块的实现方法。同时,在轨道交通能效管理平台中实现了大数据技术的首次应用。应用结果表明,基于Hadoop平台的大数据方案提高了地铁运营的能效管理水平。随着数据量积累和数据分析的深入,该管理系统必将具有更加广阔的应用前景。

点击流数据仓库系统应用研究

电子商务网站逐渐成为商务智能中数据量最大的地方之一。把数据仓库技术引入电子商务应用中,把用户在电子商务网站上的点击流(Click Stream)和Web日志文件作为数据源,利用高效的改进的关联规则算法,可以有效地分析出其中蕴涵的知识,如用户行为模式等。利用这些知识,商务人员能够拓展他们的市场,改善客户关系,降低成本,使操作流水化,有效地辅助他们改进商业策略。

实时数据仓库中一种改进的数据流更新算法

为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。

一种隐式关联页面的挖掘方法

点击流数据是分析互联网用户心理倾向的关键,用户感兴趣的页组关联就隐藏于WEB日志之中.网站页面间的隐式关联可以通过分析点击流数据实现.给出了一种挖掘关联页面的方法.关联页面发现算法采用了一种类似于Apriori的模型.算法克服了前人关联页面算法的一些缺点,能够更好地适应复杂的互联网环境.

视频点击流数据挖掘在远程教育中的应用

Web数据挖掘已经成为数据挖掘技术一个重要的应用领域,文章主要通过对远程教育网站的视频点击流日志文件进行数据挖掘,寻求用户访问规律,构建动态的个性化教育网站。

以大数据为核心的线网指挥中心建设方案

提出了围绕大数据分析处理的轨道交通线网指挥中心的建设方案,扩充了数据接口平台的功能,详细阐述了数据中心的混合架构建设方案,提出了基于实时流处理技术的实时线网监察方案。线网指挥中心的功能向以大数据为中心的转移,在技术上已经完全成熟并可实现。

点击流分析在教务管理系统中的应用

该文以某高校教务管理系统上的web日志为数据源,将挖掘基于数据仓库,通过建立分析主题从大量的学生访问数据中挖掘出所需的潜在信息,指导学校教务网站的进一步完善.

校园能耗监测与预警系统的大数据优化应用

校园能耗监测与预警系统一期构建了数据上报、在线监控、图表分析、能耗指标分析、预警通知等系统功能。本文主要介绍在系统运行过程中,随着能耗监控数据量的不断增大,出现了一些系统瓶颈。通过技术选型与重构,应用大数据相关技术及开源软件,解决一些当前系统存在的问题,并完善了系统功能,也为后续的能耗预测、能耗精细控制奠定了基础,为实现能源控制、管理、运维一体化平台迈出了坚实的一步。最后探讨能耗预测及精细控制的一些计划,实现优化的整体节能方案,以更高效合理地推进技能减排工作,提升能耗管理效率,促进社会可持续发展。

试飞数据平台数据架构设计与应用

试飞数据是民机飞行试验的重要产物,具有测量参数数量大,数据体量大,飞行试验数据与试飞任务信息关联性强等特征,支撑飞机型号取证与设计优化等任务;试飞数据平台数据架构对多源异构数据集成接入、多类形态数据存储管理、多种层次数据处理分析等技术进行了研究,采用湖仓一体的关键技术和方法打造试飞数据全集;试飞数据接入采用流批一体的数据处理技术,融合Spark和Flink主流数据处理引擎,具备试飞数据快速入库能力;提出按秒聚合方法,具备PB级多维度试飞数据压缩存储功能,存储性能提升近10倍;采用以秒为索引条件支持快速检索,强化数据湖查询能力;研究数据仓库技术,设计试飞数据多层数据模型,具备多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成等功能,并成功应用在某型国产民机的飞行试验数据管理中,服务于试飞数据用户,提高了试飞数据管理效率与试飞数据应用价值。

数字电视点击流数据的应用价值探讨

首先分析了数字电视收视行为分析的研究现状,然后提出将点击流数据仓库、数据挖掘、客户关系管理等技术引入数字电视观众行为分析,并探讨构建数字电视点击流数据仓库应用系统的可行性与思路。

数据仓库的数据流分析

通过分析数据仓库的系统结构 ,对数据仓库系统中的数据流进行分类 ,给出各类数据流在数据仓库系统中的实现功能 ,使数据仓库系统能更方便地管理数据和进行数据仓库管理系统的模块化设计 .