基于实时操作数据存储的动态警情分析

通过监控公安业务系统日志,从业务系统日志中实时抽取细节数据到操作数据存储,实现操作数据存储与业务系统的秒级实时同步,建立基于"日志-操作数据存储-数据仓库"三层体系结构的公安数据仓库,基于即时在线联机分析查询、操作数据存储的多维数据集动态更新和数据集市的多维数据集,提供即时在线联机分析服务.实验结果表明,该动态数据仓库能够提供实时警情决策分析,并且具有对业务系统负荷小、实时性强、访问效率高等特点,较好地满足了公安系统对实时性的要求.

基于OLAP的企业成本多维分析

随着企业科学化管理的不断深入,企业经营管理对成本信息的需求越来越精细,经营管理者要求从各个角度(产品、客户、部门等)审视企业成本的消耗。但目前尚无有效地解决方案。笔者在分析成本性质基础上,提出了企业成本多维分析的基本思想,并利用OLAP技术实现,还完成对传统成本分析的兼容。针对企业间接成本问题,拓展作业成本法的用法,设计高效构建企业成本多维视图的方案,最后给出企业成本多维分析的体系结构和实施步骤。

HS-StreamCube:网络安全事件流实时多维分析系统

大规模网络安全监控应用中,决策者应用数据流联机在线分析(Stream OLAP)技术对网络安全事件流建立流数据方(Stream Cube)进行实时分析,以了解当前网络安全状况并动态评估当前网络安全态势。由于内存容量有限,Stream Cube只关注当前时间窗口内的数据,而对于时间窗口外的过期数据则采用近似存储或简单地丢弃,所以不支持超出时间窗口范围的大时间窗口查询。针对以上缺陷,提出一种多维多层安全事件流实时分析框架HS-Stream Cube,采用内存和外存两层混合存储模式实现任意时间窗口的精确查询;然后根据数据流特点重点研究两层混合存储模式下HS-StreamCube的模型、构建、存储管理和查询等;最后通过实验验证该系统的可用性和高效性。

基于数据仓库的OLAP在DSS中的应用研究

以数据仓库为基础的在线联机分析处理(OLAP)技术是决策支持系统(DSS)中一种新的决策分析方法。该文从DSS的实际需求出发,分析了数据仓库的特征和结构模型,研究了OLAP的特征和体系结构及其实现决策分析的过程,最后给出了应用实例,并探讨了完善DSS结构的研究方向。

多维多层次网络流量异常检测研究

随着网络攻击种类和数量的增加以及网络带宽的不断增大,网络流量异常检测系统面临着误报率高和漏报率高的问题.针对该问题,首先对采集到的网络流量数据进行多维多层次在线联机分析,通过构建检测立方体数据结构并在检测立方体上针对异常检测的应用特征提出了一系列优化策略,采用最小生成树对多维度上的多查询进行优化,采用异常驱动的方法动态设定聚集的层次,来有效降低在线联机分析的时间和空间复杂度;然后在联机分析计算结果的基础上采用熵对多维多层次流量数据分布特征进行度量,获得流量数据在各个维度上的熵值序列;最后采用一类支持向量机对多维熵值序列进行分类,达到高效准确检测异常的目的.在大量实际网络流量数据集上对所提方法进行了验证并和已有方法进行了对比实验,取得了较好的实验效果.

一个轻量级数据仓库平台的设计和实现

提出了一个基于J2EE架构下的轻量级数据仓库平台的设计思想,并加以实现。该数据仓库平台包括元数据管理、数据抽取/转换/装载、数据清洗、在线分析和数据展现等在构建和使用数据仓库系统中所必需的通用功能。在该轻量级数据仓库平台的开发过程中,利用了不少优秀的开放源码软件并加以改造,这种开发模式不但能够加快开发过程,而且费用低廉。

电网污区图中智能化技术应用

为了实现对电网污区图的智能化管理,以某电力系统为研究背景,在对原有的数据源进行分析、处理和重新组织的基础上,构建电网污区图数据仓库,并建立多维雪花模式的数据立方体。运用在线联机分析处理OLAP(On-Line Analytical Processing)和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现电网污区图管理的科学化,并为污区图的实时滚动修订提供了技术基础。说明了OLAP数据仓库能够为电网管理人员提供有效的决策信息。

基于数据仓库的OLAP在决策支持系统中的应用研究

介绍DSS的数据组织、数据仓库的特征和结构模型、OLAP的特征和体系结构,及其实现决策分析的过程等方面的基本知识,以某大企业的基于数据仓库的销售分析系统为实例作分析。

基于上市公司财务数据的数据仓库的构建研究

随着企业资源计划(ERP)的广泛应用,各企业的财务数据量的不断增大,原有的数据管理模式形成了大大小小的数据孤岛,制约着企业财务数据分析工作。本文结合财务数据分析需求,以建筑建材行业的上市公司财务数据为例,研究基于上市公司财务数据的数据仓库模型的构建方案。依据DB-ODS-DW架构提出了数据仓库模型的设计方案,并基于OLAP技术构建了数据仓库模型,设计分区等数据仓库的物理存储结构,最后针对异构的数据特征阐述了填充数据仓库的ETL模型。基于上市公司财务数据的数据仓库模型的构建为企业决策者和计算机审计工作的决策支持都提供了坚实的数据基础。

基于数据仓库在DSS中的应用研究

随着数据仓库的广泛应用,基于数据仓库的决策支持系统(DSS)应运而生.从DSS的实际需求出发,分析了数据仓库的特征和结构,阐述了基于数据仓库技术的决策支持系统,最后给出应用实例.

利用开源软件构建OLAP系统

在开源软件的基础上,实现应用系统的开发,已被证明是一种可靠和有效的方式。提出了一个基于开放源码软件构建联机分析处理系统的技术框架。在实际开发过程中,在遵循相关的许可证制度的前提下,通过对多个相关开源软件的源代码进行详细剖析,结合实际需求进行修改,最终成为一个完整的产品化系统,并成功地投入实际应用。

基于动态镜像的实时数据仓库存取预处理技术研究

实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(FlyWeight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。

一种应用于OLAP的数据模型及其实现

数据仓库及OLAP技术是当前数据库领域研究的热点,而数据模型又是数据仓库及OLAP核心基础。文章提出了一种应用于OLAP的数据模型,并用于实际应用中。这种数据模型在概念上表达了OLAP特性,支持OLAP操作,而且其数学代数简单明白地表达了OLAP查询。

面向产品全生命周期管理的商务智能(BIfPLM)研究

为充分利用、发掘产品全生命周期各个阶段产生的大规模数据和信息,提高分析智能性和决策能力,提出了面向产品全生命周期管理的商务智能(BIfPLM)概念.总结分析了产品全生命周期各个阶段的主要数据和信息,系统地阐述了BIfPLM的概念,分析了BIfPLM的作用,建立了BIfPLM系统的体系结构,并对体系结构中的数据仓库设计、ETL过程实现和前端分析应用实现进行了探讨.

海军技术兵种辅助管理信息系统

介绍了海军技术兵种辅助管理信息系统的系统总体结构,包括开发环境、网络总体规划等。并结合国内的实际情况,将数据发掘技术与传统的统计学、在线分析技术、决策理论相结合,提出了一种实用的技术兵种辅助管理信息系统的模型。