信息资源管理学科视域下数据科学“动态立方体”课程群建设

数据智能时代,数据科学相关课程在信息资源管理学科建设与人才培养中的重要性日益凸显,文章尝试为信息资源管理学科设置数据科学课程提供一种可选方案。在系统梳理数据科学的内涵及其与信息资源管理学科关系基础上,文章分析数据科学课程群研究现状与不足,提出“动态立方体”课程群模式。数据科学“动态立方体”课程群建设是一个整体、统一的体系建设过程,文章从核心理念、模式设计及保障机制三方面提出数据科学课程群建设内容,并通过核心知识与多学科知识的交互耦合,形成适应外部环境的课程群建设动态方案。

基于re3data的中英科学数据仓储平台对比研究

以re3data为数据获取源,选取中英两国406个科学数据仓储为研究对象,从分布特征、责任类型、仓储许可、技术标准及质量标准等5个方面、11个指标对两国科学数据仓储的建设情况进行对比分析,试图为我国数据仓储的可持续发展提出建议:广泛联结国内外异质机构,推进多学科领域的交流与合作,有效扩充仓储许可权限与类型,优化技术标准的应用现况,提高元数据使用的灵活性。

数据立方体与频繁项集的统一计算框架研究

数据立方体和频繁项集挖掘分别是数据仓库和数据挖掘领域的重要技术,已开展了大量的相关研究工作,取得了较好的进展.数据立方体和频繁项集挖掘依据各自的数据单元和项集构造了类似的代数格(Lattice)结构;数据立方体的等价类上界单元与频繁项集挖掘的闭项集也是相对应的.如果能够论证二者的统一性,则可以为彼此提供更广泛的研究思路,有利于两种技术的相互促进,如:在数据库中利用冰山立方体计算实现频繁项集挖掘来避免数据迁移、利用频繁项集挖掘算法优化数据立方体计算等.之前的工作没有将二者系统地结合起来研究,也没有建立二者之间较为完整的联系.本文在深入研究数据立方体的计算和频繁项集挖掘的过程后,将二者有效地结合在一起,提出了统一的计算框架,给出了二者众多计算性质和方法之间的映射关系,进行了相关概念泛化,具体地建立了冰山立方体、浓缩立方体和商立方体等主要数据立方体计算与相应频繁项集挖掘方法的对应关系.通过算法和实验进一步论证统一计算的有效性:(1)将频繁项集挖掘事务集导入关系数据库,用冰山立方体计算方式进行频繁项集挖掘,从而在数据库中用标准的或扩展的SQL可以实现对关系表进行频繁项集挖掘;(2)验证了浓缩立方体与频繁项集挖掘的统一性并对比了计算效率;(3)将基本表转换为频繁项集挖掘事务集,引入高效的频繁项集挖掘算法LCM计算商立方体,以提升数据立方体计算效率.在公开的真实数据集和人工合成的数据集上验证二者结合、统一计算的正确性,通过改变元组数、维数和倾斜度进行对比验证有效性.实验发现,在大数据集上可令时间效率提升高达92%.

基于数据立方体的郑州城市地质数据分类组织

地质数据具有多维度属性,采用单一的数据分类方法对数据进行组织,难以满足地质数据多元化应用和服务的需求。针对地质数据难以有效分类这一问题,以郑州市为例,建立了该市多要素城市地质调查数据分类立方体模型,实现了郑州市多要素城市地质调查数据可根据业务需求动态生成数据组织目录,为海量、多源异构地质数据的快速检索与发现奠定坚实的基础。

扩展流数据立方体的GIS时空大数据组织方法分析

本文针对地理时空大数据处理的需求,研究了基于流数据立方体的相应内容,然后再对地理时空大数据处理框架及模型展开分析。通过对数据的组织和管理进行改进和优化,提出了一种灵活、实时的动态处理框架,并改进了配对函数和存储结构,以提升数据管理效率和处理能力。同时,针对Sketch cube框架存在的问题,提出了改进算法和模型,以满足实际工作需求。这些成果对于实时数据分析、多维度数据分析以及大数据分析都具有重要的应用价值,为未来的研究和实践提供了有益的参考。

OLAP核心技术—数据立方体的研究现状与展望

：该文从OLAP的基本功能出发，综述了其核心技术－数据立方体（Data Cube）的研究现状，主要讨论了3个方面：数据立方体建模、数据立方体计算和数据立方体操作，最后展望了该领域的研究方向。

基于数据立方体的多维关联规则的挖掘方法

总结了现有基于数据立方体的多维关联规则挖掘算法，在此基础上将联机分析处理(OLAP)的钻取操作引入关联规则挖掘过程，提出了对Apriori_cube算法的改进算法，通过动态调整立方体的维层次，来挖掘出用户感兴趣的关联规则。

空间数据立方体分析操作原理

提出了空间数据立方体的分析操作 ,即主要由概括分析、局部分析、全局分析和旋转分析组成 。

封闭数据立方体技术研究

数据立方体中有很多冗余信息,去除这些冗余信息不但可以节约存储空间,还可以加快计算速度.数据立方体中的元组可以划分为封闭元组和非封闭元组.对任何一个非封闭元组,一定存在一个封闭元组,它们都是从基本表的同一组元组中经过聚集运算得到的,因而具有相同的聚集函数值.去掉数据立方体中所有的非封闭元组就产生了一个封闭数据立方体.提出了封闭数据立方体的生成算法、查询算法和增量维护算法,并使用合成数据和实际数据做了一些实验.实验结果表明,封闭数据立方体技术是有效的.

数据立方体计算方法研究综述

随着多维数据分析在各领域的广泛应用,基于数据立方体的计算方法受到大量研究者的关注。分析了影响数据立方体计算的各种因素,其中包括数据存储空间、查询处理效率和数据立方体的维护消耗,并且阐述了数据立方体的物化策略。分别从冰山立方体、紧凑数据立方体、高维数据立方体、近似计算、流式数据立方体等几个方面综述了国内外现有的计算方法,分析了各种方法的特点以及适用范围。

数据立方体上多维多层关联规则挖掘算法

重点结合联机分析挖掘的思想,讨论了数据立方体上的多维多层关联规则挖掘。基于数据立方体和FP算法提出并构建了体现概念层次的Hib＆Dim FP树和其挖掘算法Hib＆Dim FP算法,并把此算法应用于数据立方体上的多维多层关联规则挖掘。最后的实验证明了该算法的有效性。

数据立方体中多维关联规则挖掘算法

数据立方体是数据仓库中数据组织和存贮的重要手段 ,它采用多维立体数据存贮方式来取代传统的平面数据存贮方式 ,为进行多维数据分析提供了根本保证。本文通过对稀松和密质两类立方体进行分析 ,给出了分别针对这两种情况的多维关联规则挖掘算法 ,并通过实验对其在不同情况下的性能进行了分析 ,结果证明 。

空间数据立方体的建模方法研究

研究了基于空间数据仓库的一种决策分析工具——空间在线分析处理(OLAP)的支撑技术。将普通数据立方体与空间数据立方体进行比较,提出空间数据立方体的维和度量的建模方法,解决了空间维与非空间维、空间度量与数值度量的集成建模问题。

基于数据立方体的数据挖掘系统

介绍了一个通用的数据挖掘系统基于数据立方体的数据挖掘系统的设计与实现过程。该系统基于构架,引入了挖掘模型的概--C/S念,集成了两种算法,图形化显示挖掘结果。文中详细介绍了系统的这些特点。

扩展流数据立方体的GIS时空大数据组织方法

针对大数据GIS面临的大规模数据的多源异构动态性与数据存储优化等问题,本文开展大数据背景下的地理时空数据组织与模型研究,提出了一种基于流数据的可扩展立方体处理框架,在典型的流数据二维数据序列基础上,构建增加垂直方向的非结构数据立方体;结合立方体数据组织模型的定义和特征,探讨扩展关系型数据库与协同非关系型数据库的GIS时空大数据组织方法;通过扩展数据源、数据类型及数据操作等属性,突出多源异构地理时空大数据的时空关系和演变过程关系等特征,对地理时空大数据进行数据一体化组织、存储和分析;进而解决地理信息时空大数据的大体量、异构与动态性在GIS数据管理与分析方面的技术瓶颈,并且对GIS时空大数据的有效管理提供科学性方法和解决策略。

多维数据立方体模型及其基于关系的实现

数据立方体模型是多维数据库和以多维分析为基础的联机分析处理技术的核心机制，本文参照当前对多维数据立方体模型的最新研究成果，提出了一种新的模型并且应用于OLAP服务器基于关系的实现。并且提出了实现的难点和改进的方向。

Star Cube——一种高效的数据立方体实现方法

一个具有n个维的数据立方体有 2 n 个视图 ,视图越多 ,用于维护数据立方体的时间也就越长 通过将维分成划分维和非划分维 ,数据立方体可以转换成starcube starcube由一个综合表和那些仅包含划分维的视图组成 starcube使用前缀共享和元组共享技术不仅减少了所需的存储空间 ,还大大减少了计算和维护时间 在把一个分片限制在一个I/O单位的条件下 ,starcube的查询响应时间与数据立方体基本相同 实验结果也表明 。

基于数据立方体的维内关联规则挖掘算法

针对数据立方体的结构特点,结合联机分析处理技术,提出了两种基于数据立方体的维内关联规则挖掘算法.以合肥农河超市实际数据作为测试数据,给出了两种算法的实验结果.结果表明,两种算法在不同支持度情况下执行效率存在明显差异,分别适合在高支持度和低支持度情况下进行关联规则挖掘.

一种保持语义的压缩数据立方体结构

通常数据立方体体积较大,语义关系复杂,完整的语义立方体很难实现。基于商立方体,该文提出了语义数据立方体结构(SDC),将单元格中的单元以其上界替代,并保存下界,简化了单元格的表示,保持单元格的全部语义,并可以实现单元的上卷和下钻操作。把语义关系应用到数据立方体的查询、增量更新中,使查询响应时间及更新代价大大降低。实验结果表明,SDC是有效的。

基于形式概念分析的约简数据立方体研究

数据立方体格和形式概念格比较研究表明,两者都基于序结构,并且采用形式概念分析理论(FCA)的等价特征组与数据立方体覆盖等价类对数据单元有相同的划分结果.将FCA与概念格理论引入数据立方体研究,首次提出聚集概念格(ACL)结构.ACL与一般概念格同构,能完整保存立方体中的所有聚集结果,实现与商立方体相同比例的约简.ACL结构仍比较复杂,在ACL基础上,又提出一种约简聚集概念格结构(RACL),该结构只存储非对象概念,而不是所有概念.RACL与基本表联合仍然是完整立方体结构,但能实现更大的约简.给出了ACL和RACL的高效的查询方法,并使用模拟数据和实际数据作了一些实验.理论和实验都表明RACL结构比现有方法更节省空间,同时查询效率也较高.