基于OLAP的煤矿通风数据分析研究

矿井通风系统数据量庞大复杂,简单的统计形式及分析方法很难有效利用隐含信息对通风系统进行安全管理。本文首先提出了基于OLAP的煤矿通风系统数据分析方法,引入OLAP机制对煤矿通风数据进行管理,建立了通风系统数据管理模型,然后将OLAP与CNN有机融合,提出了基于OLAP的通风系统数据预测模型,最后通过大宁矿通风机风量预测加以实证分析,验证了模型的有效性和准确度,实现了大数据情境下煤矿通风系统数据的高效管理,提高了矿井通风系统管理水平。

OLAP查询基数预估能力评估

查询优化可以显著提升联机分析处理(online analytical processing,OLAP)数据库系统对海量教育数据的分析效率,为智能教学系统提供快速、精准的数据支持.优化器主要包含基数预估、空间枚举和代价模型3个模块.其中,基数预估决定代价模型的结果,并指导查询计划的选择.因此,优化器的基数预估模块评估对OLAP数据库系统优化起到积极的推动作用.本文设计并实现了一套基于主键驱动的、构造多样化数据分布和数据关联关系的有效负载生成工具,包含自定义关联关系的数据生成技术、基于有限状态机的负载模版生成技术和目标基数驱动的参数实例化技术.并在3个数据库OceanBase、TiDB和PostgreSQL上进行了实验,分析了3个数据库优化器存在的问题,并给出了建议.

GPU数据库OLAP优化技术研究

GPU数据库近年来在学术界和工业界吸引了大量的关注.尽管一些原型系统和商业系统(包括开源系统)开发了作为下一代的数据库系统,但基于GPU的OLAP引擎性能是否真的超过CPU系统仍然存有疑问,如果能够超越,那什么样的负载/数据/查询处理模型更加适合,则需要更深入的研究.基于GPU的OLAP引擎有两个主要的技术路线:GPU内存处理模式和GPU加速模式.前者将所有的数据集存储在GPU显存来充分利用GPU的计算性能和高带宽内存性能,不足之处在于GPU容量有限的显存制约了数据集大小以及稀疏访问模式的数据存储降低GPU显存的存储效率.后者只在GPU显存中存储部分数据集并通过GPU加速计算密集型负载来支持大数据集,主要的挑战在于如何为GPU显存选择优化的数据分布和负载分布模型来最小化PCIe传输代价和最大化GPU计算效率.致力于将两种技术路线集成到OLAP加速引擎中,研究一个定制化的混合CPU-GPU平台上的OLAP框架OLAP Accelerator,设计CPU内存计算、GPU内存计算和GPU加速3种OLAP计算模型,实现GPU平台向量化查询处理技术,优化显存利用率和查询性能,探索GPU数据库的不同的技术路线和性能特征.实验结果显示GPU内存向量化查询处理模型在性能和内存利用率两方面获得最佳性能,与OmniSciDB和Hyper数据库相比性能达到3.1和4.2倍加速.基于分区的GPU加速模式仅加速了连接负载来平衡CPU和GPU端的负载,能够比GPU内存模式支持更大的数据集.

基于Kylin实现大数据OLAP应用

医疗数据经过多年的发展,存量数据越来越多,在此基础上做的统计分析越发困难。传统的关系型数据库ETL计算过程复杂,而MPP数据库的查询速度并不理想,为了应对未来大规模的数据增长,提出采用基于Kylin实现大数据OLAP应用,实现医疗统计分析查询的快速响应。

基于图结构索引的分布式OLAP加速方法

随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎这3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.

基于Spatial OLAP的城市交通综合管理系统设计与实现

空间联机分析处理技术将GIS与联机分析处理技术OLAP相结合,提供在空间维度上进行不同尺度钻取的解决方案——SOLAP。该文基于SOLAP技术,构建一个城市交通的综合管理系统,并在电子地图上展示不同区域、路段、时段的交通流信息,为交通管理者进行决策提供技术支持。

GPU数据库实现技术发展演进

爆炸式增长的数据对存储和处理数据提出了更高的需求,GPU数据库作为新硬件数据库的一个重要分支,在大容量和高性能处理方面有其独特的优势.GPU数据库作为高性能数据库的代表,在最近几年受到学术界和产业界的关注,一批具有代表性的研究成果和标志性的实际产品已经出现.GPU数据库的技术发展按照GPU加速型和GPU内存型两种技术路线展开.两种技术路线都有相应的原型系统或产品出现.虽然两种GPU数据库的发展路线在实现上有所不同,但GPU数据库最基本的功能部分和核心技术是相似的,都有查询编译、查询优化、查询执行以及存储管理等功能.当前主流的数据传输方案除了PCIe之外,NVLink、RDMA和CXL等传输方案也为不同处理器之间的数据传输提供了更多的可能性.大多数GPU数据库使用列存储模型来存储数据,少数GPU数据库(如PG-Strom)对两种存储模型都支持.在列存储模型上利用压缩技术能减少数据的存储空间和传输时延.在GPU数据库上进行的压缩和解压的时间应该在整个数据处理的过程中占比很少.在GPU数据库上建立和维护索引不应该有很大的系统开销.JIT编译时间短、编译效率高,是GPU数据库编译的主流.操作符对数据库查询性能的影响非常明显,连接操作、分组聚集和OLAP运算符是目前研究最多的三个类型.目前大多数的研究中,连接和分组聚集算子通常结合在一起研究.在连接算子执行的过程中还和表的连接顺序结合在一起进行考虑.OLAP算子是GPU数据库中的又一个被大量研究的算子,GPU数据库在OLAP算子和模型方面持续受到研究者的关注.GPU数据库有三种查询处理模型,即行处理、列处理和向量化处理.向量化处理和列处理在实际系统中应用较多.由于GPU加速型数据库技术的发展,CPU-GPU协同处理模型上的查询方案与查询引擎也有一定数量的研究成果出现.当前GPU数据库的查询优化研究主要有三部分:多表连接顺序、查询重写和代价模型.然而,GPU数据库的代价评估模型在目前还没有很好的解决方案,GPU数据库的查询优化在未来仍有很大的研究空间.事务在GPU数据库中没有得到很好的研究,尽管有单独的原型系统,但目前的研究还没有取得重大进展.本文总结了GPU数据库各种关键技术已有的研究成果,指出GPU数据库当前存在的问题和面临的挑战,对未来的研究方向进行了展望.

电子商务专业《商务智能》课程教学改革探索

随着数据量的爆炸性增长,商务智能已经成为企业中不可或缺的重要部分。商务智能作为企业数据分析和辅助决策的重要系统,已经被广泛应用于电子商务、金融证券等许多领域。因此,对商务智能的理解与应用应该是电子商务专业学生必备的关键技能。本论文旨在探讨《商务智能》课程的教学方法研究与改革,以提高学生的综合能力和实践能力,帮助学生更好地掌握商务智能技术,适应未来的职业发展。

广东科学中心创新科学讲座传播模式的探索与实践——以小谷围科学讲坛为例

以小谷围科学讲坛为例,介绍广东科学中心在创新科学讲座传播模式上的探索与实践。通过回顾讲坛前期传播模式及取得的成效,分析讲坛品牌打造方式以及创新传播模式,深挖讲坛强大内核,进而得出讲坛在推广传播上取得成功的原因。作为高质量的科普讲座,小谷围科学讲坛可以促进新时代科普工作的高质量发展,广东科学中心将持续利用讲坛平台为公众服务,更好地传播科学,发挥更重要的社会作用。

中字本《麻姑山仙坛记》笔迹学证伪

中字本《麻姑山仙坛记》有三种版本。第一种,今不知所藏,亦未见者。第二种现藏于浙江博物馆,第三种为徐自强所著录,北京图书馆(中国国家图书馆)所藏宋本。文章通过用笔迹学鉴证方法,将31组中字本《麻姑仙坛记》字例(相当于检材笔迹)与颜真卿书诸字(相当于样品笔迹)对比分析,可知检材笔迹与样品笔迹之间在笔法、结构、异体字的习惯性使用、避讳字“玄”与“世”使用四个方面,均存在着普遍而根本的显著差异。由此,可得出今传《忠义堂刻本》所收中字本《麻姑仙坛记》应非颜真卿本人所书的结论。

心存希冀,追光而遇

回顾这二十多年的教育芳华,我在遇见光、追逐光、成为光、散发光中成长。“躬耕教坛、强国有我”,在今后的岁月里,我还将一路向阳,怀揣那份执着的信念和激情,为心中的教育事业做最长情的坚守和告白!--题记每一位教师也许都曾被一首歌感动--《长大后我就成了你》。“小时候我以为你很美丽……长大后我就成了你,才知道那块黑板,写下的是真理,擦去的是功利”。终有一天,从小哼唱的歌声成了我播种梦想的音符,唱着唱着,我就真的成了歌里的那个“你”!

坛紫菜多糖对微冻南美白对虾仁肌原纤维蛋白氧化和结构特性的影响

该研究通过探讨坛紫菜多糖浸泡的南美白对虾仁在微冻过程中肌原纤维蛋白氧化特性和结构特性的变化规律,从蛋白质角度揭示坛紫菜多糖抗冻保鲜的潜在机制。将虾仁分别用5 mg/mL坛紫菜多糖,蒸馏水(空白对照)和5 mg/mL焦磷酸钠(阳性对照)浸泡处理后于-3℃微冻贮藏,每5 d测定指标。结果表明,与对照组相比,坛紫菜多糖浸泡虾仁可显著延缓总巯基含量下降,防止羰基含量和表面疏水性上升,阻碍平均粒径增加和Zeta电位绝对值的下降(P<0.05),抑制肌原纤维蛋白的氧化和聚集。圆二色光谱分析表明,坛紫菜多糖显著抑制肌原纤维蛋白α-螺旋相对含量的降低(P<0.05)。内源荧光光谱分析表明,坛紫菜多糖能缓解肌原纤维蛋白中发色基团暴露,维持蛋白空间结构稳定性。扫描电镜结果显示,坛紫菜多糖能保持虾肌肉组织微观结构的完整性。该研究为坛紫菜多糖作为新型绿色无磷抗冻保鲜剂添加到水产品冷冻过程中保护蛋白质特性提供理论依据。

海量数据分析的One-size-fits-all OLAP技术

传统的OLAP被迅速膨胀的海量数据推动进入了大规模数据分析时代,其主要特点是存储密度大,计算强度大,需要大规模并行存储和处理能力.无论是传统的并行数据库技术还是热点的MapReduce技术都不得不面对海量数据在大规模并行处理环境下的性能和并行处理效率的问题.以星型模型上复杂多表连接为基础的OLAP算法的复杂度和并行处理过程中的数据网络传输代价都成为制约性能的重要因素.通过深入分析OLAP存储模型和查询负载特征,提出了对OLAP查询中最基础的SPJGA-OLAP子集在存储、查询处理、数据分布、网络传输和分布式缓存等方面面向海量数据大规模并行处理框架的优化策略和实现技术.通过对TPC-H和SSB两个工业界和学术界公认的测试标准的分析,评估了技术的可行性.提出了以内存predicate-vector DDTA-JOIN算法为核心的并行内存OLAP架构,以维表上规范化的谓词向量操作替代了多样的连接执行计划,实现以一种查询处理模型同时满足集中式处理和大规模并行OLAP处理的需求,充分利用现代计算机的硬件优势,最小化网络传输和OLAP查询处理代价.实验中分析了在1TB和100TB数据集中数据分布策略的存储代价和传输代价,通过并行OLAP代价模型和实际数据的实验测试验证了技术的可行性和并行处理效率.

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统(HDFS)和MapReduce编程模型的分布式MOLAP技术,称为DOLAP(distributed OLAP).DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.

基于OLAP与数据挖掘的高考招生数据分析

如何从海量的高考招生数据中发现有用信息,是招生主管部门迫切关心的问题,也是家长、考生以及社会各界都十分关注的问题。围绕这一问题,依据某省多年来累积的高考招生数据,建立数据仓库和多维数据集,进行OLAP分析与数据挖掘分析,得到了一些潜在的有用信息。研究分析表明,这些信息可以为招生主管部门提供决策支持,也可作为指导考生合理填报志愿的重要依据。介绍了数据仓库和多维数据集的建立过程、录取相关数据的OLAP分析及其结果的解读过程以及利用决策树算法和关联规则算法进行数据挖掘的过程。

一种基于维层次编码的OLAP聚集查询算法

联机分析处理 (OLAP)查询往往需在海量数据上进行即席的复杂分组聚集查询 ,在其SQL语句中通常包含多表连接和分组聚集操作 ,因而减少多表连接和压缩关键字 ,以及对查询数据进行有效地分组聚集操作 ,成为ROLAP查询处理的关键问题 提出了一种基于维层次编码的新型预分组聚集算法DHEPGA DHEPGA算法充分利用了编码长度较小的维层次编码及其前缀 ,来快速检索出与查询关键字相匹配的维层次编码 ,求得维层次属性的查询范围 ,减少了I/O开销 ,提高了OLAP查询效率 理论分析和实验结果表明 。

数据仓库与OLAP技术在高考志愿数据分析中的应用

如何填报高考志愿,增加考生被自己心仪院校录取的几率,是每一位高考考生和家长密切关注的问题。以某省近9年积累的高考历史数据建立数据仓库,利用OLAP技术对这些数据进行多维分析,得到了一些广大考生可资借鉴的结果。重点介绍了考生志愿多维数据集的建立与分析的整个过程,以及涉及到的一些技术难点。

基于OLAP查询的数据仓库视图的水平分割

选择数据仓库视图进行有效的水平分割,使OLAP查询通过访问较少的分割裂片以及较少的元组就可以完成,从而加快查询响应时间,削减维护费用.提出根据OLAP查询中的选择谓词构造其最小项谓词,选择数据仓库立方体视图,进行水平分割和实体化,来提高OLAP查询效率.

OLAP技术在高考志愿填报方式分析评估中的应用

依据某省多年来高考录取积累的数据,通过运用数据仓库及联机分析技术,对该省现行的平行志愿填报方式进行了分析评估,分析结果表明该平行志愿填报方式提高了第一志愿覆盖率、保护了高分考生.该评估也为将来可能推出的"一档多投"投档方式提供了必要的理论支撑,并为各省市招生考试机构提供了决策参考.

基于OLAP的上海社区服务网后台数据仓库的设计与实现

首先给出数据仓库以及OLAP等一些相关概念,然后叙述了OLAP多维数据分析的几种方法,最后介绍了基于OLAP的上海社区服务网后台数据仓库的设计方案及其具体实现方法。