内存数据库在TPC-H负载下的处理器性能

Ailamaki等人1999年研究了数据库管理系统(database management system,简称DBMS)在处理器上的时间开销分解.此后,相关研究集中在分析DBMS在处理器上的瓶颈.但这些研究工作均是在磁盘数据库DRDBs(disk resident databases)上开展的,而且都是分析DBMS上的TPC-C类负载.然而,随着硬件技术的进步,现代计算机的多级缓存结构(memory hierarchy)在逐渐地"上移".例如,容量越来越大的芯片内缓存(on-chip caches)和芯片外缓存(off-chip caches),容量越来越大的RAM,Flash Memory等等.为此,处理器负载分析的研究工作也应随之"上移".研究内存数据MMDBs(mainmemory resident databases)在计算密集型负载下的处理器行为特性.由于磁盘数据库的主要性能瓶颈是磁盘I/O,因而可以用索引、压缩等技术进行优化;然而,内存数据库的性能瓶颈却在于处理器和内存之间的数据交换.针对这一问题,首先分析了磁盘数据库和内存数据库在TPC-H负载下处理器性能瓶颈的差异,并给出了一些优化建议,提出了通过预取的优化方法.其次,通过实验比较了不同存储体系结构(行存储与列存储)对处理器利用率的差异,并探索了下一代内存数据库体系结构方面的解决方案.此外,还研究了索引结构对处理器多级缓存的影响,并给出了索引的优化建议.最后,提出一个微测试集用于评估内存数据库在DSS(decision support system)负载下处理器的性能及行为特性.研究结果会对运行于下一代处理器上的内存数据库体系结构设计和性能优化提供一定的实验依据.

TPC-H自动测试工具TPCHDriver的研究

TPC-H基准测试可以比较不同数据库系统之间的查询性能差别,它的测试结果已经成为评价DBMS和服务器的重要标准。该文开发了自动化的TPC-H测试工具TPCHDriver,该工具应用面向对象设计、Java语言开发,图形用户界面,实现了从数据装载到Power测试和Throughtput测试、生成测试报告整个过程的自动化。简述了TPC-H基准的测试模型、TPCHDriver程序的结构和主要功能,阐述了TPCHDriver的关键实现技术。

数据库管理系统DM3的TPC-H测试设计和分析

本文提出了在数据库管理系统 DM3上进行 TPC- H测试的模型 ,并深入地分析了相关理论问题 ,针对 TPC- H的特点 ,讨论了在 DM3上进行大数据量复杂查询测试对提高

数据库TPC-H测试系统的设计与分析

提出了在数据库管理系统Oracle上进行TPC-H性能测试的模型,深入分析了相关的理论问题,并针对TPC-H的特点,讨论了在Oracle上进行大数据量复杂查询测试对提高Oracle性能的指导意义。

TPC-H分析与测试工具设计

从开发自动测试工具的角度,深入地研究了TPC组织发布的TPC-HRevision2.3.0测试标准,分析了多种规模下的测试报告。在此基础上,给出了测试模型,介绍了所开发的自动化TPC-H测试工具的架构和主要类的功能。

基于TPC-H的数据生成优化方法

通过对海量数据生成方法的初步研究,把数据库的测试与查询建立在TPC-H标准上。根据TPC-H标准建立了TPC-H的测试模型,通过此模型可以反映出系统在处理查询时各个方面的能力。采用树形结构提出了数据生成优化方法,能更好地提高生成数据效率。

基于TPC-H模型的大数据平台查询性能对比研究

大数据时代的来临预示着各行业新的机遇。目前大数据技术开始渗透到各个领域,哪里有数据挖掘与分析的需求哪里就有大数据平台。文章首先阐述了两种大数据查询工具Impala和Hive的查询效率对比,以及优化带来的性能改进。然后基于TPC-H模型对实际性能做了对比性测试,从而对实际应用过程中大数据分析查询工具的选择给出指导性意见。

用于二级缓存的一种改进的自适应缓存管理算法

在机群系统或数据库服务器等应用环境下,由于本地内存资源限制,某些大内存应用与磁盘交互过多,会严重损害其性能.在高速网络支持下,把其他节点内存或采用专门的内存服务器作为系统的二级缓存,可减少对磁盘访问并提高应用性能.在二级缓存应用模式下,基于LIRS算法并对其存在的缺点进行改进,提出了一种自适应缓存管理算法LIRS-A.LIRS-A可根据应用访问特征自适应调整,避免了LIRS不适应某些具有时间局部性模式的情况.在TPC-H应用中,LIRS-A比LIRS最多有7.2%的性能提升;在网络流分析数据库的典型Groupby查询中,LIRS-A比LIRS的命中率最多可提高31.2%.

多核处理器上列数据库复杂查询的原语级并行性开发

提升复杂数据库查询性能是数据库研究的重要方向.提出了一个基于向量原语操作的列数据库查询引擎,通过在多核处理器上开发向量原语之间的并行性来提高数据库查询的性能.介绍了该查询引擎中的向量原语设计、列数据文件存储布局、查询的向量操作依赖图、向量操作动态调度器和内存管理器等关键部件.对于TPC-H4个典型复杂查询的测试结果表明:1)数据库复杂查询是典型的计算密集型操作,而且原语之间存在着一定的可并行成分;2)在多核处理器上,该查询引擎可以有效开发向量原语间操作的并行性,性能较单线程执行可以提升1.2倍左右,较MySQL则可以最高提升20倍.

决策支持评测系统的设计与实现

一个实用的通用型数据库性能测评工具对国产通用型数据库产品的开发和推广都是必不可少的。文章通过决策支持评测系统在大数据量上执行高复杂度的查询语句,模拟复杂的商业分析应用,最终评测数据库对于复杂查询语句的处理能力。根据TPC-H测试基准的要求,设计并实现了一个基于TPC-H的决策支持评测系统,并利用该系统完成了对国产数据库Redbase的测试。

“微机原理与接口技术”开放性实验建设——“点阵LED显示器显示汉字”实验

在"TPC-H通用微机接口实验系统"的基础上,利用其J7端子的通用插座开发外接实验电路板,设计出"点阵LED显示器显示汉字"实验电路。该实验电路可在面包板上实现,实验者可根据实验原理和要求,从实验电路着手,进行面包板上的电路连接、安装,上机编程调试等操作,有助于实验者深刻理解实验原理与电路,提高动手能力。

数据仓库及其应用

随着数据库应用从以事务处理为中心逐渐向以分析处理为中心,以数据仓库、联机分析和数据挖掘为中心的基于数据库的分析技术成为近几年来数据库界研究的热点。本文主要介绍数据仓库概念、特点、评测指标及其广泛应用。

面向OLAP应用的OceanBase模式设计

随着大数据时代的来临,用户查询需求也越来越复杂,对数据库的可扩展性和SQL查询效率都提出了很高的要求.OceanBase是Alibaba研发的适应互联网规模的关系型分布式数据库,能够做到可扩展、低成本、高可用,并能应用到很多业务场景,包括OLTP和OLAP.然而,当前发布的最新OceanBase只支持主键索引,还不能支持二级索引.其次,OceanBase在连接上没有并行处理,使得查询效率较低.因此,为了能够使用主键索引及减少连接来加快查询速率,OceanBase模式设计是必要的.本文主要以TPC-H的22个查询为OLAP的研究案例,分析传统数据库的模式设计,并提出OceanBase分布式数据库下的模式设计规则,最后将会通过实验来验证这套模式设计规则的有效性.

关系数据库缓冲区置换策略的性能评测(英文)

缓冲区是计算机领域一个非常重要的研究主题。现在存在很多缓冲区置换策略,广泛地用于操作系统、文件系统、数据库以及存储系统中。提出了一种性能评测方法来评测关系数据库的缓冲区置换策略。这种方法采用直接测试方式,使用五个性能指标,包括新提出的指标以及由于模拟方法的局限性在以前的研究中很少使用的性能指标,同时利用显著性测试并提出一种联合使用多个显著性测试的方法进行置换策略之间的比较,设计和使用多种工作负载在单用户和多用户情况下有效地评测各种策略。使用这种评测方法,在一个真实的关系数据库环境中,对十三种典型的缓冲区置换策略的性能进行了详细、全面的实验研究,从中可以获得一些有用的结论。

数据库性能测试可视化工具VisualDBBench及面向内存数据库的应用

从开发自动化数据库基准测试工具的角度,深入研究了TPC组织发布的TPC-C测试标准和TPC-H测试标准.在此基础上,给出了测试模型,介绍了所开发的自动化测试工具VisualDBBench的架构和主要类的功能.并且针对内存数据库进行测试,验证了内存数据库的性能优势.

分布式环境中数据库模式设计实践

近年来,数据规模呈爆炸式增长,使得传统集中式数据库难以满足业务需求.而分布式数据库可以将数据存储在多个节点上,具有更好的扩展性,从而可以支撑业务的不断增长.目前,许多企业已经开发出了成功的分布式数据库产品,例如Google Spanner、淘宝的OceanBase等.传统数据库模式设计中,三大范式(1NF、2NF和3NF)及其扩展范式能够减少数据冗余和更新异常,并保证数据的完整性.然而,在分布式架构下,严格遵循范式的模式设计可能带来查询效率较低等问题,而使用反范式模式设计方法通常可以有效提高查询效率.OceanBase是淘宝自主研发的分布式数据库,支持跨行跨表事务,并在OLTP中具有良好的性能,但是对于OLAP业务,其性能并不高.本文将以OceanBase为例,介绍如何利用反范式设计分布式数据库模式,以改善OLAP的查询性能,并通过在OceanBase上部署TPC-H基准评测验证了反范式模式设计的有效性和高效性.

Oracle和Sun共创世界首个3TBTPC—H基准测试新纪录

世界最大的电子商务解决方案供应商Oracle公司和网络计算领袖Sun公司日前共同发布了世界第一个3TB级的TPC-H基准测试结果，达到了10，764．7QphH@3000GB，相应的性能价格比为1222美元／QphH@3000GB。这个3TB TCP-H基准测试的规模和范围已经大大超过了过去由IBM保持的1TB TPC-H基准测试的记录，创下了TPC-H基准测试新的世界纪录。

关系数据库管理系统的SQL—致性测试和性能基准测试

文章描述了ＳＱＬ的一致性测试，探讨和尝试了数据库事务处理性能基准测试的实现技术和测试方法，最后给出ＳＱＬ—致性测试结果及ｔｐｃ－Ａ和ｔｐｃ－Ｂ测试结论。

MPP数据库非功能测评指标及其效率测试方法

构建MPP数据库的非功能测评指标体系,探讨其效率测试方法。结合MPP数据库自身特点,将MPP数据库产品的非功能测评指标划分为安全性、兼容性、容错性、可扩展性和效率五个方面。采用TPC-H和TPC-DS基准模型,将效率测试划分为生成数据、生成SQL测试语句和结果分析三个阶段。在中国大数据生态产业联盟对国产主流MPP数据库进行测试,表明测评指标和测试方法行之有效。为用户选型和MPP数据库厂商提升产品质量提供了测评依据和测试方法论、实践论。

服务器竞技场上的欣喜

宛如中国运动员在国际赛事上首次夺得了金牌那样令人欣喜——2004年5月12日,浪潮超能3000(SP3000)服务器打破了100G8级别的全球商业智能计算(TPC-H单机性能的世界纪录。