基于TPC-DS的数据库测试工具实现

为测试国产数据库和各大厂商数据库处理数据性能以便设计人员选择合适的大数据管理系统,设计了一款基于TPC-DS测试标准的数据库处理性能测试软件TPC-DS_Utensil。通过分析TPC-DS测试标准设计了加载(Load)测试、功率(Power)测试和吞吐量(Throughput)测试三大核心功能;为了方便设计人员对测试过程进行监控与分析设计了查询验证、性能计算和日志管理等辅助功能。通过对MySQL、Oracle、Hive和Hbase进行性能测试,表明该测试工具能够准确地反映服务器性能。

基于TPC-DS的大数据基准测试

面对大数据生态系统各种工具的选型问题,对Hadoop生态系统中的大数据工具:Hive、Impala、Phoenix、Trafodion,以及关系型数据库Greenplum进行了TPC-DS基准测试。测试结果显示,在Hadoop生态系统中,Impala的SQL支持程度及查询性能最高;关系型数据库Greenplum的功能及性能都非常优秀。

将TPC-DS工具合入HiBench测试框架的方法

TPC-DS是事务性能管理委员会(TPC)组织发布的一种数据库评测基准,其中共包含99种查询语句,涵盖各种复杂的SQL应用,与真实数据一致。但是执行时生成数据、生成查询语句、执行语句都需要手动操作,使用起来较为不方便。本文介绍一种将TPC-DS工具合入HiBench测试框架的方法。

TPC-DS性能测试工具的实现

阐述了新一代面向决策支持的数据库性能测试基准TPC-DS的数据模型、业务模型、执行模式和度量方法,设计了一个支持不同数据库管理系统(DBMS)性能对比测评的TPC-DS测试框架,阐述了配置文件、查询执行控制、数据维护机制等关键实现技术。最后通过对任务配置和语法配置的实践,验证了工具对不同DBMS、不同优化配置的对比测试可用性。

MPP数据库非功能测评指标及其效率测试方法

构建MPP数据库的非功能测评指标体系,探讨其效率测试方法。结合MPP数据库自身特点,将MPP数据库产品的非功能测评指标划分为安全性、兼容性、容错性、可扩展性和效率五个方面。采用TPC-H和TPC-DS基准模型,将效率测试划分为生成数据、生成SQL测试语句和结果分析三个阶段。在中国大数据生态产业联盟对国产主流MPP数据库进行测试,表明测评指标和测试方法行之有效。为用户选型和MPP数据库厂商提升产品质量提供了测评依据和测试方法论、实践论。