通过HiBench基准测试比较Hadoop与Spark的性能

Hadoop MapReduce和Apache Spark都适用在大型集群上以并行和分布式模式有效地处理大量数据。为了比较这两个框架的性能,作者使用HiBench基准套件基于执行时间和内存消耗两个标准进行测试。测试结果表明,这些框架的性能根据用例实现的不同而有很大差异。从而可以得出结论:在一般情况下,Spark能够比Hadoop更有效地处理大量数据。但是,因为Spark要将待处理数据加载到内存中,并在缓存中保留一段时间,所以Spark需要更高的内存占用。

将TPC-DS工具合入HiBench测试框架的方法

TPC-DS是事务性能管理委员会(TPC)组织发布的一种数据库评测基准,其中共包含99种查询语句,涵盖各种复杂的SQL应用,与真实数据一致。但是执行时生成数据、生成查询语句、执行语句都需要手动操作,使用起来较为不方便。本文介绍一种将TPC-DS工具合入HiBench测试框架的方法。