浅析腾讯TDW对Hive的应用和优化

腾讯分布式数据仓库（Tencent distributed Data Warehouse，以下简称TDW）是腾讯工程技术事业群数据平台部基于Hadoop、Hive、PostgreSQL研发的大数据处理平台，并在它们的基础上做了大量优化。目前TDW是腾汛内部规模最大的分布式系统，集中了腾讯内部各个产品的数据，为腾汛的子个产品提供海量数据存储和分析服务，包括数据挖掘、产品报表、经营分析等服务。TDW平台现在的机器总量达到5．000台以上，最大集群约2，000个节点，覆盖嘴讯90％以上的业务产品。