浅谈信息经济对统计的挑战

关于信息经济的定义问题， 随着信息革命的兴起，信息经济这个概念正在被更多的人士所接受和熟悉。综合各种理论和研究成果，可以看到“信息经济”有四个基本含义：第一社学或未来学含义；第二微观经济学含义；第三宏观经济学含义；第四经济统计学含义。若从信息经济学的角度看，我认为后两种含义更为确切，即广义的信息经济，就是以现代信息技术等高技术为物质基础,信息产业起主导作用的，基于信息、知识、智力的一种新型经济。

基于统计方法的Hive数据仓库查询优化实现

Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。