BigDataBench:开源的大数据系统评测基准

大数据系统的蓬勃发展催生了大数据基准测试的研究,如何公正地评价不同的大数据系统以及怎样根据需求选取合适的系统成为了热点问题.然而,应用领域的广泛性、数据类型的多样性和数据操作的复杂性使得大数据基准测试集的设计面临很大的挑战.现有的相关基准测试工作要么针对某一类特定的应用或软件栈,要么根据流行度主观地选择大数据负载,难以全面覆盖大数据的多样性和复杂性.针对现有工作的不足,文中讨论大数据评测基准需要满足的需求,并研制了一个跨系统、体系结构、数据管理3个领域的大数据基准测试开源程序集——BigDataBench.它覆盖5个典型的应用领域(搜索引擎、电子商务、社交网络、多媒体、生物信息学),包含结构化、半结构化、非结构化的数据类型,涵盖离线分析、交互式分析、在线服务、NoSQL这4种负载类型.目前包含14个真实数据集、3种类型的数据生成工具以及33个负载的不同软件栈实现.BigDataBench已广泛应用到学术界和工业界中,应用案例包括负载分析、体系结构设计、系统优化等.基于BigDataBench,中国信息通信研究院联合中国科学院计算技术研究所、华为等国内外知名公司和科研机构共同制定了国内首个工业标准的大数据平台性能评测标准.

面向数据中心计算的操作系统架构与关键技术综述

介绍了当前主流数据中心计算节点的操作系统(OS)Linux存在的问题,而且从数据中心应用对操作系统的需求出发,对当前数据中心操作系统的研究进行了论述。系统地总结了国内外在增强数据中心操作系统性能、隔离性和可扩展性等方面的研究进展,并针对操作系统架构研究和操作系统中的一些关键技术进行了详细阐述,最后讨论了当前数据中心操作系统研究面临的挑战。深刻指出,操作系统在数据中心中处于核心地位,因而有效优化现有操作系统,增强数据中心操作系统性能及可扩展性,有效利用现有硬件和提高大数据应用性能力,具有重要的理论和现实意义。