BigDataBench:开源的大数据系统评测基准

大数据系统的蓬勃发展催生了大数据基准测试的研究,如何公正地评价不同的大数据系统以及怎样根据需求选取合适的系统成为了热点问题.然而,应用领域的广泛性、数据类型的多样性和数据操作的复杂性使得大数据基准测试集的设计面临很大的挑战.现有的相关基准测试工作要么针对某一类特定的应用或软件栈,要么根据流行度主观地选择大数据负载,难以全面覆盖大数据的多样性和复杂性.针对现有工作的不足,文中讨论大数据评测基准需要满足的需求,并研制了一个跨系统、体系结构、数据管理3个领域的大数据基准测试开源程序集——BigDataBench.它覆盖5个典型的应用领域(搜索引擎、电子商务、社交网络、多媒体、生物信息学),包含结构化、半结构化、非结构化的数据类型,涵盖离线分析、交互式分析、在线服务、NoSQL这4种负载类型.目前包含14个真实数据集、3种类型的数据生成工具以及33个负载的不同软件栈实现.BigDataBench已广泛应用到学术界和工业界中,应用案例包括负载分析、体系结构设计、系统优化等.基于BigDataBench,中国信息通信研究院联合中国科学院计算技术研究所、华为等国内外知名公司和科研机构共同制定了国内首个工业标准的大数据平台性能评测标准.

数字矿山多等级安全问题探讨

以神华集团正在进行的数字矿山示范矿井建设及已经完成的神华数字矿山规划研究为背景,分析了数字矿山研究现状,指出数字矿山系统是一个典型的多等级网络系统,目前缺乏对安全方面问题的研究;针对数字矿山安全问题,归纳了数字矿山具有易受攻击、存在大量层次化异构复杂系统等7个方面的特殊性;提出一种针对数字矿山的多等级实时性安全保障方案,即采用隔离与监控机制相结合的方法,为解决数字矿山安全问题提供了思路。