BigDataBench:开源的大数据系统评测基准

大数据系统的蓬勃发展催生了大数据基准测试的研究,如何公正地评价不同的大数据系统以及怎样根据需求选取合适的系统成为了热点问题.然而,应用领域的广泛性、数据类型的多样性和数据操作的复杂性使得大数据基准测试集的设计面临很大的挑战.现有的相关基准测试工作要么针对某一类特定的应用或软件栈,要么根据流行度主观地选择大数据负载,难以全面覆盖大数据的多样性和复杂性.针对现有工作的不足,文中讨论大数据评测基准需要满足的需求,并研制了一个跨系统、体系结构、数据管理3个领域的大数据基准测试开源程序集——BigDataBench.它覆盖5个典型的应用领域(搜索引擎、电子商务、社交网络、多媒体、生物信息学),包含结构化、半结构化、非结构化的数据类型,涵盖离线分析、交互式分析、在线服务、NoSQL这4种负载类型.目前包含14个真实数据集、3种类型的数据生成工具以及33个负载的不同软件栈实现.BigDataBench已广泛应用到学术界和工业界中,应用案例包括负载分析、体系结构设计、系统优化等.基于BigDataBench,中国信息通信研究院联合中国科学院计算技术研究所、华为等国内外知名公司和科研机构共同制定了国内首个工业标准的大数据平台性能评测标准.

大数据系统Benchmark测试综述

Benchmark测试是目前最主要的计算机系统性能评测技术,其主要使用科学的评测方法测试系统的某些可量化性能指标,并通过对比不同的系统的测试结果对系统进行评价。在大数据时代背景下,与传统计算机系统相比,大数据相关的计算机系统具备更高的多样性以及复杂性。因此Benchmark测试技术将涵盖广泛的应用领域并提供多样的数据类型和复杂的数据操作。本文对Benchmark测试技术中的测试规范进行了归纳总结,同时还列举了在大数据时代背景下Benchmark测试技术开发中的一些挑战以及发展趋势。

基于大数据和标杆分析法的市级医院病种质量评价指标构建及应用

目的推动公立医院从粗放型管理转变为强调医疗质量和运营效率的精细化管理,引领公立医院高质量发展。方法以循证医学理念为核心,以病种精细化管理为抓手,以医疗大数据为基础,通过文献研究、专家咨询、层次分析、模型构建、标杆分析等方法对医疗质量管理的指标体系、评价方式、运行机制进行研究。结果构建了一种基于“病种-专科-医院”的区域分层医疗质量评价方法,开发了一套基于实时数据的标杆分析法,用于区域医疗质量的评价和持续改进,并通过信息化平台向全市市级医院展示。结论依托上海申康医院发展中心医联工程临床大数据平台,开展从病种、专科到医院的上海市级医院医疗质量评价及促进的实证研究,为公立医院高质量发展提供了新思路。

基于大数据可视化的混凝土质量分析及应用系统研究

针对当前混凝土信息化积累数据利用率不高、现场混凝土质量管控手段薄弱的问题,结合近3年混凝土技术咨询服务积累相关数据,开展包括混凝土原材料、配合比、留样强度质量多维度的质量特征值大数据挖掘;建立对应维度下的质量标杆,结合可视化技术,对混凝土多方面质量标杆信息进行动态统计、质量预警,实现了混凝土生产全过程质量定向管理和迭代优化,为混凝土可视化管控技术提供参考。

台区同期线损率标杆值与合理区间计算方法

同期线损率合理值计算是配电台区线损精细化管理的重要组成部分,为定位线损异常台区并精准降损提供有效的技术支撑。本文将影响线损的复杂因素分解与降维,避免难以准确获取的台区网架参数,建立基于计量偏差、均衡满载工况下的线路传输损耗、负荷特征、基础损耗等台区特性参数的同期线损率计算模型。基于大数据分析,提出特性参数的“双重学习”求解算法,实现每个台区个性化特性参数的求解;通过对同类型台区参数的关联分析,求解各类型台区的特性参数合理区间,实现异常台区的判别和参数合理值学习;最终实现全量台区在不同供电量下的同期线损率标杆值与合理区间智能计算。基于实际应用,验证了算法模型的合理性与有效性。

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.

云数据管理系统能耗基准测试与分析

云数据管理系统是一种新兴的数据管理系统.为了研究云数据管理系统的能耗优化,实现"绿色计算",首先要定义能耗的度量模型和基准测试方法,分析系统的能耗特点.目前云数据管理系统的基准测试主要集中在性能方面,对能耗方面的评估和优化工作很少;对测量仪器、测试手段、测试用例以及能耗基本规律的研究存在空白.文中提出了一种能耗的度量模型和数学表达;定义了一组数据装载、查询和分析用例来测试云数据管理系统的能耗;设计了系统能耗的测量方法;分析了若干云数据管理系统在执行数据装载、读取、查询、聚集和连接等操作时的能耗特征,提出了通过降低"等待能耗"而进行云数据管理系统的能耗优化.大量实验数据证明,尽管云计算被认为是一种绿色计算,但文中测试的云数据管理系统在能耗方面差异较大,需要对部分系统进行进一步的优化.

大数据测试技术研究

在对大数据分析平台研究的基础上,根据国内外大数据测试的研究现状和在交通信息大数据分析平台测试中遇见的问题,对大数据测试技术进行了深入研究。首先分析了大数据测试的特点和难点,分析了在Hadoop处理过程各个阶段测试的主要特点与挑战;然后从功能测试和非功能测试两个方面,分析了大数据分析系统的测试方法。针对于大数据的"4V"特性,分析了测试的难点和解决方案,分析了对于具体业务背景的大数据分析系统在测试前期需要的准备工作和测试环境的搭建要注意的问题;讨论了现有的大数据测试基准及大数据测试中常用的测试工具;分析了大数据自动化测试的技术框架,并研究了在此框架内需解决的关键技术。最后分析讨论了大数据测试技术值得进一步研究的主题。

大数据分析方法在厂级负荷分配中的应用

传统厂级负荷优化分配以火电机组煤耗曲线为依据,以供电煤耗率最低为目标。考虑到火电机组结构日益复杂,多变的边界条件和运行工况加剧了机组能耗特性的不确定性,给厂级负荷优化分配带来新问题。该文基于火电机组的海量运行数据,引入大数据分析方法,通过模糊粗糙集计算方法提高数据处理的效率,利用决策相关函数评价能耗决策的置信度,获得机组不同边界和运行工况下的能耗特性。将得到的机组供电煤耗率作为厂级负荷动态规划的依据,进而预测负荷优化分配的节煤潜力。结果表明,基于大数据分析方法的厂级负荷分配可有效降低火电厂的供电煤耗率,对火电机组的节能发电调度具有参考意义。

大数据评测基准的研发现状与趋势

工业界、学术界,以及最终用户都急切需要一个大数据的评测基准,用以评估现有的大数据系统,改进现有技术以及开发新的技术。回顾了近几年来大数据评测基准研发方面的主要工作。对它们的特点和缺点进行了比较分析。在此基础上,对研发新的大数据评测基准提出了一系列考虑因素:1)为了对整个大数据平台的不同子工具进行评测,以及把大数据平台作为一个整体进行评测,需要研发面向组件的评测基准和面向大数据平台整体的评测基准,后者是前者的有机组合;2)工作负载除了SQL查询之外,必须包含大数据分析任务所需要的各种复杂分析功能,涵盖各类应用需求;3)在评测指标方面,除了性能指标(响应时间和吞吐量)之外,还需要考虑其他指标的评测,包括系统的可扩展性、容错性、节能性和安全性等。

大数据管理系统评测基准的挑战与研究进展

数据库评测基准在数据库发展历史中的作用不可替代,而大数据环境中传统评测基准不敷应用。因此,从评测基准3要素,即数据、负载、度量体系入手,研究具有高仿真性、可适配性、可测量性的大数据管理系统评测基准,对大数据管理系统的研发和应用系统选型至关重要。基于此,在简要分析评测基准的基本要素和大数据管理系统发展过程的基础上,重点分析大数据管理系统的基准评测需求与挑战,然后通过社交媒体分析型查询评测基准BSMA,探讨了面向应用的大数据管理系统基准评测的设计和实现问题。

大数据时代统计学重构研究中的几个热点问题

随着新兴科学技术的迅猛发展,我们正面临大数据时代。大数据是"未来的新兴石油",它必将对未来的科技与社会经济的发展产生深远影响。认识大数据这个崭新的概念是一个逐步深化的过程,有必要将对大数据的研究上升为国家意志,因为大数据将深刻影响人类的决策模式和社会经济的运行模式,将发展成为一个极具潜力的新兴产业。迄今为止,国内外相关研究文献不多,为此,本文前瞻性地介绍当今大数据统计学理论研究中的几个热点问题,以期能有更多的后续研究。

医学大数据与人工智能标准体系:现状、机遇与挑战

医学大数据和人工智能(artificial intelligence,AI)在提升医学资源利用率和服务质量方面具有极大的潜力,但同时也在隐私保护和技术风险方面带来挑战。标准是构造、评价和应用新技术的共识和规范,医学大数据和AI在临床的应用迫切需要制订数据、系统、计量标准以及应用和评价新技术的行为规范。本文定义了医学大数据与AI标准的内涵,包括数据相关标准、公共数据集、测试基准、行为规范;总结了医学大数据和AI标准的现状、潜在问题及挑战;在展望医学大数据与AI发展前景的同时,提出了结合大数据/AI增强的系统和医学科学大装置的系统新架构。

基于大数据的对标管理:数据采集与分析方法

回顾对标管理的相关文献,发现该领域在模型及方法应用上已具备一定成熟度,而互联网和大数据的发展及结合能够进一步提升对标管理的研究深度和实用性。本文在结合大数据管理的前提下,提出了“关键主题—关键文本”的对标管理分析流程,利用大数据文本分析技术进行数据采集与分析,并以A、B集团为例验证了该方法的可行性与可靠性,为传统对标分析和管理提供了新的研究思路。

大数据基准测试流程与测试工具

当前大数据产品和技术的发展非常迅速,市场中存在各种各样的商业版和开源的大数据软件,这些大数据系统解决了大数据大体量、多样性、时效性的挑战。随着大数据产品和技术成熟,如何去测试和评估这些大数据产品成为新的研究主题。文章简要介绍大数据兴起的背景,综述大数据处理系统的主要构成,并针对大数据处理系统的特点,提出构建大数据基准测试平台的要素和流程,最后介绍当前大数据基准测试工具和存在的问题,展望未来大数据基准测试工具的发展方向。

基于互联网信息传输的网络大数据校准技术研究

随着大数据系统和大数据架构逐步受到系统架构和数据管理领域的重视,对网络大数据系统的性能校准和评估势在必行。但是,大数据的复杂度、时变的系统负荷等问题严重制约了大数据进行数据校准研究的开展。为了保证大数据校准的公平性,校准方法必须包括多样性的数据和不同的负载输出能力。目前已有研究大多专注于单一数据类型,因此不能满足这些校准要求。本文提出一种基于互联网信息传输的网络大数据校准技术,包括了多种大数据应用场景设置、算法、数据类型、数据源、软件栈和应用类型。具备这些条件,所提算法可用于网络大数据校准。本文通过对真实数据源设置不同的大数据算法运行,从算法性能和系统负荷等方面对真实数据运算得到的大数据实现了对这些不同应用的校准。

基于Hadoop、Spark及Flink大规模数据分析的性能评价

针对目前缺少大型数据分析框架间的横向比较问题,使用有代表性的大数据工作负载,对Hadoop、Spark和Flink进行性能和可扩展性等因素的比较评价。此外,通过调整工作负载的一些主要参数,例如HDFS块大小、输入数据大小、互连网络或线程配置等,描述了这些框架的行为模式特征。实验结果分析表明,对于非排序的基准测试程序,使用Spark或Flink替代Hadoop,分别带来平均77%和70%执行时间的降低。整体上,Spark的性能结果最好;而Flink通过使用的显式迭代程序,极大提高了迭代算法的性能。

面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现

随着数据量的日益增加,大数据存储在整个大数据应用框架体系中居于重要地位。对大数据存储系统进行性能评测可以指导大数据应用开发人员分析性能瓶颈,进行大数据系统的性能优化。在以往的工作中,通常使用基准测试的方式来对不同大数据框架进行性能评测,或者采用插桩并分析轨迹文件的方式对分布式文件系统进行性能分析。这2种方法采用的分析角度不同,并没有形成合理的评测体系来评价大数据分布式存储系统。本文提出主动与被动相结合的大数据存储系统性能评测方法体系结构及其具体实现。在主动性能评测方法方面,提供了6个领域,超过20个应用的基准测试程序,对大数据存储系统主动发起性能测试,分析大数据存储系统的基准性能指标;在被动性能评测方法方面,提供了对低效任务、低效算子、低效函数的分析及定位方法,通过分析运行在大数据存储系统之上的大数据应用,分析大数据应用程序低效的原因。通过实验表明,该大数据性能评测方法体系结构能够全面地对大数据存储系统进行性能评测。

大数据基准测试程序包构建方法研究

基准测试程序是评估计算机系统的关键测试工具。然而,大数据时代的到来使得开发大数据系统基准测试程序面临着更加严峻的挑战,当前学术界和产业界还不存在得到广泛认可的大数据基准测试程序包。文章利用实际的交通大数据系统构建了一个基于Hadoop平台的交通大数据基准测试程序包SIAT-Bench。通过选取多个层次属性量化了程序行为特征,采用聚类算法分析了不同程序-输入数据集对的相似性。根据聚类结果,为SIATBench选取了有代表性的程序和输入数据集。实验结果表明,SIAT-Bench在满足程序行为多样性的同时消除了基准测试集中的冗余。