数据科学与工程:大数据时代的新兴交叉学科

大数据时代的IT发展的基本特点是:应用驱动创新,开源加速创新,硬件助力创新。基于对这些特点的认识,从社会创新发展、人才需求变化、技术发展趋势等方面论述了数据科学与工程这一新兴交叉学科的发展必然性,进一步阐述了数据科学与工程学科的特点、学科内涵与知识体系,最后从科学研究、系统开发和人才培养的角度探讨了数据科学与工程学科的建设思路。

大数据管理系统评测基准的挑战与研究进展

数据库评测基准在数据库发展历史中的作用不可替代,而大数据环境中传统评测基准不敷应用。因此,从评测基准3要素,即数据、负载、度量体系入手,研究具有高仿真性、可适配性、可测量性的大数据管理系统评测基准,对大数据管理系统的研发和应用系统选型至关重要。基于此,在简要分析评测基准的基本要素和大数据管理系统发展过程的基础上,重点分析大数据管理系统的基准评测需求与挑战,然后通过社交媒体分析型查询评测基准BSMA,探讨了面向应用的大数据管理系统基准评测的设计和实现问题。

非阻塞事务型实时数据注入技术研究与实现

伴随着大数据时代来临,传统数据库系统已逐渐无法应对海量数据处理带来的挑战,而分布式数据库系统得到了越来越多的部署和应用.分布式数据库系统部署数据于多台机器上,利用大规模并行计算技术实现了对海量数据的存储、管理和分析.但针对金融领域严苛的事务型实时数据注入需求,现有分布式数据库系统对其支持有限,其主要原因在于利用锁和两阶段提交等方式实现分布式事务处理,无法做到非阻塞式数据注入,极大地影响了数据注入的性能.华东师范大学数据科学与工程研究院自主研发的分布式内存数据库系统——CLAIMS,已能提供面向关系型数据集的实时数据分析服务,但尚不能支持实时数据注入.针对上述实时数据注入的问题,本文重点分析了现有数据注入技术和基于分布式事务处理的实现方式,设计了面向元数据的集中式事务处理策略,利用无锁编程技术,实现了支持分布式事务的高性能实时数据注入框架,并通过热备机制实现系统的高可用性.上述框架在CLAIMS系统中的实现,经充分实验表明:该框架能够实现高通量的事务型实时数据注入,同时支持低延时的实时数据查询.

基于手机大数据的城市人口流动分析系统

分析城市人口流动行为有助于合理分配社会资源,有效应对交通压力、维护社会公共治安等.传统的人工分析方法,如问卷调查、座谈访问等,成本高昂且低效率.智能手机的不断发展与普及在为人们日常生活带来极大便利的同时,所产生的用户移动轨迹数据为有效分析城市人口流动行为提供了可能.然而,海量、低质的轨迹数据给查询分析工作带来了诸多挑战.文中提出了一个分布式人口流动分析框架,采用多节点处理任务,从而提升了算法的执行能力和可扩展性.利用手机运营商提供的手机轨迹数据,分析城市人口流动情况,建立了多个模型,包括进出城市的人口流动行为分析模型、市内各区县间的人口流动行为分析模型、居民工作地/居住地人口分析模型.与传统方法相比,本方案的成本更低,效率更高,覆盖人群更广.

轨迹数据压缩综述

移动终端的普及和全球定位系统(Global Positioning System,GPS)的发展,产生了海量的移动轨迹数据.许多基于位置服务(Location-Based Services,LBS)利用这些轨迹数据为用户提供服务.但是轨迹数据的日益增多也带来了许多挑战:数据量巨大、查询延时增长、数据冗余.因此,轨迹压缩对于提供更好的服务是非常有必要的.轨迹压缩的目标是在满足压缩轨迹与原始轨迹之间的相似度条件下,尽可能减小轨迹数据量.本文回顾了已有的轨迹压缩工作,包括线段简化压缩方法、基于路网的压缩方法和语义压缩方法,并介绍了基于压缩轨迹的查询处理和轨迹管理系统.

面向图数据管理系统基准评测的知识图谱统计特征分析

近年来,图结构数据在信息安全、科学研究、互联网服务等各个领域被广泛采用,图数据管理系统也随之快速发展。然而,当前最主要的图数据管理系统评测基准都是面向社交网络服务和分析应用而设计和开发的。通过对知识图谱(knowledge graph)这一类快速发展的图结构数据的统计特征进行分析,并和社交网络进行比较,展示知识图谱和社交网络的显著区别,以此说明现有图数据管理系统基准评测无法满足知识图谱管理的需要,进一步展望图数据管理系统基准评测的需求和发展。

“内存计算数据管理”专辑导读

周傲英．华东师范大学长江学者特聘教授，数据科学与工程研究院院长．云计算与大数据研究中心主任．先后于1985和1988年在成都科技大学获得计算机应用学士和硕士学位，1993年在复旦大学计算机系获得博士学位．曾获得国家杰出青年基金．目前担任中国计算机学会数据库专业委员会副主任、

高可用数据库系统中的分布式一致性协议

可用性和一致性是分布式数据库系统中的两个重要特性和基础,需要借助分布式一致性协议来保证.保证一致性需要使用一致性协议为并发的事务更新操作确定一个全局的执行顺序,并协调局部状态和全局状态不断地达到动态一致.可用性的实现,需要一致性协议协调多副本之间的一致来实现主备节点的无缝切换.可见,分布式一致性协议是高可用数据库系统的实现基础.本文梳理、综述了经典的分布式一致性协议以及一致性协议在高可用数据库系统中的主要应用,并对分布式一致性协议的实现代价和局限性进行了分析与评估.

基于手机轨迹数据的人口流动分析

随着通信技术的发展和智能手机的普及,运营商基站所采集的大规模手机轨迹数据在城市规划、人口迁移等领域中发挥了重要价值。针对城市人口流动问题,提出一种利用手机轨迹数据的基于轨迹行为特征的人口流动判定(MF-JUPF)算法。首先,可对手机轨迹数据进行数据预处理,以提取用户活动轨迹;然后根据进出城市的行为模式提取重要特征,再根据真实标注数据集合利用多种分类模型进行参数训练;最后,根据模型训练结果判定用户轨迹是否为进出城市行为。所提系统使用MapReduce框架进行数据分析,以提高性能和可扩展性。基于真实数据集合的实验结果表明,对于进出城市的判定,该方法的准确率和召回率可达80%以上,与基于信号消失时长的人口流动判定(SD-JUPF)算法相比,在判定进入城市的准确率上提高了19.0%,召回率提高了13.9%;在判定离开城市的准确率上提高了17.3%,召回率提高了6.1%。相比非过滤算法,根据手机轨迹数据特点进行的数据过滤算法可减少处理时间36.1%以上。理论分析和实验结果表明MF-JUPF方法精度高,可扩展性好,因此对城市规划等领域有重要应用价值。

基线与增量数据分离架构下的分布式连接算法

在大数据背景下,数据库系统表连接操作的效率急需优化,尤其对于基线与增量数据分离的数据库系统来说,其连接操作更是成为其性能的主要瓶颈.为了有效提升事务处理的性能,在基线与增量数据分离的数据库系统架构中,通常将基线数据存储于磁盘中,增量数据存储于内存中,进而获得较高的事务处理吞吐量和可扩展性.Hbase、BigTable、OceanBase等系统是典型的基线与增量数据分离的数据库管理系统,但是他们的表连接效率较低,其主要原因包括:每次表连接前必须先合并基线数据和增量数据;数据存储模式更为复杂,导致过大的网络开销.该文提出了一种基线与增量数据分离架构下的排序归并连接优化算法.该算法对连接属性做范围切分,在多个节点上并行做排序归并连接.该算法无需在连接前合并基线数据和增量数据,进而实现对基线和增量数据并行处理,同时也避免了大量非连接结果集数据的基线与增量合并操作.并在开源的数据库OceanBase上实现了该算法,通过一系列实验证明,该算法可以极大提高OceanBase数据库的表连接处理性能.

内存数据库事务提交的关键技术与挑战

ARIES作为传统事务提交机制从20世纪90年代问世以来,一直是主流商业或开源数据库系统普遍采用的方法.随着应用的高通量化,基于传统硬件设备实现的事务提交机制成为了系统性能提升的首要瓶颈.然而大内存、多核等高性能硬件技术的发展又为事务提交机制的优化提供了新的契机.本文详细分析并总结了传统事务提交机制中存在的问题,然后归纳并讨论了现有基于新型硬件的事务提交技术的应用现状与优缺点,最后探讨了事务提交优化的未来发展与挑战.

OceanBase数据库监控系统

针对目前Oceanbase数据库监控方面薄弱的问题,基于OceanBase的系统架构以及参考其集群部署,并借助其提供的系统接口,提出一套适用于OceanBase在系统监控、系统预警以及故障定位等方面的可执行方案,以此实现了OceanBase监控系统OBDMS。首先,调研OceanBase在系统架构及集群部署等方面的特点;其次,根据OceanBase提供的系统接口以及系统监控、预警和故障定位等目标,构建OBDMS的系统架构;最后,利用OBDMS的系统架构并结合分布式系统的原理,实现了OBDMS。通过分析对比、实验结果表明:只需在每个监控节点上部署监控代理,OBDMS就能自动收集各个节点上的监控信息,节省了运维时间;并且通过一个月的运行以及压力测试,OBDMS各模块均运行正常,具有较高的可靠性。因此,OBDMS具备部署简单、节省运维时间、可靠稳定等特点。

基于Map/Reduce的分布式数据排序算法分析

为了解决大规模数据的存储与计算,近年来分布式系统得到了大量的应用.如何在分布式系统中对大规模数据集进行排序是影响许多应用性能的基础问题,其中不仅涉及每个节点上排序算法的选择,更重要的是设计协调各节点的分布式算法.本文总结了分布式系统中常用的分布式排序算法,对每种算法的执行流程、代价模型和适用场景进行了分析,并通过实验对分析结果进行了验证.本文的工作可以帮助开发人员选择和优化分布式环境下大规模数据排序的算法.

分布式内存数据库系统的容错管理

在大数据背景下,分布式系统被企业广泛部署和应用,随着分布式系统节点规模的扩大,系统故障的概率也将随之增加,在分布式系统中引入容错机制,对提升分布式系统可用性、可靠性、可恢复性至关重要.CLAIMS系统是面向金融领域的对实时数据进行实时分析的内存数据库系统——在数据不断注入系统时,提供近实时的查询、分析任务.本文主要探讨CLAIMS系统中容错机制.依据租约机制,实现系统中异常节点的快速发现及标记(即Fail-fast).在标记异常节点之后,实现对受影响分析任务的重启(即Fail-over);对异常节点全局内存状态的恢复(即Fail-back).实验结果表明,本文所提算法能够较好地实现CLAIMS系统的容错特性.

内存集群计算:交互式数据分析

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.

面向社交数据流连续查询的基准评测

社交数据流上的连续查询处理具有广泛的应用,但其处理技术仍不成熟.本文对社交数据流上的连续查询问题进行建模,定义数据特征、负载类型与分布,以及性能测度.在此基础上,提出一个面向该问题的基准评测.该工作对社交数据流处理应用的系统选型、相关查询处理技术性能比较具有重要意义.

分布式可扩展数据流连接算法

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.

可扩展数据管理系统中的网络请求服务机制

请求服务机制涉及请求的传输和处理,是分布式数据管理系统中各组件交互并完成任务的重要前提.本文以可扩展数据管理系统为背景,抽象系统中的网络服务模型,介绍系统中的网络请求服务机制.从数据库的主要实现出发,分析不同类型的请求在传输以及处理上的不同要求.以OceanBase为例,统计各机制在一个可扩展数据管理系统中的服务比重,并进行相关的分析.

面向不确定数据流的近似ER-Topk查询处理

随着移动互联网的快速发展以及信息技术的普遍应用,在许多应用中都产生了海量、不确定性数据,包括金融、军事、位置服务、医疗以及气象等。然而,传统的确定性数据管理方法很难管理不确定数据,亟需开发新型数据管理方法。可能世界模型被广泛用于为不确定数据建模,通过该模型可以衍生出诸多确定性的可能世界实例。不确定性数据流是指高速到达的海量不确定元组序列,因而不确定数据流管理比不确定性静态数据管理更具挑战性。面向于不确定数据流的ER-Topk查询是一个典型问题,但是处理复杂度高。提出一种近似算法来处理该查询,具有较小的空间复杂度;同时,还通过搜索策略优化来进一步提升查询处理效率。实验结果验证了所提方法的有效性和高效性。

基于Raft一致性协议的高可用性实现

随着互联网的快速发展和大数据时代的来临,传统数据库的局限性开始逐渐显现,而支持海量数据存储和高并发访问的分布式数据库系统越来越流行.在此背景下阿里巴巴集团研发了一款适用于海量数据存储的分布式数据库系统(OceanBase),并提供单集群和多集群两种部署模式.但多集群部署模式下的可用性较低,无法满足关键性应用的需求,包括:发生故障时不支持主备集群的自动切换;主备集群之间无法保证日志的强同步.针对上述问题,本文分析了传统数据库的高可用方案,针对OceanBase架构的特点,结合了Raft算法的思想,设计并实现了基于时间戳的分布式选举模块、自动化的集群切换模块和基于QUORUM策略的日志强同步模块.经实验验证,以上模块的实现能够提高系统整体的可用性.