加快推进计算机科学教育 做数据科学教育的探路人——华东师范大学副校长周傲英教授专访

周傲英教授一直在计算机教育领域深耕细作,从教三十余年一直活跃在计算机教育的教学一线,从助教到教授、从普通教师到大学副校长,他的所思所想,对一线教师、对教育主管部门领导、对计算机教育界都有着重要的参考价值。自2008年周傲英教授在华东师范大学工作以后,先后促使云计算与大数据研究中心、数据科学与工程学院等相关大数据研究、教学部门的成立,为华东师范大学的数据学科相关发展做出了卓有成效的贡献,也推动了国家数据科学和工程领域学科研究的发展。在这些瞩目的成就背后,是周傲英教授对计算机教育发展孜孜不倦的追求与探索。金秋十月桂花香,《计算机教育》杂志主编奚春雁(下面简称奚)参观了华东师范大学校园,专门拜访了周傲英副校长(以下简称周)。

互联网时代分布式关系数据库的有益探索

在实现分布式数据库的技术方案上,业界存在不同的选择.第一种方式需要对应用系统进行拆分,通过分库分表将原本单个数据库管理的数据分散到多个集中式数据库.分库分表方案要求应用系统重构,跨库访问效率较低,关系数据库的重要功能,如外键、全局唯一性约束.

前言

随着新一轮科技革命与产业变革的深入发展,以互联网为代表的新型信息技术正在深刻地改变社会各领域,数据作为关键生产要素的价值日益凸显,信息化被赋予新的内涵.为加速传统产业向智能化、绿色化、融合化方向转型升级,亟需利用新型信息技术提供数字化服务,数据是促成这一转型新的动力能源(New Power).数据是人们对客观世界的认知在计算机世界中的表示,是人类社会继“蒸汽能”“电能”后的第三次新能源——数据能.

支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.

面向大数据分析的分布式矩阵计算系统研究进展

在大数据治理应用中,数据分析是必不可少的一环,且具有耗时长、计算资源需求大的特点,因此,优化其执行效率至关重要.早期由于数据规模不大,数据分析师可以利用传统的矩阵计算工具执行分析算法,然而随着数据量的爆炸式增长,诸如MATLAB等传统工具已无法满足应用需求的执行效率,进而涌现出了一批面向大数据分析的分布式矩阵计算系统.从技术、系统等角度综述了分布式矩阵计算系统的研究进展.首先,从发展成熟的数据管理领域的视角出发,剖析分布式矩阵计算系统在编程接口、编译优化、执行引擎、数据存储这4个层面面临的挑战;其次,分别就这4个层面展开,探讨、总结相关技术;最后,总体分析了典型的分布式矩阵计算系统,并展望了未来研究的发展方向.

面向开源协作数字生态的信息服务与数据挖掘

开源软件在大规模发展与普及的同时也构筑了一个开源开发与协同的生态系统,在这个系统中,个人与组织协同开发所有人都可以使用的高质量软件。以GitHub为代表的社会化协作平台进一步促进了大规模、分布式、细粒度的代码协作与技术社交,无数开发者每天在其上提交代码、评审代码、报告bug,或提出新的功能请求,如何利用这些海量的协作行为数据挖掘有价值的信息是当前的研究难点。因此,设计并实现了一个面向开源协作数字生态的一站式数据挖掘系统OpenDigger,目标是构建开源领域的数据基础设施,促进开源生态的持续发展。OpenDigger系统主要由数据采集服务、数据存储模块、标签数据模块和信息服务模块构成,它基于OLAP列式数据库和图数据库,持续采集多源开源生态数据,并通过统一的接口为不同用户群体提供各类开源信息服务。OpenDigger从协作关系网络视角挖掘开源数字生态中的关键信息,相比传统统计指标,协作网络视角更好地展现了开源项目与开发者的关联特性,用户可以使用在线分析环境或CLI工具对开源生态数据进行建模与分析。OpenDigger服务于蚂蚁金服、阿里巴巴、木兰开源社区等多家企业与社区,为OSPO(Open Source Program Office,开源办公室)从业者和开源项目运营负责人提供开源数字洞察能力。

支持实时流计算应用的关键技术研究进展

信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势.

不确定性数据管理技术研究综述

随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现.目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型.这些不确定性数据模型的核心思想都源自于可能世界模型.可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行.因此,必须运用排序、剪枝等启发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作.

基于位置的服务:架构与进展

随着无线通信技术和智能移动终端的快速发展,基于位置的服务(Location-based Services,LBS)在军事、交通、物流等诸多领域得到了广泛应用,它能够根据移动对象的位置信息提供个性化服务.目前,主流的定位技术大致可分为卫星定位、基于网络基础设施的定位和感知定位三类.LBS使用有效的移动对象时空索引技术来高效处理服务查询请求,并且采用不同隐私保护策略以有效保护用户的位置隐私.近年来,由于应用场景趋于复杂、多定位技术协同、数据规模迅速扩大等因素影响,室内LBS、不确定位置信息管理、新型隐私保护技术、云计算平台下的LBS、社会化LBS等也越来越重要.文中介绍了LBS系统的架构及其各个组成部分的关键技术,回顾了近几年来LBS技术的研究进展,探讨了未来的研究方向.

计算广告:以数据为核心的Web综合应用

计算广告是随着互联网应用发展起来的一个综合多学科的研究领域,这多学科包括数据管理、信息检索、数据挖掘、统计分析、机器学习、分布式系统等.由于其广泛的应用和巨大的市场价值,计算广告学已逐步发展成一个独立的研究方向.目前,计算广告学涵盖在线广告投放、移动终端广告投放、社会网络应用广告投放、用户信息分析等.文中主要介绍计算广告学的演化过程,包括计算广告投放模式的演化(由按合约投放演变为实时竞价投放)、计价模式的演化(由按展示计价演变为按点击计价、按交易计价等)、投放目标的演化(由品牌效果展示演变为直接市场营销);计算广告学的组成部分,包括计算广告产业链(如广告主、网络媒体、联盟网络、广告交换、需求方平台、销售方平台等)、计算广告的分类(如条幅展示广告、赞助商搜索、联盟广告等).此外,文中还重点讨论了广告检索、排序投放算法以及广告离线分析、实时投放平台等关键技术和平台.最后,还将讨论在移动计算环境下的移动终端的广告投放、基于位置信息的广告投放、基于社会网络的广告投放等新型应用模式对计算广告学发展的影响.

基于关系的XML数据存储

XML正成为Internet上数据表示与交换的标准 ,如何存储XML数据是一个关键问题。我们在系统实现时采用了基于关系数据库的存储方式。文章对于关系模式如何由DTD生成、XML数据如何存入、查询语句和查询的结果如何转化等问题 ,做了详细的探讨。

大规模分布式系统中的多属性查询处理

大规模分布式系统中的复杂查询处理是将对等计算技术运用于关键应用中的重要问题,是学术界与工业界所共同关注的研究问题.文中介绍了一种高效、可伸缩的通用的基于类Chord协议的多属性查询处理技术GChord.它既支持匹配查询也支持范围查询.和现有其它技术相比,对于任何数据元组,GChord只需要对其编码和索引一次,且能将查询处理的代价限制在一个很小的范围内.因此,它能在索引维护代价和查询效率之间达到平衡.GChord还提供优化技术以进一步提升性能.实验证实了GChord具有较高的查询处理效率以及较低的索引维护代价.

数据库技术:回顾与展望

数据库系统的研究和开发在其三十年的历史中取得了巨大的成功,形成了一个数百亿美元的产业。数据库技术和系统的应用已经遍及各个领域,奠定了数据库系统作为当今社会信息基础设施核心技术的地位。尽管如此,数据库的研究和发展一刻也来曾停止过,传统的研究主要集中在增强和提高数据库管理系统(DBMS)的功能和性能上。但是,DBMS作为管理大容量数据的工具无疑会受到所管理的对象和所应用的环境的影响。目前。

数据科学与工程:大数据时代的新兴交叉学科

大数据时代的IT发展的基本特点是:应用驱动创新,开源加速创新,硬件助力创新。基于对这些特点的认识,从社会创新发展、人才需求变化、技术发展趋势等方面论述了数据科学与工程这一新兴交叉学科的发展必然性,进一步阐述了数据科学与工程学科的特点、学科内涵与知识体系,最后从科学研究、系统开发和人才培养的角度探讨了数据科学与工程学科的建设思路。

VXMLR系统存储模式的自适应调整

XML管理系统的查询处理效率很大程度上取决于系统中XML数据的存储模式 .在用户查询已知或可预测的情况下 ,根据用户查询设计存储模式可以改善系统的查询处理效率 .该文介绍VXMLR系统存储模式的自适应调整机制 .根据历史查询信息 ,VXMLR系统对其存储模式进行自适应调整 ,从而提高查询处理效率 .其基本思路是 :首先根据历史查询 ,推导出适当的映射规则 ,得到XML文档在关系数据库中的存储模式 ;然后 ,在给定的空间约束下 ,根据历史查询使用背包问题求解算法选择关系表进行垂直分割或冗余存储相关数据 ,使查询所访问的无关数据尽可能少 .VXMLR系统提供四种存储模式调整策略 ,其中两种策略可以实现自适应的存储模式调整 .实验结果表明文中提出的方法是有效的 .

数据专业人才培养方案与核心课程体系建设

21世纪以来,对人类影响最大的科技事件是互联网的蓬勃发展。互联网企业的成功彰显了数据的重要性,“大数据”因此成为耳熟能详的热词。“大数据”是说数据很重要,其本质上指的是数据的采集、汇聚、关联和使用。数据是人类文明史上堪比蒸汽能和电能的新能源,是催生数字经济的新动能。基于这样的认识,华东师范大学成立了数据学院(全名:数据科学与工程学院),“面向新经济的数据科学与工程专业建设”入选第一批新工科建设项目,数据专业于2019年入选同类专业唯一的一个国家级一流本科专业。发起成立的数据专业协作组围绕本科核心课程进行了全面深入的讨论,确定了第一批八门核心课程及其教学大纲,教材编写和课程建设正在全面推进。另外两门核心课程“区块链导论——原理、技术与应用”和“数据中台初阶教程”也将很快面世。

《海量数据处理》专辑前言

1965年，数据库领域第一个获得图灵奖的计算机科学家Charles Bachman发表了他的重要论文“Integrated Data Store”，向世人介绍了世界上第一个数据库系统IDS．这一事件标志着数据库的诞生．到现在，数据库概念已经耳熟能详，深入人心，数据库被认为是信息化社会的重要基础设施之一．

具有面向对象特征的知识库系统

本文讨论了具有面向对象特征的知识库系统KBASE^+的数据模型、语言及实现。KBASE^+的数据模型可以方便地支持对象标识、类层次、多继承等面向对象概念。描述性查询语言KBL是DATALOG针对于非一范式关系模型的扩充。本文重构了KBL的语义理论框架,提出了通过计算相关类的下确界来解决属性继承中的冲突问题,通过在KBL程序中添加规则来实现实例继承的方案,本文说明了KBL程序可以转换成语义等价的DATALOG程序,描述了这种转换的基本思想,探索了知识库和面向对象数据库有机结合的可行途径。

基于规则的面向对象数据库查询语言

一、引言 八十年代中期兴起的面向对象数据库和知识库己成为当今数据库技术发展的两重要方向。自出现以来.它们沿着不同的道路独立发展,各自都取得了许多成果.知识库的研究是型的理论驱动的。

带否定的DATALOG的语义的不动点特性

带否定子目标的ＤＡＴＡＬＯＧ（称为ＤＡＴＡＬＯＧ）是ＤＡＴＡＬＯＧ的一种扩充。本文研究ＤＡＴＡＬＯＧ语义的良基模型的不动点特性。首先，重新考察了稳定性变换，定义了新算子及其不动点。在此基础上，定义了振荡不动点模型论语义，然后，本文证明了振荡不动点模型和良基模型是等同的，说明前者可以看和是后者的构造性定义。