支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.

面向大数据分析的分布式矩阵计算系统研究进展

在大数据治理应用中,数据分析是必不可少的一环,且具有耗时长、计算资源需求大的特点,因此,优化其执行效率至关重要.早期由于数据规模不大,数据分析师可以利用传统的矩阵计算工具执行分析算法,然而随着数据量的爆炸式增长,诸如MATLAB等传统工具已无法满足应用需求的执行效率,进而涌现出了一批面向大数据分析的分布式矩阵计算系统.从技术、系统等角度综述了分布式矩阵计算系统的研究进展.首先,从发展成熟的数据管理领域的视角出发,剖析分布式矩阵计算系统在编程接口、编译优化、执行引擎、数据存储这4个层面面临的挑战;其次,分别就这4个层面展开,探讨、总结相关技术;最后,总体分析了典型的分布式矩阵计算系统,并展望了未来研究的发展方向.

HTAP数据库系统数据共享模型和优化策略

混合事务与分析处理数据库系统(HTAP)因其在一套系统上可以同时处理混合负载而逐渐获得大众认可.为了不影响在线事务处理(OLTP)业务的写入性能,HTAP数据库系统往往会通过维护数据多版本或额外副本的方式来支持在线分析处理(OLAP)任务,从而引入了TP/AP端版本的数据一致性问题.同时,HTAP数据库系统面临资源隔离下实现高效数据共享的核心挑战,且数据共享模型的设计综合权衡了业务对性能和数据新鲜度之间的要求.因此,为了系统地阐释现有HTAP数据库系统数据共享模型及优化策略,首先根据TP生成版本与AP查询版本的差异,通过一致性模型定义数据共享模型,将HTAP数据共享的一致性模型分为3类,分别为线性一致性,顺序一致性与会话一致性.然后,梳理数据共享模型的全流程,即从数据版本标识号分配,数据版本同步,数据版本追踪3个核心问题出发,给出不同一致性模型的实现方法.进一步,以典型的HTAP数据库系统为例对具体实现进行深入的阐释.最后,针对数据共享过程中涉及的版本同步、追踪、回收等模块的优化策略进行归纳和分析,并展望数据共享模型的优化方向,指出数据同步范围自适应,数据同步周期自调优和顺序一致性的新鲜度阈值约束控制是提高HTAP数据库系统性能和新鲜度的可能手段.

基于查询编译的SQL执行技术研究进展

信息系统通常会借助数据管理系统来进行数据管理,其中SQL凭借良好的易用性和灵活性一直作为数据管理的主流查询语言,用户将编写的SQL语句交由数据管理系统执行后便可得到查询结果.执行模型的高效与否决定了系统能否快速响应用户的查询请求,现有执行模型主要采用解释执行和编译执行2种方式.解释执行具有良好的拓展性、可维护性等因而被大多数系统采用.不同于解释执行,编译执行为原本需要解释执行的查询生成高效的定制化代码来加速查询,带来的显著性能提升吸引了一众数据管理系统开始实现相应技术.然而,如何针对查询生成其对应的定制化代码是一个复杂的过程,在实现时需要考虑诸多方面,甚至在某些情况下,采用编译执行的查询性能可能还不及传统的火山模型.从概念、技术等角度系统地综述了编译执行技术的研究进展.首先,概述了编译执行的基本概念,对相关术语和背景知识进行了介绍;其次,分别从中间代码生成、中间表示、机器码生成与运行3个角度介绍了相关技术;最后,结合当前数据管理系统的研究趋势以及近期研究工作展望了编译执行未来的发展方向.

支持实时流计算应用的关键技术研究进展

信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势.

面向端边云协同架构的区块链技术综述

近年随着边缘计算的兴起,边缘计算和云计算结合形成的终端-边缘-云(端边云)协同的层次型分布式架构尽管可在高计算能力服务、高存储能力服务和低延时服务等方面满足应用需求.但在数据安全和多方可信交互等方面仍面临很多挑战.作为一种去中心化的分布式账本技术,区块链具有数据不可篡改、不可伪造、可追溯和由多方共同维护的特点,将区块链融入到端边云架构中可以使多参与方之间进行互信的数据交互,确保数据完整和可用.但由于区块链在系统架构、隐私安全、对节点资源要求和多方共识方面的特点,其与端边云架构相融合时仍面临诸多挑战:区块链和端边云系统在架构上的不匹配使得二者难以融合;区块链账本数据透明,可能造成敏感数据泄露;区块链的全副本存储和共识过程会消耗更多端边云参与节点的资源;不同端边云场景所需的信任模型差异、终端和边缘节点资源受限和终端设备大规模接入等特点使得现有共识算法不能适应端边云的场景.针对以上问题,本文首先介绍端边云架构和区块链技术,接着讨论二者融合的可行性和优势,并整理归纳了相关研究进展;之后讨论端边云架构下区块链技术面临的技术问题;最后提出未来端边云架构下区块链技术的研究方向.