支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.

基于微服务的研究生信息系统数据同步方案研究与设计

随着高校信息系统应用的普及以及使用频率的提高,师生对数据一致性、准确性、及时性和完整性提出了更高的要求,原数据同步方案中使用XML(extensible markup language)进行数据同步具有同步效率低下、难以扩展的缺点.考虑到开源工具DataX可以完成多种异构数据库之间的数据同步且不会对源数据库造成破坏,本文使用DataX对原数据同步方案进行改进,并针对高校研究生信息系统建设过程中存在的多个业务需求和应用场景,提出了不同的数据同步方案.同时,针对DataX在启动和执行过程中一次读只能进行一次写的缺点,设计了一次读可以多次写的方案.对比实验表明,优化后的方案可以提高数据同步效率,具有较好的扩展性,能够满足高校数据同步需求.

HTAP数据库系统数据共享模型和优化策略

混合事务与分析处理数据库系统(HTAP)因其在一套系统上可以同时处理混合负载而逐渐获得大众认可.为了不影响在线事务处理(OLTP)业务的写入性能,HTAP数据库系统往往会通过维护数据多版本或额外副本的方式来支持在线分析处理(OLAP)任务,从而引入了TP/AP端版本的数据一致性问题.同时,HTAP数据库系统面临资源隔离下实现高效数据共享的核心挑战,且数据共享模型的设计综合权衡了业务对性能和数据新鲜度之间的要求.因此,为了系统地阐释现有HTAP数据库系统数据共享模型及优化策略,首先根据TP生成版本与AP查询版本的差异,通过一致性模型定义数据共享模型,将HTAP数据共享的一致性模型分为3类,分别为线性一致性,顺序一致性与会话一致性.然后,梳理数据共享模型的全流程,即从数据版本标识号分配,数据版本同步,数据版本追踪3个核心问题出发,给出不同一致性模型的实现方法.进一步,以典型的HTAP数据库系统为例对具体实现进行深入的阐释.最后,针对数据共享过程中涉及的版本同步、追踪、回收等模块的优化策略进行归纳和分析,并展望数据共享模型的优化方向,指出数据同步范围自适应,数据同步周期自调优和顺序一致性的新鲜度阈值约束控制是提高HTAP数据库系统性能和新鲜度的可能手段.

面向Select和Sort的数据库算子缓存的设计与实现

缓存是数据库中提高查询性能的一种常用技术.目前,现有数据库缓存主要有两个方向:查询结果缓存和存储层块缓存.查询结果缓存是利用数据库查询执行的最终结果或中间结果(如子查询),而存储层块缓存则缓存查询涉及的底层数据块.本文从另外一个角度“缓存中含有的计算量”来重新审视缓存在查询优化中的应用,并以此为基础进一步划分数据库缓存方式.在查询执行过程中,数据库查询被转换成一系列操作(例如选择、排序等)的集合,而算子对应操作.查询处理中算子输出的数据为中间结果,含有部分计算量,我们将这部分数据进行缓存并加以利用.我们将这种缓存部分计算量的缓存方式称为算子缓存,即缓存每个操作执行后的结果.由于不同查询之间可能会存在相同算子,对相近数据执行相同计算,因此利用算子缓存加速查询执行性能具有相当大的潜力.本文的新颖之处在于从缓存含有的计算量角度出发,提出并研究算子缓存如何在查询优化中应用.本文以Filter、Sort算子为例,针对缓存复用提出了一种基于语义树的匹配算法,用于快速匹配缓存中的结果集.同时,针对复用缓存可能劣化查询性能的情况,提出使用基于成本的代价优化器防止使用缓存劣化查询性能.最后,本文基于开源分析型数据库ClickHouse实现了Filter、Sort算子缓存的原型,并对提出的算子缓存方案进行了大量的实验测试.结果表明,相比块缓存、物化视图方式,本文提出的算子缓存方案在本地SSD部署下最大能够分别提升9倍以及1.5倍的查询响应速度,在云环境下部署能够分别提升30倍以及2倍的查询响应速度.

基于智能合约的教育大数据安全管理和隐私保护算法

传统教育大数据管理面临隐私数据泄露、数据可信度存疑和越权访问等安全风险,为了避免上述风险,提出了一种新型基于智能合约的教育大数据安全管理与隐私保护算法:ASPES(algorithm for security management and privacy protection of education big data based on smart contracts),算法融合了基于Shamir秘密共享的密钥切割改进分享算法、基于SM2-SHA256-AES算法的混合加密算法和基于分层数据访问控制的智能合约管理算法.在真实数据集MOOCCube上的实验结果表明,相较于较先进的方法,ASPES的执行效率和安全性有显著提高,可以有效存储和管理教育大数据,实现教育资源的合理分配.ASPES通过向区块链中嵌入智能合约,将数据读写等操作上链,能够优化管理路径、提高管理效率,保证教育公平,极大地提升教育质量.

面向开源协作数字生态的信息服务与数据挖掘

开源软件在大规模发展与普及的同时也构筑了一个开源开发与协同的生态系统,在这个系统中,个人与组织协同开发所有人都可以使用的高质量软件。以GitHub为代表的社会化协作平台进一步促进了大规模、分布式、细粒度的代码协作与技术社交,无数开发者每天在其上提交代码、评审代码、报告bug,或提出新的功能请求,如何利用这些海量的协作行为数据挖掘有价值的信息是当前的研究难点。因此,设计并实现了一个面向开源协作数字生态的一站式数据挖掘系统OpenDigger,目标是构建开源领域的数据基础设施,促进开源生态的持续发展。OpenDigger系统主要由数据采集服务、数据存储模块、标签数据模块和信息服务模块构成,它基于OLAP列式数据库和图数据库,持续采集多源开源生态数据,并通过统一的接口为不同用户群体提供各类开源信息服务。OpenDigger从协作关系网络视角挖掘开源数字生态中的关键信息,相比传统统计指标,协作网络视角更好地展现了开源项目与开发者的关联特性,用户可以使用在线分析环境或CLI工具对开源生态数据进行建模与分析。OpenDigger服务于蚂蚁金服、阿里巴巴、木兰开源社区等多家企业与社区,为OSPO(Open Source Program Office,开源办公室)从业者和开源项目运营负责人提供开源数字洞察能力。

面向轻量级设备的云存储场景数据完整性校验方案

资源受限的轻量级移动设备往往可以通过将大规模数据外包至云存储服务器中从而卸载自身的计算和存储压力.然而该云存储模式存在自私云服务器丢弃数据以节省存储资源的可能性.因此需要能够对云储存数据进行有效的完整性校验以确保数据正确完好地存储着.然而现有的云存储完整性校验机制在缺乏可靠且能够满足数据隐私保护的前提下对数据进行即时、多次校验的机制.提出了一种基于可信执行环境的完整性校验机制,通过在隔离区域中对数据产生可信证明,保证了云服务器在全过程中对数据以及产生证明的全过程的不可见,从而不得不诚实地保证存储数据的完整性.为了进一步提高方案的安全性,引入了区块链智能合约以提供证明的可信存证和验证.此外,还考虑到了端侧设备的资源不足问题,提出了基于布谷鸟过滤器的高效验证机制.实验结果表明,该方法能够在保证隐私数据的完整性校验的基础上,实现较高的执行效率和实用性.

CDES:数据驱动的云数据库效能评估方法

在大规模云生产环境中在线评估数据库效能,对云厂商进一步优化云成本至关重要。为了评估云数据库的使用效能,提出了一种数据驱动的、基于计算与存储指标融合的云数据库效能评估方法CDES。该方法根据云数据库实例负载行为和性能画像,从计算和存储两方面选取影响云数据库成本与效能的主要指标,再结合云监控平台采集的数据,评估云数据库实例与集群的线上实际使用效能。基于CDES评估结果,进一步提出了云数据库效能优化的治理方案,提供效能优化建议,引导用户减少闲置资源。CDES已被部署在某大型互联网企业生产环境中,并用于其OLTP云数据库产品的效能评价。实验结果表明,所提方法能有效评估超过5000个云数据库实例的集群的效能并引导治理,单位业务量下实例最高能节省40.74%的成本。

面向在线教育场景的异构数据生成工具

在数字化教育应用领域,在线课堂等平台的开发人员在追求数据驱动的优化过程中,面临着隐私问题和现有数据集规模不足的挑战.针对此,构建了一种适应教育特性的异构数据模型,并实现了相应的数据生成工具(E-Tools),用于模拟复杂教育场景下的数据交互.实验表明,该工具在多种数据规模下,都能保持高效的数据生成速度(64~74 MB·s^(-1)),展现了良好的线性扩展能力,验证了所提模型的有效性及工具生成较大数据量的能力.同时,设计了反映学生学习行为的异构数据查询负载,为教育平台的性能评估与优化提供了强有力的支持.

面向大数据分析的分布式矩阵计算系统研究进展

在大数据治理应用中,数据分析是必不可少的一环,且具有耗时长、计算资源需求大的特点,因此,优化其执行效率至关重要.早期由于数据规模不大,数据分析师可以利用传统的矩阵计算工具执行分析算法,然而随着数据量的爆炸式增长,诸如MATLAB等传统工具已无法满足应用需求的执行效率,进而涌现出了一批面向大数据分析的分布式矩阵计算系统.从技术、系统等角度综述了分布式矩阵计算系统的研究进展.首先,从发展成熟的数据管理领域的视角出发,剖析分布式矩阵计算系统在编程接口、编译优化、执行引擎、数据存储这4个层面面临的挑战;其次,分别就这4个层面展开,探讨、总结相关技术;最后,总体分析了典型的分布式矩阵计算系统,并展望了未来研究的发展方向.

基于模糊测试生成多样化的数据库隔离级别测试案例

在现代信息系统中,数据库管理系统扮演着至关重要的角色.隔离级别测试对数据库管理系统而言具有重要意义,它确保并发操作的隔离性和数据的一致性,从而防止数据损坏和安全风险的发生,并为用户提供可靠的数据访问保障.模糊测试是一种广泛应用于软件和系统测试的方法,通过搜索测试空间并生成多样化的测试案例,探索系统的边界条件、异常情况和潜在问题,以发现可能的漏洞.本文介绍了针对数据库隔离级别进行模糊测试的工具SilverBlade,旨在提升生成测试案例的多样性,深入探索隔离级别测试空间.为了有效搜索庞大的测试空间,设计了结构化的测试输入结构,将测试空间拆分成并发事务组合和并发事务执行交互模式两个子空间进行搜索.为了更全面地测试隔离级别核心实现测试空间,还设计了基于深度和广度的自适应搜索方式,用于有效变异测试案例.实验结果表明, SilverBlade能够生成多样性的测试案例,并能够在流行的数据库管理系统PostgreSQL中更广泛地覆盖数据库隔离级别核心实现代码.与对比工具相比, SilverBlade在提高隔离级别关键区域的测试覆盖率方面表现更佳.

面向异常检测的时序数据库查询优化

随着物联网的发展,大量传感器设备被接入网络,这些设备所产生的数据的异常检测关系到系统服务的稳定性.时序数据库是专门为时序数据优化的数据库系统.作为监控系统的重要环节,时序数据库担负着时序数据的管理和查询任务.但目前时序数据库在处理多个数据源数据的查询上存在着延迟高、没有充分利用系统计算资源的缺点.针对上述缺点,基于InfluxDB,重新设计了时序数据库的查询执行模型,提出了InfluxDB-PP (parallel processing),很好地解决了上述问题.实验结果表明, InfluxDB-PP在实时数据异常查询场景下,查询时延相较于InfluxDB降低了约85.7%.

摭谈数据科学在中学通识教育中的作用

近几年,国内教育界兴起了“通识教育热”.譬如让理工科学生选修文科类课程,文科学生选修理工类课程,强化数理化等基础课程的学习等.事实上,无论是在高等教育还是基础教育中,通识教育都受到了越来越多的关注.很多教育界专家直接指出:“通识教育最好从中小学开始.”在欧美等发达国家,除了完成必修的文化课以外,很多中学都给学生提供了丰富的通识选修课,以帮助学生全面发展,构建学生丰富多彩的知识空间.美国从幼儿园就开始了人文通识教育,香港也广泛地开设了通识课程,主要包括:社会与文化、自我与个人成长、科学技术与环境等,而国内越来越多类似于国学、哲学、信息技术、公共卫生、环境等通识课程也开始进入中学课堂.

如何开设中学数据科学通识课程

在上一期的《摭谈数据科学在中学通识教育中的作用》一文中,我们给大家介绍了以“思考点”和“实践点”为中心的中学通识课程的重要性,并提出了“数据科学作为一门通识课程”的观点.随着2017年教育部新一轮的高中课程标准的更新,数学与信息技术两门基础课程备受瞩目,其也是和数据科学最为密切相关的课程.本期我们就“如何开设中学数据科学通识课程”这一话题给大家做进一步的阐释,同时也看看高中课程标准的改革是如何对数据科学的普及起到支撑作用的.

Learned Index和B-Tree在不同分布数据上的性能对比及优化

Learned Index是一种通过训练模型来建立输入数据和存储位置之间映射关系的索引,它能学习到数据间分布的信息,而不同的数据分布将影响模型训练准确率和模型复杂度之间的平衡。为了探索Learned Index适用的场景,使用不同分布、不同数据量的数据对它和加以优化的可更新的自适应学习索引(ALEX)进行性能测试,并与B-Tree进行对比,最终发现Learned Index构建大批量数据的索引时间比B-Tree短,读操作性能、存储空间大小有明显的优势,但写操作性能较差,因此得出Learned Index更适用于大数据情景下的在线分析处理(OLAP)数据库,用于静态数据的存储和查询操作的结论。基于B-Tree的索引结构,对初版Learned Index的结构进行了优化和调整,最终使优化后Learned Index在大批量数据的读写操作性能上有明显提高,其中读操作最高达到原版Learned Index的2倍,写操作最高达到原版的3倍。

数据科学的春天

过去几十年,互联网、云计算和物联网得到了蓬勃发展,信息技术得到极大的普及与应用。未来若干年,数据科学与大数据将迎来人类有史以来最美妙的春天——数据复兴的时代!

数据同步机制自适应优化的HTAP数据库原型系统

在HTAP(hybrid transactional and analytical processing)数据库中,资源隔离和数据共享是一个难题,虽然不同厂商通过不同的架构来实现资源隔离,但是用户关注的新鲜度,即OLTP(online transaction processing)和OLAP(online analytical processing)读写版本的差距,由数据共享的一致性模型决定.然而,现有的HTAP数据库为了节约成本,只应用单一一致性同步模型,这与用户应用的多种一致性需求之间存在矛盾,为了满足用户需求的最高一致性而采取向上兼容的方案降低了系统的整体性能.通过构建新鲜度与性能权衡的代价模型,提出了一致性切换算法和切换前后同步数据的处理策略,实现了一个顺序一致性同步与线性一致性同步自适应切换的HTAP数据库原型系统,使得无需调整HTAP架构,即可支持不同一致性(新鲜度)需求的查询负载并实现系统性能的最大化,最后对自适应切换的有效性也进行了实验验证.

数据驱动的大宗物流地图构建:架构及进展

普通的城市道路地图未能覆盖(超)重卡货车的道路禁限行信息,缺少标注适用于大宗货运的热门停驻区域,无法满足货运司机的大批量长距离公路运输需求.为解决大宗货运交通事故频发、物流效率低下等问题,进一步提升货运司机的出行体验感,亟需结合运输货物类型、货车车型以及司机的线路选择偏好等因素,研究适用于公路大宗货运的定制化物流地图构建方法.随着移动互联网、车联网的普及,大宗货运产生的时空数据迅猛增长,与物流运营数据等一起构成物流大数据,为构建物流地图提供了数据基础.在梳理地图构建技术的基础上,针对现有电子地图构建方法在大宗货运领域的局限性,利用多源物流数据提出了一个数据驱动的物流地图构建框架,主要研究内容包括:(1)基于用户先验知识的多约束物流地图构建;(2)动态时空数据驱动的物流地图增量更新.物流地图将成为大宗货运发展新一代物流科技的AI基础设施.研究成果为物流地图构建的技术创新提供了丰富的实践内容,也为促进大宗物流降本增效提供了新的解决思路,具有重要的理论意义和应用价值.

存算分离架构下Part元数据的单独管理策略

针对ClickHouse存在的硬件资源无法被充分利用、缺少弹性和节点启动过慢的问题,在存算分离架构下,提出了一套针对描述数据信息的元数据(Part元数据)的管理策略. Part元数据是元数据中最重要的组成成分.为了能够有效管理远程共享存储上的数据,采集了所有Part元数据文件,并将其合并后,经过键值映射、序列化和反序列化,存入分布式键值数据库中.此外,还设计了一套同步策略,以确保远程共享存储上的数据与分布式键值数据库中的元数据的一致性.利用Part元数据管理策略及相关的同步策略,实现了一个针对Part元数据的管理系统,解决了ClickHouse节点启动过慢的问题,并支持高效的节点动态扩缩容.

面向骑行地图推断的轨迹数据质量提升方法

由于定位设备误差、非机动车骑行习惯等因素的影响,骑行轨迹存在数据异常与定位信息缺失等质量问题,为骑行地图推断和骑行路径规划等基于轨迹的应用带来了极大挑战.为解决上述问题,提出了一个面向骑行地图推断的轨迹数据质量提升框架,包括网格索引构建、异常轨迹点的消除、徘徊轨迹段的消除、违章轨迹段的消除、漂移轨迹段的校准以及缺失轨迹的恢复等.在真实非机动车骑行轨迹数据集上进行了对比实验和消融实验,实验结果验证了所提方案对于提升骑行地图推断的精度优于现有方法.