学习型数据库索引推荐技术综述

数据库技术是现代计算机软件技术中不可或缺的一部分,在各个行业中都发挥着十分重要的作用。但是,伴随着时代的发展,互联网和云计算要求数据库能够有效地存储和处理大数据,使传统的关系型数据库软件工具能力难以应对新的应用场景。其中,索引对于提升复杂数据集上检索任务的效率有着非常重要的意义。机器学习近年来取得了长足的发展,为数据库索引推荐技术提供了新的机遇。首先叙述了索引推荐的研究背景与挑战;然后,将索引推荐分为索引生成与索引选择2个阶段,分别对这2个阶段的相关技术进行论述;最后,对基于学习的数据库索引推荐技术做了介绍与展望,其中,重点介绍了索引生成与索引选择。索引生成阶段包含基于学习的范围索引、哈希索引、布隆过滤器等,总结了基于学习的索引生成技术的优缺点;对于索引选择阶段,将传统方法与基于学习的方法进行对比与分析,重点叙述强化学习解决索引选择问题。

基于强化学习的数据库多属性索引推荐

传统关系型数据库通过人工方式进行索引推荐,已无法适应日益增长的数据需求,而机器学习技术可以有效地解决数据库索引选择问题。针对以往仅在静态数据库下进行索引推荐且无法及时更新索引配置的局限性,提出了一种基于强化学习算法实现为数据库数据动态变化情况下的一组工作负载推荐最佳多属性索引配置的方法(multi-attribute index intelligent recommendation approach,MIRA)。在公开的TPC-H数据集上的实验结果表明,该方法不仅能有效地为一组工作负载推荐最佳的索引配置,而且优于自定义的比较基线和相关强化学习方法。

基于多线程并行强化学习的数据库索引推荐

建立索引是提高数据库性能的一个重要方法。目前随着强化学习算法的发展,出现了一系列使用强化学习解决索引推荐问题(index selection problem, ISP)的方法。针对现有的深度强化学习索引推荐算法训练时间长、训练不够稳定的问题,提出了一个基于A2C的索引推荐算法PRELIA。该算法加入负载索引扫描行数特征矩阵,并对奖励值进行归一化处理,旨在提高索引选择的准确性和效率,减少索引空间占用。在不同数据集上的实验结果表示,该算法可以在保证与比较算法相当的索引推荐质量的同时,推荐出的索引占用更小的存储空间,其训练时间比基线算法时间提高了4倍以上。

CedarAdvisor:负载自适应的自动化索引推荐工具

索引在提高查询性能方面可以起到至关重要的作用,数据库管理员的一项重要工作是为数据库选择合适的索引.但随着数据库工作负载的不断复杂、数据量的持续增加、库中关系表的逐渐增多,人为地分析工作负载成本、选择合适的索引并估算数据库空间变化情况变得越发困难.本文设计了一款面向负载的自动化索引推荐工具——CedarAdvisor.它从日志中自动化收集负载,统计查询频率,在为单条查询生成候选索引的基础上,评估索引收益与代价,通过动态规划算法生成整个负载的索引推荐.最后我们在分布式数据库上验证了工具的有效性.

推荐搜索网络经济新模式

搜索聚合服务器提供商Aggregate Knowledge公司开发出一种新的网络消费模式：基于网民的阅读和购买行为推荐产品．以消费者的力量来影响更多消费者。