基于深度学习的可学习索引研究

如何对数据进行高效的检索一直是个热门话题。传统的索引方法在大数据环境下进行最近邻查找时,面临着查找速度慢、准确率不高等问题。为了保证检索效率,人们往往会牺牲一定的准确度来换取更高的查询效率。随着机器学习和神经网络的发展,采用基于深度学习的可学习索引模型,将检索过程使用神经网络的查找进行代替成为一种可行的方法。实验结果表明,在解决最近邻查找问题时,使用包含输入层、神经网络层、索引层和输出层等四个层次的深度学习模型,能够在保持一定查找准确率的基础上,在查找时间上取得优势。

一种基于混合索引的最近邻查找方法

针对某些场景下可学习KD树模型在最近邻查找中准确率较低的问题,提出了一种基于可学习索引模型和传统KD树的混合索引结构。该结构将待查找数据同时输入已经训练好的可学习KD树模型和KD树中得到若干个候选的k近邻点,从而将可学习索引模型在查找效率和传统索引方法在查找准确率上的优点相结合。试验结果证明,使用基于可学习索引模型的可学习KD树和树形结构KD树的混合索引,综合了两者在最近邻查找中的优点,实现了查找效率和查找精度的平衡,满足了多种条件下的查找需求。