ConvPiece:基于二维卷积和子图采样的大型知识图谱表示学习模型

基于浅层模型的知识图谱表示学习的目标是学习图上所有的实体和关系的嵌入表示向量,然而浅层模型难以学习到更具表达力的特征。浅层模型采用的嵌入表示矩阵使得训练过程需要消耗大量的计算资源,难以在现实中的大型知识图谱上进行训练。大型知识图谱表示学习模型——ConvPiece,基于锚节点和邻居节点及关系采样策略为知识图谱上的每个节点预计算子图表示,利用二维卷积和Transformer为每个节点聚合采样子图特征得到节点的表示向量,最终输入解码器计算得分并训练。在两个大型知识图谱数据集FB15k-237和WN18RR上的链路预测实验显示,ConvPiece在只有大模型十分之一参数量的情况下分别保持着88%和92%的性能,且分别高出参考模型9%和2%。