引入图像信息的多模态复述生成模型

在商品描述、新闻评论等多模态场景下,已有复述生成模型只能围绕文本信息生成复述。为了解决其因无法利用图像信息而导致的语义丢失问题,提出多模态复述生成模型(multi-modalityparaphrasegeneration model,MPG)来引入图像信息,并用其生成复述。在MPG中,为了引入与原句对应的图像信息,首先根据原句构建抽象场景图,并将与原句相关联的图像区域特征转换为场景图的结点特征。进一步地,为了利用构建好的场景图来生成语义一致的复述句,使用关系图卷积神经网络和基于图的注意力机制对图结点特征进行编码和解码。在评测阶段,提出句对相似度计算方法,从MSCOCO数据集中筛选出描述图像中相同物体的句对,并将其作为复述测试集进行评测。实验结果显示,所提出的MPG模型生成的复述拥有更好的语义忠实度,表明在多模态场景下图像信息的引入对提高复述生成质量的有效性。