基于多模态交互网络的图像描述

在各类的图像描述方法中,多模态方法主要将视觉和文本两种模态的信息作为输入,以获得有效的多级信息。然而,其中的多数方法未考虑两种模态数据之间的关系,仅孤立地使用这两种模态的数据。为了在不同模态之间建立复杂的交互,充分利用模态之间的关系提升图像描述效果,首先,引入双向注意流模块(Bi-Directional Attention Flow,BiDAF),将自注意力机制升级为双向方式;然后,通过一个只需一个遗忘门就可以实现与长短期记忆网络(Long Short-Term Memory,LSTM)相同的功能的门控线性记忆模块(Gated Linear Memory,GLM)有效降低解码器的复杂度,并捕获多模态的交互信息;最后,将BiDAF和GLM分别应用为图像描述模型的编码器和解码器,形成多模态交互网络(Multimodal Interactive Network,MINet)。在公共数据集MS COCO上的实验结果表明,MINet与现有的多模态方法相比不仅具有更简洁的解码器、更好的图像描述效果、更高的评价分数,且无需进行预训练,图像描述更高效。

基于多层级图像表征的层次化注意力图像描述

图像描述是自然语言处理与计算机视觉中的热点研究领域。基于注意力机制与属性的图像描述方法取得了较大的成功。然而,这些方法仅处理单一的视觉特征或者图像属性进行图像描述,忽略了两者之间的内在联系。特别是在基于属性的图像描述方法中,没有考虑检测算法得到的图像属性中所混杂的噪声对图像描述产生的影响。文中提出了基于多层级图像表征的层次化注意力图像描述方法,通过提取图像的低层、中层以及高级的特征表示,在双层LSTM体系结构中利用层次化注意机制融合多层级图像表征进行图像描述。在Microsoft COCO数据集上的实验证明了本文提出的图像描述方法的有效性。

新工科背景下《数据库系统原理》教学实践探索

新工科建设背景下,高校人才培养模式的创新日趋重要。数据库系统原理作为计算机相关专业的核心课程,其传统教学模式存在诸多弊端,不利于新工科人才的培养,因此提出一种创新的教学改革方法,助力学生学好课程,提升学生的参与感与获得感。