多模态命名实体识别方法研究进展

为了解决多模态命名实体识别(MNER)研究中存在的文本特征语义不足、视觉特征语义缺失、图文特征融合困难等问题,多模态命名实体识别方法相继被提出。首先,总结了多模态命名实体识别方法的整体框架以及各部分常用的技术,随后对其进行梳理并分类为基于BiLSTM的MNER方法和基于Transformer的MNER方法,并根据模型结构将其划分为前融合模型、后融合模型、Transformer单任务模型、Transformer多任务模型等4类模型结构。其次,在Twitter-2015、Twitter-2017 2个数据集上,分别对这2类方法进行实验,结果表明:多特征协同表示能增强各模态特征的语义,多任务学习能够促进模态特征融合或者结果融合,从而提升MNER的准确性。建议在MNER的未来研究中,着重关注通过多特征协同表示来增强模态语义,通过多任务学习促进模态特征融合或结果融合等方向的研究。

图谱嵌入传播的推荐方法

根据知识图谱(KG)丰富用户和项目信息的侧重不同,现有的图谱嵌入传播的推荐方法可归纳为用户嵌入传播、项目嵌入传播和混合嵌入传播这3类。用户嵌入传播方法侧重使用用户交互的项目和KG学习用户表示;项目嵌入传播方法使用KG中的实体表征项目;而混合嵌入传播方法融合了用户-项目交互信息和KG,以弥补前两类方法存在的信息利用不充分的不足。为深入对比3类方法的技术特点,重点剖析图谱嵌入传播的推荐方法中的图谱构建、嵌入传播和预测这3个核心任务的关键技术;同时,在MovieLens、Booking-Crossing和Last.FM通用数据集上复现每类方法中的主流模型,通过使用点击率(CTR)指标对比分析上述方法的效果。分析实验结果可知,混合嵌入传播方法的推荐性能最优,它综合了用户和项目嵌入传播方法的优势,利用交互信息和KG增强用户和项目表示;此外,对比分析每类方法,阐述各自的优缺点并展望未来的研究工作。