为解决多模态命名实体识别(Multimodal named entity recognition,MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题,提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semantic enhancement f...为解决多模态命名实体识别(Multimodal named entity recognition,MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题,提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semantic enhancement for multimodal named entity recognition method,MSVSE).该方法提取多种视觉特征用于补全图像语义,挖掘文本特征与多种视觉特征间的语义交互关系,生成多尺度视觉语义特征并进行融合,得到多尺度视觉语义增强的多模态文本表示;使用视觉实体分类器对多尺度视觉语义特征解码,实现视觉特征的语义一致性约束;调用多任务标签解码器挖掘多模态文本表示和文本特征的细粒度语义,通过联合解码解决语义偏差问题,从而进一步提高命名实体识别准确度.为验证该方法的有效性,在Twitter-2015和Twitter-2017数据集上进行实验,并与其他10种方法进行对比,该方法的平均F1值得到提升.展开更多
为解决知识图谱推荐方法中存在的忽略用户个人信息,或将用户和项目采用相同注意力机制,致使用户和项目的潜在语义表达不充分的问题,提出了一种知识增强的双注意力机制推荐方法。采用交叉压缩融合单元获取用户个人信息和交互历史的潜在特...为解决知识图谱推荐方法中存在的忽略用户个人信息,或将用户和项目采用相同注意力机制,致使用户和项目的潜在语义表达不充分的问题,提出了一种知识增强的双注意力机制推荐方法。采用交叉压缩融合单元获取用户个人信息和交互历史的潜在特征,以增强用户特征表示;使用不同注意力机制关注用户和项目的重要邻居,以增强知识图谱中的结构信息和语义信息表示。为了验证方法的有效性,在MovieLens-1M、MovieLens-20M、Book-Crossing和Last. FM这4个数据集上进行实验,并与RippletNet、KGAT、CKAN等6种方法进行对比分析。结果表明,本文方法与RippletNet、KGCN、LKGR等方法相比,受试者工作特征曲线下面积(area under the receiver operator characteristic curve,AUC)性能平均提升了5.34%。展开更多
文摘为解决多模态命名实体识别(Multimodal named entity recognition,MNER)方法研究中存在的图像特征语义缺失和多模态表示语义约束较弱等问题,提出多尺度视觉语义增强的多模态命名实体识别方法(Multi-scale visual semantic enhancement for multimodal named entity recognition method,MSVSE).该方法提取多种视觉特征用于补全图像语义,挖掘文本特征与多种视觉特征间的语义交互关系,生成多尺度视觉语义特征并进行融合,得到多尺度视觉语义增强的多模态文本表示;使用视觉实体分类器对多尺度视觉语义特征解码,实现视觉特征的语义一致性约束;调用多任务标签解码器挖掘多模态文本表示和文本特征的细粒度语义,通过联合解码解决语义偏差问题,从而进一步提高命名实体识别准确度.为验证该方法的有效性,在Twitter-2015和Twitter-2017数据集上进行实验,并与其他10种方法进行对比,该方法的平均F1值得到提升.
文摘为解决知识图谱推荐方法中存在的忽略用户个人信息,或将用户和项目采用相同注意力机制,致使用户和项目的潜在语义表达不充分的问题,提出了一种知识增强的双注意力机制推荐方法。采用交叉压缩融合单元获取用户个人信息和交互历史的潜在特征,以增强用户特征表示;使用不同注意力机制关注用户和项目的重要邻居,以增强知识图谱中的结构信息和语义信息表示。为了验证方法的有效性,在MovieLens-1M、MovieLens-20M、Book-Crossing和Last. FM这4个数据集上进行实验,并与RippletNet、KGAT、CKAN等6种方法进行对比分析。结果表明,本文方法与RippletNet、KGCN、LKGR等方法相比,受试者工作特征曲线下面积(area under the receiver operator characteristic curve,AUC)性能平均提升了5.34%。