-
题名基于文本和图像门控融合机制的多模态方面级情感分析
- 1
-
-
作者
张添植
周刚
刘洪波
刘铄
陈静
-
机构
战略支援部队信息工程大学
数学工程与先进计算国家重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2024年第9期242-249,共8页
-
基金
河南省科技攻关项目(222102210081)。
-
文摘
多模态方面级情感分析是多模态情感分析领域的一项新兴任务,旨在对给定的方面实体在文本和图像中所体现的情感进行识别。尽管多模态方面级情感分析研究近年来取得了突破性的进展,但是现有的模型在多模态特征融合阶段大都仅采用简单的拼接方法,而没有考虑图像中是否存在与文本语义不相关的信息,这在一定程度上可能会为模型引入额外的噪声。为了解决上述问题,提出了一种基于文本和图像门控融合机制的多模态方面级情感分析模型(TIGFM)。该模型在文本和图像进行交互的同时引入了从数据集图像中提取的形容词-名词对(ANPs),并将其中形容词的加权作为图像辅助信息;此外,在特征融合阶段,通过构建一种动态控制图像和图像辅助信息输入的门控机制实现多模态特征融合。实验结果表明,TIGFM模型在两个基于Twitter的数据集上取得了具有竞争力的结果,进而验证了所提方法的有效性。
-
关键词
多模态方面级情感分析
门控融合机制
形容词-名词对
图像辅助信息
语义相关性
-
Keywords
Multimodal aspect-based sentiment analysis
Gated fusion mechanism
Adjective-noun pairs
Image auxiliary information
Semantic relevance
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-