-
题名基于注意力融合网络的方面级多模态情感分类
- 1
-
-
作者
冼广铭
招志锋
阳先平
-
机构
华南师范大学软件学院
-
出处
《计算机系统应用》
2024年第2期94-104,共11页
-
基金
国家自然科学基金(61070015)。
-
文摘
方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息,以检测文本中提及的方面词的情感倾向.现有的方法大多数只利用单一的上下文信息结合图片信息来分析,存在对方面和上下文信息、视觉信息的相关性的识别不敏感,对视觉中的方面相关信息的局部提取不够精准等问题,此外,在进行特征融合时,部分模态信息不全会导致融合效果一般.针对上述问题,本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类,利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征;利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模,实现多模态交互;同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息,表征出多模态信息,最后通过Softmax层取得情感分类的结果.在两个基准数据集上进行实验和对比,结果表明AF-Net能获得较好的性能,提升方面级多模态情感分类的效果.
-
关键词
多模态
情感分类
空间变换网络
交互网络
相似信息
注意力融合网络
-
Keywords
multimodal
sentiment classification
spatial transformation network(STN)
interaction network
similar information
attention fusion network
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
-
题名基于双编码器表示学习的多模态情感分析
- 2
-
-
作者
冼广铭
阳先平
招志锋
-
机构
华南师范大学软件学院
-
出处
《计算机系统应用》
2024年第4期13-25,共13页
-
基金
国家自然科学基金(61070015)。
-
文摘
多模态情感分析旨在通过用户上传在社交平台上的视频来判断用户的情感.目前的多模态情感分析研究主要是设计复杂的多模态融合网络来学习模态之间的一致性信息,在一定程度上能够提升模型的性能,但它们大部分都忽略了模态之间的差异性信息所起到的互补作用,从而导致情感分析出现偏差.本文提出了一个基于双编码器表示学习的多模态情感分析模型DERL(dual encoder representation learning),该模型通过双编码器结构学习模态不变表征和模态特定表征.具体来说,我们利用基于层级注意力机制的跨模态交互编码器学习所有模态的模态不变表征,获取一致性信息;利用基于自注意力机制的模态内编码器学习模态私有的模态特定表征,获取差异性信息.此外,我们设计两个门控网络单元对编码后的特征进行增强和过滤,以更好地结合模态不变和模态特定表征,最后在融合时通过缩小不同多模态表示之间的L2距离以捕获它们之间潜在的相似情感用于情感预测.在两个公开的数据集CMU-MOSI和CMU-MOSEI上的实验结果表明该模型优于一系列基线模型.
-
关键词
多模态情感分析
双编码器
层级注意力
门控网络单元
相似情感
-
Keywords
multimodal sentiment analysis
dual encoder
hierarchical attention
gate network unit
similar sentiment
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
TP391.41
[自动化与计算机技术—计算机应用技术]
TN912.3
[电子电信—通信与信息系统]
-