期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
双元双模态下二次门控融合的多模态情感分析
1
作者 刘青文 买日旦·吾守尔 古兰拜尔·吐尔洪 《计算机工程与应用》 CSCD 北大核心 2024年第8期165-172,共8页
为了平衡情感信息在不同模态中分布的不均匀性,获得更深层次的多模态情感表征,提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态,文本、语音模态分别融合,充分考虑文本模态在三个模态中的优势地位。同时为... 为了平衡情感信息在不同模态中分布的不均匀性,获得更深层次的多模态情感表征,提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态,文本、语音模态分别融合,充分考虑文本模态在三个模态中的优势地位。同时为了获得更深层次的多模态交互信息,使用二次融合。在第一次融合中,使用融合门决定向主模态添加多少补充模态的知识,得到两个双模态混合知识矩阵。在第二次融合中,考虑到两个双模态混合知识矩阵中存在冗余、重复的信息,使用选择门从中选择有效、精简的情感信息作为双模态融合后的知识。在公开数据集CMU-MOSEI上,情感二分类的准确率和F1值分别达到了86.2%、86.1%,表现出良好的健壮性和先进性。 展开更多
关键词 模态情感分析 双元双模态 二次融合 门控注意力机制
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部