-
题名基于复合跨模态交互网络的时序多模态情感分析
被引量:1
- 1
-
-
作者
杨力
钟俊弘
张赟
宋欣渝
-
机构
西南石油大学计算机与软件学院
-
出处
《计算机科学与探索》
CSCD
北大核心
2024年第5期1318-1327,共10页
-
基金
国家自然科学基金(61175122)
四川省科技计划项目(2022NSFSC0555)。
-
文摘
针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融合不充分、交互性弱等问题,通过研究分析不同模态之间存在的潜在关联性,搭建一种基于复合跨模态交互网络的时序多模态情感分析(CCIN-SA)模型。该模型首先使用双向门控循环单元和多头注意力机制提取具有上下文语义信息的文本、视觉和语音模态时序特征;然后,设计跨模态注意力交互层,利用辅助模态的低阶信号不断强化目标模态,使得目标模态学习到辅助模态的信息,捕获模态间的潜在适应性;再将增强后的特征输入到复合特征融合层,通过条件向量进一步捕获不同模态间的相似性,增强重要特征的关联程度,挖掘模态间更深层次的交互性;最后,利用多头注意力机制将复合跨模态强化后的特征与低阶信号做拼接融合,提高模态内部重要特征的权重,保留初始模态独有的特征信息,将得到的多模态融合特征进行最终的情感分类任务。在CMU-MOSI和CMUMOSEI数据集上进行模型评估,结果表明,CCIN-SA模型相比其他现有模型在准确率和F1指标上均有提高,能够有效挖掘不同模态间的关联性,做出更加准确的情感判断。
-
关键词
跨模态交互
注意力机制
特征融合
复合融合层
多模态情感分析
-
Keywords
cross modal interaction
attention mechanism
feature fusion
composite fusion layer
multimodal emotional analysis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名新型复合板材填补国内空白
- 2
-
-
作者
汪洋
-
出处
《工程塑料应用》
CAS
CSCD
北大核心
2004年第10期50-50,共1页
-
文摘
近日,由汕头高新区环力新型复合材料有限公司研制的“催化融合”层间复合技术制成的多种改性聚苯醚新型复合板材项目通过省级科技成果鉴定。 该新型复合材料技术处于国际领先水平,国内尚属首家。据了解,目前国内外的金属塑料复合板材主要是铝塑复合板,也有少数厂家生产钢塑复合板。
-
关键词
复合板材
复合材料
“催化融合”层间复合技术
改性聚苯醚
-
分类号
TU532.61
[建筑科学—建筑技术科学]
-
-
题名汕头一新型复合材料成果通过省级鉴定
- 3
-
-
-
出处
《广东塑料》
2004年第10期25-25,共1页
-
-
关键词
汕头高新区环力新型复合材料有限公司
金属塑料
铝塑复合板
钢塑复合板
“催化融合”层问复合工艺
-
分类号
TQ320.722
[化学工程—合成树脂塑料工业]
-