-
题名基于视听觉感知系统的多模态情感识别
被引量:3
- 1
-
-
作者
龙英潮
丁美荣
林桂锦
刘鸿业
曾碧卿
-
机构
华南师范大学软件学院
-
出处
《计算机系统应用》
2021年第12期218-225,共8页
-
基金
国家自然科学基金(61876067)
广东省普通高校人工智能重点领域专项(2019KZDZX1033)
广东省信息物理融合系统重点实验室建设专项(2020B1212060069)。
-
文摘
情绪识别作为人机交互的热门领域,其技术已经被应用于医学、教育、安全驾驶、电子商务等领域.情绪主要由面部表情、声音、话语等进行表达,不同情绪表达时的面部肌肉、语气、语调等特征也不相同,使用单一模态特征确定的情绪的不准确性偏高,考虑到情绪表达主要通过视觉和听觉进行感知,本文提出了一种基于视听觉感知系统的多模态表情识别算法,分别从语音和图像模态出发,提取两种模态的情感特征,并设计多个分类器为单特征进行情绪分类实验,得到多个基于单特征的表情识别模型.在语音和图像的多模态实验中,提出了晚期融合策略进行特征融合,考虑到不同模型间的弱依赖性,采用加权投票法进行模型融合,得到基于多个单特征模型的融合表情识别模型.本文使用AFEW数据集进行实验,通过对比融合表情识别模型与单特征的表情识别模型的识别结果,验证了基于视听觉感知系统的多模态情感识别效果要优于基于单模态的识别效果.
-
关键词
情感识别
模型融合
多模态
视听觉感知系统
-
Keywords
emotion recognition
model fusion
multimodal
audiovisual perception system
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
TP391.41
[自动化与计算机技术—计算机应用技术]
TN912.3
[电子电信—通信与信息系统]
-