基于骨骼关键点的室外群体情绪识别

本文提出了一种基于骨骼关键点的室外群体情绪识别方法。首先,通过YOLOPose算法对群体中每个人进行跟踪检测和姿态估计;其次,通过姿态估计得到骨架信息,并通过骨架信息计算每个人的情绪特征;最后,将骨架信息和情绪特征输入到建立的双分支姿态情绪识别模型(D-ConvLSTM)中,提取并融合2个分支的多层次时空特征,从而根据融合后的双分支特征进行情绪分类,得到群体中每个人的情绪识别结果。实验结果表明,所提方法具有较高的室外群体情绪识别精度。

基于多流CNN-LSTM网络的群体情绪识别

针对群体情绪识别准确率的问题,结合卷积神经网络(CNN)与长短期记忆网络(LSTM),提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习。最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果。实验结果表明,模型可有效地识别四种典型的群体情绪,且识别率高于已有算法,准确度(ACC)和宏平均精度(MAP)分别最高可达82. 6%、84. 1%。

基于注意力机制和混合网络的小群体情绪识别

针对自然状态下小群体图像的情绪分类,提出基于面部、场景和骨架3种视觉线索的混合深度网络,分别利用3类卷积神经网络(convolutional neural networks,CNN)分支独立学习,通过决策融合获得最终的情绪分类。其中面部CNN通过注意力机制学习不同人脸的权重,获得整张图片关于人脸的特征表示,利用large-margin softmax(L-softmax)损失函数进行判别性学习;使用先进的姿势估计方法OpenPose获得图像中所有人体骨架,作为基于骨架卷积神经网络的输入。考虑图片的场景信息,将整张图片作为基于场景CNN的输入。实验结果表明,改进模型对自然状态下3种类型的小群体情绪识别鲁棒,取得了较高的准确率。

基于图像的群体情绪识别综述

近年来,基于图像的群体情绪识别受到了广泛关注,其旨在准确判断不同场景不同数量人群下群体的整体情绪状态。由于群体情绪识别涉及图像中人脸情绪特征、场景特征、人体姿态特征等多种群体情绪线索的分析和融合,使得该领域十分具有挑战性。现阶段该领域缺少相关综述性的文章对现有的研究进行整理,从而更好地进行下一步的研究。本文对该领域内不同情绪线索和不同处理方式的群体情绪识别模型进行细致梳理和分类;同时回顾并分析现有模型的处理方法和特点,整理不同融合方式的模型以及该领域的主流数据库;最后,针对该领域的发展进行简要总结和展望。