跨模态情感计算在混合式学习中的应用

在高校混合式学习模式下,线上自主探究结合线下协作学习能够收集到学习过程数据。这些数据对于分析学习者的情感状态具有重要意义,而情感状态往往是影响学习表现和结果的关键因素。情感计算基于人工智能技术,通过阿里云提供的物联网(IoT)平台,将传感器设备收集到的学习者大数据通过AMQP协议传输到服务器,再调用阿里云提供的第三方接口实现硬件大数据收集,如心电图、脑电图等,以获取学习者的生理情感状态,包括体温、身体动作、语言、心率以及个性特征等情感大数据。卷积神经网络(CNNs)适用于视觉图像识别,能够获取、分析和计算学习者面部表情情绪数据,并针对采集的文本、图像、语音及视频等学习大数据,提供跨模态情感数据融合方法。