基于多模态生物电信号的游戏控制系统

脑机接口游戏系统中,信号的实时性和准确性直接影响着游戏体验,多种生物电信号联合控制能有效增强游戏体验。本文设计了舒尔特方格范式,实现对不同注意类型脑电数据采集的同时自动将注意力区分高中低三种水平。采用长短期记忆网络保存原始脑电信号的时序特征进行分类,提高识别准确率。最后构建完整的脑机接口游戏系统,将注意力分级信号融入眼电、肌电中。采用Emotiv Epoc+脑电仪完成生物电信号的采集,分别设计并实现服务器端数据处理平台、用户数据报传输协议和拳皇游戏客户端,完成信号的处理、转换以及传输,最终控制游戏。实验表明,被试者在多模态实时游戏系统中操作流畅,可以通过多模态信号实时控制游戏人物。