多模态脑机接口及其在军事领域中的应用

脑机接口(brain-computer interface,BCI)能够实现大脑和外部设备间的直接通信,而多模态脑机接口(multi-modal brain-computer interface,MM-BCI)克服单一脑机设备的传统缺陷,是将不同脑机设备整合为一体的新方法。本文简述BCI及MM-BCI,进而从创伤修复、认知能力增强、武器装备、军事心理训练4个方面归纳BCI和MM-BCI在军事领域的实际应用,分析该技术在军事领域中存在的优势和不足,并对未来技术发展方向提出展望。

结合稳态视觉诱发电位的多模态脑机接口研究进展

脑机接口(BCI)能够在大脑与外部环境之间建立一种不依赖于外周神经或肌肉的交流与控制通道,有助于恢复运动障碍者的生活自理能力,是当前神经工程领域最活跃的研究方向之一。其中,稳态视觉诱发电位(SSVEP)脑机接口因信息传输率(ITR)高、所需训练少而备受关注。现有的无创高通讯速率脑机接口系统主要是来自于或基于SSVEP。近年来,为进一步提高脑机接口性能,整合SSVEP与其他类型输入信号的多模态脑机接口逐渐成为脑机接口研究的新趋势。从输入信号类型、实验范式和信号融合等方面,综述结合SSVEP的多模态脑机接口研究进展,帮助相关研究者理解该领域研究动态,以启发高通讯速率脑机接口系统的设计与实现。同时探讨目前结合SSVEP的多模态脑机接口存在的问题和未来可能的发展趋势,以期推动结合SSVEP的多模态脑机接口技术的发展。

基于EEG和fNIRS的多模态脑机接口运动想象参数研究

脑机接口技术可实现利用大脑信息控制外围设备,可应用于医疗、军事、娱乐等方面。目前大多数脑机接口研究都是基于EEG开展的,虽然EEG有很好的时间分辨率,但空间分辨率较低。fNIRS的出现在一定程度上弥补了EEG空间分辨率过低的缺陷。文章采用EEG和fNIRS联合测量的多模态脑机接口技术,采用运动想象作为研究范式,对运动想象的力和速度参数进行研究,以获得更多的运动想象的细节指令。同时,对基于运动想象参数细节指令的机器人多层控制结构接口进行研究,构建脑控机器人演示系统。

基于可穿戴式多模态人机接口的机械臂运动控制方法

现有的人机接口系统存在指令较少、操作困难、任务能力受限等问题,无法有效拓展到机械臂的多维运动控制。本文提出了一种基于可穿戴式多模态人机接口的机械臂运动控制方法。该方法结合用户的眼电、头部姿态和语音等多模态信号,将其转换成控制指令,从而实现对机械臂在任意角度下的2维和3维连续运动控制。由10名受试者完成了指令输出、2维目标跟踪、字母书写和3维物体抓取等测试。结果显示,系统利用眨眼动作生成指令的平均准确率为96.67%,平均响应时间为1.51 s,平均信息传输率为142.53 bit/min,平均误报率为0.05次/分钟。此外,系统在2维平面沿2条不同路线跟踪目标的均方根偏差分别为0.12和0.14(归一化),抓取3维物体时的平均轨迹效率为92.65%,系统的控制效果与手动控制效果相当。实验结果验证了利用该多模态人机接口实现机械臂高效运动控制的可行性以及它在上肢运动功能辅助方面的应用潜力。

情感脑机接口研究综述

情感智能研究的一个重要目标是让机器对人的情绪进行实时、准确的判别,并在此基础上进行更加自然、友好的人机交互。情感脑机接口是一种对人的情绪进行识别和(或)调控的脑机接口,是目前实现情感智能的主要途径。阐述了情感脑机接口的基本概念、工作原理、研究现状、代表性应用和发展趋势,探讨了情感脑机接口在通用人工智能发展过程中所能发挥的作用以及情感脑机接口研究面临的挑战。

中国多媒体技术研究:2004

该文是中国多媒体技术研究与应用的年度文献综述之七,其是在查阅了2004年9种核心刊物的2 926篇文章的基础上,从中选取了363篇多媒体技术相关的文章进行了分类、统计,以展现出2004年中国多媒体技术发展的现状。同时,通过对比前4年的统计结果可以看到,数字水印、虚拟现实、多模态接口、多媒体信息检索、服务质量保证、计算机支持的协同工作、地理信息系统和数字地球等这些国际热门技术在国内也受到了高度的重视。该文还对5年来中国多媒体技术文献统计结果做了比较,从中可清楚地看到多媒体技术,尤其是热点技术的发展过程和发展趋势。该文不仅给从事多媒体技术研究与应用的人员提供了一个很好的文献资料的索引,也给论文作者和刊物编辑一个好的参考。

中国多媒体技术研究:2006

该文是中国多媒体技术研究与应用的年度文献综述之九。该文从刊登在2006年9种核心刊物上的2 956篇论文中,选取了607篇多媒体技术相关的文章进行了分类、统计。考虑到多媒体技术发展所呈现出来的新特点,今年的分类方案相对以往年份有较大改动,以更好展现中国多媒体技术发展的现状和有助于准确预测其未来发展趋势。同时,通过对比前4年的统计结果可以看到,编码、数字水印、虚拟现实、超媒体、QoS、CSCW、P2P、多模态接口、普适计算环境、地理信息系统、数字地球和医学应用等这些热点技术持续受到高度的重视,另外,还统计比较分析了一些热点技术的发展过程和发展趋势。希望该文不仅能给从事多媒体技术研究与应用的人员提供系统的文献索引,也能为技术规划和管理人员提供参考。

中国多媒体技术研究:2005

该文是中国多媒体技术研究与应用的年度文献综述之八。该文通过查阅2005年9种核心刊物的3097篇文章,从中选取了410篇与多媒体技术相关的文章,并进行了分类、统计,以展现出2005年中国多媒体技术发展的现状。同时,通过前四年统计结果的对比可以看到,数字水印、虚拟现实、多模态接口、普适计算环境、多媒体信息检索、服务质量保证、计算机支持的协同工作、地理信息系统和数字地球等这些国际上的多媒体热点研究课题在中国也受到了高度的重视。该文还对5年来多媒体技术文献统计结果做了比较,从中可清楚地看到多媒体技术,尤其是该领域热点技术的发展过程和发展趋势。希望该文不仅能给从事多媒体技术研究与应用的人员提供一个系统的文献资料索引,也能为探索研究方向提供参考。

基于低秩权重分解的EEG-fNIRS特征融合方法

针对脑机接口存在的分类精度低、系统稳定性较差等问题,提出了一种基于低秩权重分解的EEG-fNIRS特征融合方法。该方法使用卷积神经网络对EEG和fNIRS信号进行特征提取,然后使用低秩权重分解算法进行特征融合,最后将融合得到的特征用于多模态脑机接口的模式分类任务。该方法在心算和运动想象两项分类任务上的准确率分别为91.3%和75.4%,与提供数据集的原文相比,提高了3.2%和1.2%。实验结果表明,所提方法能够有效融合两个模态的信息,增强特征的表达能力,进而提高模式分类的准确率。

基于多模态情感脑机接口的抑郁症客观评估与调控治疗

本文探讨多模态情感脑机接口在抑郁症客观评估和难治性抑郁症脑深部电刺激治疗中的应用。在抑郁症客观评估方面,首先将传统的量表转化成情感交互试验。基于多模态情感脑机接口,同步采集脑电和眼动等多模态数据。通过多模态深度学习和迁移学习等深度学习技术,构建可精确区分抑郁状态的客观评估系统。在难治性抑郁症脑深部电刺激神经调控治疗方面,基于多模态情感脑机接口和强化学习算法,实现脑深部电刺激刺激参数的自动调节和个性化,提升难治性抑郁症治疗的效果。

四轴无人机飞行控制的多模态脑机接口技术

提出一种面向四轴无人机飞行控制的多模态脑机接口系统,利用有限状态机将自发的脑电图信号转化为命令,以控制四轴无人机在空间飞行。首先,针对传统固定窗口对有效信号割裂的问题,通过滑动窗口计算脑电图O2通道信号的方差来确定睁闭眼状态,并利用脑电图Fp2通道中的眼电伪迹快速计算眨眼次数,以此识别用户是否正在刻意眨眼,避免了用户自然眨眼对系统的影响,同时保证了系统的舒适度。然后,为了解决控制命令与必要飞行模式数量不相等的问题,设计有限状态机实现只通过两种不同类型的脑电信号对四轴无人机起飞、降落、悬停、旋转和前进等多种飞行模式的控制。最后,确立试验范式并开展相关试验,结果表明飞行任务的成功率达到91%,证明了该脑机接口系统对四轴无人机控制的有效性和可靠性。

Smart Human Computer Interface with EMG and Vision Based on Multi-modal Information Fusion

A smart Human Interface （HCI） replacing conventional mouse interface is proposed. The interface is able to control and command action with only hand. Four finger motions （left click, right dick, hold, drag） are used to command the interface. Also the authors materialiae cursor movement control using image processing The measure what they use for inference is entropy of Electromyogram （EMG） signal, Gaussian modeling and likelihood estimation. In image processing for cursor control, they use color recognition to get the center point of finger tip from marker, and map the point onto cursor. Accuracy of finger movement inference is over 95% and cursor control works naturally without delay. They materlalize whole system to check its performance and utility.