基于相关熵诱导度量的近端策略优化算法

在深度强化学习算法中,近端策略优化算法PPO(Proximal Policy Optimization)在许多实验任务中表现优异,但具有自适应KL(Kullback-Leibler)散度的KL-PPO由于其不对称性而影响了KL-PPO策略更新效率,为此,提出了一种基于相关熵诱导度量的近端策略优化算法CIM-PPO(Correntropy Induced Metric-PPO)。该算法具有对称性更适合表征新旧策略的差异,能准确地进行策略更新,进而改善不对称性带来的影响。通过OpenAI gym实验测试表明,相比于主流近端策略优化算法Clip-PPO和KL-PPO算法均能获得高于50%以上的奖励,收敛速度在不同环境均有500~1 100回合左右的加快,同时也具有良好的鲁棒性。

稀疏偏差补偿最小平均对数算法

针对最小平均对数(LMLS)算法在输入信号受噪声干扰的环境下进行稀疏系统辨识时存在精度低的问题,提出了一种稀疏偏差补偿LMLS算法.利用无偏准则推导偏差补偿项来修正输入噪声带来的偏差,构建偏差补偿LMLS.借助系统稀疏特性的先验知识,采用互相关熵诱导维度作为稀疏惩罚约束条件,优化偏差补偿LMLS算法.仿真结果表明,所提算法对于含噪输入信号下的稀疏系统参数辨识具有高稳态精度.

基于改进共空间模式与视觉反馈的闭环脑机接口

为提高脑卒中等神经损伤患者在下肢康复训练过程中的主动参与度,设计了基于人体下肢运动想象与视觉反馈的在线闭环脑机接口,并建立了基于互相关熵诱导度量与子频带分析的改进共空间模式算法,提高人体下肢运动意图的识别率。针对运动想象脑电信号信噪比低和难以精确识别等问题,在传统共空间模式算法基础上,利用互相关熵诱导度量准则改进其目标函数,实现了目标函数中距离项属性的动态调整,降低对噪声的敏感性,提高算法鲁棒性;利用脑电信号不同频段蕴含信息不同的特点,使用9个子频带滤波器对信号进行滤波,对每个子频带信号分别提取特征,并进行特征融合,建立基于互相关熵诱导度量与子频带分析的改进共空间模式算法。其次,基于人体下肢运动想象的脑控试验范式,收集下肢运动想象(空想、脚动和腿动)的脑电数据,采用支持向量机(SVM)建立分类模型,优化设计模型参数。在上述研究基础上,建立了以改进共空间模式为特征提取算法,SVM为分类器的脑机接口。进而,在被试执行运动想象的同时,通过虚拟现实场景中虚拟人物的肢体动作给予用户视觉反馈,构建了闭环的脑机交互系统。通过试验验证了改进共空间模式算法的有效性和闭环脑机接口的可行性,初步实现了闭环脑机交互接口。