多模态反馈数据在线教学和项目导入式混合教学模式设计——以程序设计语言为例

作为一门重要的计算机公共基础课程,程序设计语言俨然成了教学改革的热点。但在如何获取学生在线反馈学习效果信息方面的研究较少。因此,文章从解决学生的学习困难出发,提出了“多模态反馈数据在线MOOC + 项目导入式”混合教学模式设计。该学习模式是以社会建构主义理论为基础,一方面利用学生观看视频时的面部表情图像和弹幕文字构成的多模态数据,使用深度学习算法计算出对应时间段学生对课程的感兴趣度和掌握程度等信息,及时呈现给教师,让老师可以做到因材施教,提高整体的教学效果。另一方面课堂采用项目导入式法通过完成一个个项目获取的成就感提高学生的学习兴趣,达到提升学生的整体学习效果的最终目的。

脑机接口联合多模态感知反馈训练对脑卒中后上肢功能恢复的探索性研究

目的:探究基于运动想象的脑机接口技术联合多模态感知反馈训练对脑卒中后严重偏瘫患者上肢运动功能恢复的临床可行性及有效性。方法:本研究纳入在院康复脑卒中慢性期患者12例,在常规康复训练基础上,增加基于运动想象的脑机接口联合多模态感知反馈训练。在干预前后评估患者的上肢运动功能及日常生活活动能力,包括简化Fugl-Meyer量表上肢部分(FMA-UE)、腕关节主动活动度、手臂动作调查测试(action research arm test,ARAT)和Barthel指数(Barthel index,BI)。同时测量每位患者干预前后双侧M1区的运动诱发电位(motor evoked potentials,MEP),探讨脑机接口训练对脑重塑的影响。结果:所有患者均完成了治疗和评估,其中,FMA-UE及ARAT评分较干预前显著改善(P<0.05),FMA-UE从基线的(13.50±8.20)分提高到(15.92±9.28)分,ARAT评分从基线的(3.08±5.96)分提高到(4.75±7.52)分;所有患者在干预前均不能主动伸展腕关节,2例受试者有小范围的主动屈腕,而在干预后,4例患者出现了较为明显的患侧腕关节自主伸展,6例患者出现显著的腕关节主动屈曲;所有患者的BI评分均未显示出显著变化。在治疗过程中未观察到不良事件。结论:基于运动想象的脑机接口联合多模态感知反馈训练或能有效改善脑卒中严重偏瘫患者的上肢运动功能恢复。

基于共享控制的人机灵巧力触觉交互系统设计与实现

人能够在复杂感知的相互协调下做出决策并完成灵巧操作。将视听觉和力触觉等不同模态相融合,可以提高操作者对虚拟场景或远程环境的感知,进而改善操作效果。如何协调人的操作和虚拟环境中目标机器人系统的自主性,则是人机交互中的一个关键问题。为此,本文基于Unity3D引擎建立了虚拟场景,并实现了omega.7力反馈平台与虚拟场景之间的通信。进而,创建了基于碰撞检测的虚拟距离传感器,实现了虚拟场景中目标机器人对周围环境的探测。然后,设计实现了人机力触觉交互共享控制算法,将人的智能决策与灵巧操作优势同目标机器人的自主算法相融合,使得目标机器人系统的控制权限可以在人手操作和机器人自主算法之间连续平滑转移。由此,实现了人与虚拟环境和目标机器人之间功能多样、场景逼真的视听觉和灵巧力触觉多模态交互,从而为医学、康复、军事、娱乐等领域中的人机交互提供了一种解决方案。