应用现代化教育技术,创设多感觉融合情境

培智课堂教学活动中,应用计算机技术、数字音像技术、多媒体和网络技术、虚拟仿真技术等现代教育技术创设多感官体验情境、高仿真主题情境、综合化认知情境等多感觉融合情境,可有效促进智障学生认知活动与情感体验的同步发展、协调提高,为其"兴趣激发、观察感受、思维训练、情感体验、技能训练"等创造条件、搭建平台、提供保障。

4~5岁儿童静态平衡中的感觉融合特征研究

目的分析4~5岁学龄前儿童维持静态平衡时的感觉融合特征,为促进儿童的动作发展提供依据。方法2021年3月22—31日采用随机数字法在苏州市某公办幼儿园抽取128名学龄前儿童,将可穿戴传感器佩戴在质心(COM)位置进行4项测试:T1睁眼双脚站立、T2闭眼双脚站立、T3海绵垫上睁眼站立、T4海绵垫上闭眼站立。提取COM晃动的角速度模值(ω)计算Romberg商(RQ)、前庭Romberg商(VRQ),以及融合不同感觉时身体稳定性增加比率,分析视觉、本体觉与前庭觉对静态平衡的贡献权重、感觉融合特征,通过独立样本t检验展现性别差异、半岁龄差异。结果RQ为1.20、VRQ为1.58,视觉、本体觉、前庭觉对身体平衡贡献比例约为9.28%、28.19%、62.53%。前庭觉正常,融合视觉与融合本体觉时身体稳定性增加比率的差异具有统计学意义(P<0.001,Cohen's d=-1.14);前庭觉、视觉正常时融合本体觉与前庭觉、本体觉正常时融合视觉身体稳定性增加比率的差异具有统计学意义(P<0.001,Cohen's d=2.30);前庭觉融合视觉、前庭觉融合本体觉之和,与前庭觉同时融合视觉与本体觉身体稳定性增加比率的差异具有统计学意义(P<0.001,Cohen's d=-0.86)。不同性别与年龄组间RQ、VRQ、融合不同感觉时身体稳定性增加比率差异无统计学意义(P>0.05)。结论4~5岁学龄前儿童维持静态平衡时,前庭觉融合本体觉对身体稳定性的贡献大于前庭觉融合视觉,前庭觉与视觉融合本体觉对身体稳定性的贡献大于前庭觉与本体觉融合视觉;男女童、半岁龄儿童之间感觉融合特征基本相同。

基于Bayes方法的多感觉信息融合算法及其应用

人类通过手对目标物的掂量和触摸 ,可以估计其重量与导热性等 ,进而推断目标物可能属于哪一类 .同样 ,利用机器人的力觉和热觉 ,可以实现有限样本内目标物的分类问题 .本文分析了Bayes方法及其在信息融合中的应用 ,并将其推广到机器人中解决多传感器的信息融合问题 .文中以实例形式说明 ,如何将机器人的力觉信息与热觉信息融合进行多目标的分类 。

视障儿童触视觉融合认知图形设计研究

目的针对视障儿童群体认知渠道受限、感觉通道缺失导致的图形图像认知困难的问题,设计帮助他们加深理解对象,提高认知水平,增加学习趣味的辅助认知图形工具。方法通过融合多种感觉信息的方法提高触摸图形的信息量,基于盲人的V-T-M图像认知模式,采用结构化问卷调查、结构化设计流程,对小学教材中的主要内容对象进行触视觉融合图形设计,并采用CAT同感评估技术评估设计效果。结果设计了适用于小学视障儿童学习使用的视觉与触觉融合系列图形,显著改善了视障儿童对课文对象的认知清晰度,同时增加了他们的理解程度、想象力、学习兴趣和美感体验。结论基于触视觉融合的图形设计在一定程度上满足了视障儿童的图形认知需求,明显改善了视障儿童对课堂学习内容的认知效果。

基于力跟踪的上肢康复机器人系统中视觉与触觉反馈融合技术研究

目的针对现有上肢康复训练系统提供视觉和触觉反馈无法关联的问题,本文以自主研发的末端牵引式上肢康复机器人为基础,研究基于力跟踪的视觉与触觉反馈融合技术及其对于上肢训练的效果。方法在虚拟环境中构建力学模型的基础上,本文设计两种与视觉反馈融合的触觉反馈,分别为两物体间靠近时的排斥力以及物体在介质平面移动时的摩擦力,进而采用基于力跟踪的机器人控制算法将虚拟环境中构建的力反馈通过操纵杆传递给用户。招募8例健康受试者,分别在有无反馈融合模式下进行对照训练。在训练过程中采集受试者与系统的实际和期望力反馈,以及三角肌前束、三角肌后束、肱二头肌和肱三头肌的表面肌电信号。计算有反馈融合模式下期望与实际力反馈之间的均方根误差,用于表征基于力跟踪的多感觉反馈融合效果。计算两种模式下的肌电积分值(i EMG)和单位时间内肌电幅值(EMG/T)以探究融合反馈技术对上肢运动训练的影响。结果在有反馈融合模式下,实际与期望交互力反馈的均方根误差为(0.757±0.171) N;肱二头肌、肱三头肌、三角肌前束和后束的i EMG均显著大于无反馈融合模式下(|t|> 7.965, P <0.001);前三块肌肉的EMG/T显著大于无反馈融合模式下(|t|> 6.363, P <0.001)。结论设计的上肢康复机器人训练系统可以精确地将虚拟环境中构建的力反馈传递给用户,通过视觉与触觉融合增加机器人系统对于训练者外周神经功能的刺激,促使训练者付出更多的努力。基于力跟踪的视觉与触觉反馈融合技术的优势在于可以在虚拟环境中自由构建力学模型,力反馈模式不受空间位置的限制,且可以在同一位置叠加两种以上的力学模型,从而使力反馈效果与虚拟环境中的视觉反馈更加匹配,激发训练者的运动康复兴趣,增强人机交互体验感。

多通道人机交互中感觉刺激的模拟方法研究综述

目的 对多通道人机交互中感觉刺激模拟方法的研究现状进行梳理,总结现有研究中的相关技术原理与方法,为后续的相关研究和实践提供参考。方法 利用文献调研和典型案例分析方法,梳理了触觉、嗅觉及味觉三种单通道感觉刺激模拟的相关技术;概述了多通道感觉刺激融合的认知学理论,并以视听触融合、视听嗅融合为例,总结了多通道感觉刺激融合的具体实现方法;介绍了多通道感觉刺激融合在医疗康复、虚拟购物、智能教育等典型场景中的应用。结论 多通道人机交互中感觉刺激的模拟方法研究有望支持低负荷、高效率的新型人机交互方式,甚至带来超越真实的交互体验,具备广泛的应用潜力。