如何开展“虚实融合+多模态感知交互”的智能实验?——以中学化学智能实验为例

现代信息技术的进步推动了虚拟仿真实验的发展,然而当前的虚拟仿真实验普遍缺乏实际操作感,且交互方式相对单一,不仅影响了学生的实验体验,而且不利于培养学生的动手能力。为此,文章首先参考虚实融合、多模态感知交互的相关研究成果,构建了“虚实融合+多模态感知交互”的智能实验模型,并设计了智能实验系统和流程以从技术上实现此模型。之后,为验证此模型的有效性,文章以钠与水的反应为实验内容,开展了“虚实融合+多模态感知交互”的中学化学智能实验。在此实验中,文章开发了中学化学智能实验原型系统,并通过对比实验比较了实验效果,结果发现:在相同的实验操作时间段内,无论是实验任务完成质量还是完成效率,使用原型系统的智能实验都优于使用NOBOOK在线仿真实验教学平台的仿真实验,参加智能实验的学生脑力负荷更小且更好地掌握了知识与操作技能。文章的研究可为虚实融合和多模态感知交互在智能实验教学中的融合应用提供理论指导,并可为人工智能赋能实验教学创新研究提供实践参考。

基于自然手势跟踪的直接操作型三维人机交互范式

针对自然手势单通道条件下建立统一交互模型的难点问题和关键问题,该文提出一种基于二级行为模型的3D手势跟踪和交互方法,实现了一种基于自然手势的直接操作型3D人机交互界面范式原型系统.首先,建立了二级行为模型,然后,以行为模型为基础,设计并实现了一种基于行为模型的三维人机交互界面范式.文中主要创新点在于:建立了基本手势库的二级行为模型;用"令牌环"技术捕捉用户的交互意图;建立"多选一"的交互模型;用"替身"技术解决人手模型与不同物体的抓取过程中的多样性和复杂性问题,建立了抓取和释放操作的统一范式并提出了相关算法.文中算法在多个交互型虚拟装配平台上得到了验证.实验结果表明,与现有相关算法相比较,文中算法在时间开销和跟踪精度等方面得到了明显改善.

基于特征点分布分析的手势特征检测方法

为提高对手势特征点检测的精度和速度,提出一种快速、准确的复杂背景下手势特征检测方法。利用基于肤色亮度的手势分割方法将手势提取出来,获得手势轮廓,针对不同手型,利用改进的曲率算法对轮廓点进行初步筛选,通过对候选点区域内分布特点的分析,最终确定特征点位置。进一步提出了新的特征点分离算法。与已有算法相比,该算法提出基于亮度分布的肤色模型,增强了手势分割的鲁棒性;引入了手型分析尺度和特征点分布分析,对手势特征位置由粗到精进行检测,改善了算法的精度和时间开销。实验表明,该方法在复杂背景下对手势特征的检测有较高的准确率和实时性,有效地减少了传统曲率方法中干扰点的误判和特征点的冗余,对不同大小的手型具有一定的鲁棒性。最后,通过在运动三维人手跟踪中的成功运用,验证了该方法的有效性。

以时间优化为目标的粒子滤波手势跟踪方法研究

从人手连续形变的时间模型、连续形变的时段模型、突变强度和自遮挡特征等不同角度描述人手状态变量的微观结构,将其作为设计粒子滤波跟踪算法的基本数据层,还对各帧粒子数目的动态分配方式进行了探讨.实验表明,与传统的粒子滤波算法相比较,本文基于状态变量微观结构的粒子滤波手势跟踪算法可以大幅度降低粒子数目.

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于:提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.

基于用户行为分析的手势跟踪方法

人手结构的高维性而导致粒子滤波跟踪方法中采样数目非常庞大,是实现运动人手的实时性跟踪研究的主要障碍之一.以降低粒子数目为目标,以行为分析和建模为切入点,提出一种手势跟踪方法.首先分析操作者在手势操作过程中的行为特征,建立人手运动的动态模型;其次,研究动态模型的基本特征,并给出一种描述方法;然后,建立人手运动的时段模型,分析了手势状态的时间-空间关系.在此基础上,提出了状态变量微观结构的概念,重点给出了基于状态变量微观结构的手势跟踪算法;最后,设计和完成了实验,并与相关参考文献方法的实验结果进行对比.结果表明,采用该算法,用少量粒子就可以得到比较精确的跟踪结果.提出的核心算法已经用于一个基于自然手势交互的三维虚拟装配原型系统.

虚拟装配交互界面中的隐式交互算法研究

针对现有虚拟装配系统中交互是以设备为中心的显式交互,不能有效地感知用户操作意图,用户认知负担和操作负担较高的问题,为了提高虚拟装配系统的智能性,将隐式人机交互引入虚拟装配系统,提出一种基于场景任务的用户意图感知算法.首先建立场景知识模型和用户知识模型,并分别构建显式交互知识库和隐式交互知识库;然后利用专家系统推理用户显式操作意图和隐式操作意图,实现人手向目标位置平移时场景主动拉近和抓放场景物体时物体主动旋转2种情景下的人机相向互动.实验结果表明,该算法实现了人机协同交互,降低了用户的操作负担和认知负担.

以改善精度为目标的人手跟踪方法研究

分别从UKF滤波器的内在机理和人手运动模型两个方面入手,以改善跟踪结果的精确度为基本目标,重点对UKF算法中存在的部分理论问题进行了探讨,在此基础上提出了改进后的UKFDUT算法,同时也对IMM进行了改进,把IMM模型变为MM模型,再进一步将UKFDUT算法和MM模型相融合,得到UKFDUT+MM算法.研究表明,Sigma点具有一些特性,通过对这些特性进行研究,可以找到改进跟踪精度的新途径;把MM模型和人手模型评价标准相结合,可以取得比单独使用IMM更好的跟踪精度.实验结果也表明了算法的有效性和令人满意的跟踪精度.

二维连续形变物体的计算机识别技术研究

在对包括连续形变物体等在内的基本概念给出严格定义的基础上 (为使该文自封闭 ) ,首先对物体的刚性相似问题进行了深入研究 ,提出了新的不变量理论 ,即长度相似不变量和方向相似不变量 ,进一步揭示出物体拓扑相似与物体刚性相似之间所存在的内在联系 ,最后研究了物体连续形变与物体拓扑相似之间的内在联系 ,并以定理形式给出了物体连续形变的充要条件———成为该文识别算法的理论依据 ;另外 ,拓扑同胚以及相似不变量等概念在算法的研究过程中起着较为重要的作用 .

多种手势对应同一语义的柔性映射交互算法的研究

针对智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个基本问题,本文设计并实现了基于手势交互的智能教学界面,该系统可以通过获取教师的手势信息与教师进行交互.主要创新点在于提出了多种手势对应同一语义的柔性映射交互算法.本文选取了14种自然交互手势,分析了对应同一语义的多种手势之间的共同特征.实验结果显示,该算法能够有效降低用户负荷.该算法已经用于一个基于手势交互的智能教学系统界面中.

基于单目体系的可见手重构算法研究

首先确立单相机加单平面镜的体系结构,然后研究在该体系下实现三维重构的基本理论和基本方法,具体探讨了以下4个关键问题:(1)手边沿的提取;(2)对应关系的获取;(3)3D重构的基本方法;(4)校准算法.通过揭示出空间物点在像平面上的投影、该物点的对称点在同一像平面上的投影、镜面以及该物点本身这四者之间的关系,得到三维重构的新方法,既便于理论分析,又便于程序设计;既使校准过程简单易行,又保证了三维重构的精度.

基于交互行为分析的手势跟踪方法

为有效解决手势跟踪研究中的高维问题,提出一种基于交互行为分析的自然人手跟踪和交互算法。探讨了基于手势的交互行为分析和建模,建立了操作者手势的四阶段行为预测模型,揭示了手势交互的一般规律或关键特征,并给出建立行为模型的具体方法和过程;然后,研究基于提出的行为模型的手势跟踪和交互算法。采用数学方法对分段预测模型进行描述,提出多通道采样和预测手势跟踪算法。通过与几种相关算法进行的对比实验表明,该算法可以有效地改善手势跟踪的速度和精度。

手势识别研究综述

综述人机交互手段的手势识别系统的分类、常用算法和研究现状,指出:手势识别是富有挑战性的多学科交叉研究课题,当前在应用方面存在"单一颜色"、"肤色分割"、"手腕界定"和"手动初始化"4个方法上的局限性,以及不能用于实时识别系统的2个研究难点。

一种无失真图像数据压缩算法

提出一种无失真图像数据压缩算法 ,克服了传统数据压缩算法中的一些弊端 ,通过增加相同数据出现的长度和概率 ,达到比RLE更理想的压缩比的目的 ,同时还具有算法简单。

UKF滤波器的强跟踪性研究

与EKF滤波器相比较,UKF滤波器和强跟踪滤波器各自具有不同的特点,在基于计算机视觉的运动人手跟踪系统中往往需要将这些不同的特点相结合.本文揭示了UKF滤波器与强跟踪滤波器之间的关系.研究表明,在线性系统中,UKF滤波器是强跟踪滤波器;在非线性系统中,在一定的条件下,UKF是强跟踪滤波器,本文给出了一个充分条件.最后给出了部分实验结果.

基于动态可见手指的人手跟踪算法研究

在下述基本假设下提出了一种基于单目相机结构的人手跟踪算法:(1)大拇指根始终可见;(2)除大拇指外,至少有另外一个手指是可见的。首先,利用UKF滤波技术,获取人手的全局运动,然后,利用3-D约束条件和最小化代价函数获取各关节的局部运动。实验表明,算法可以部分地解决人手自遮挡问题,具有令人满意的跟踪精度。

连续形变图像的追踪识别算法及其在手势识别系统中的应用研究

提出了一种连续形变图像的追踪识别算法,通过引入网格等基本概念,建立了一套基本理论,通过揭示网格与连续形变之间的内在联系,避免了传统方法中复杂的拓扑分析.该算法把追踪与识别过程有机地统一起来,既具有一定的理论基础,又可以灵活地满足工程中不同的精度需要.最后讨论了该算法在手势识别系统中的应用.实验表明,算法取得了令人满意的灵活性、适应性和时间复杂度.

图像拓扑结构的识别及其应用技术研究

快速准确地建立两图像拓扑结构之间的对应关系是要解决的核心问题。通过揭示拓扑结构的本质特性,提出了邻接矩阵模型、局部模型和快速模型三种不同的拓扑结构的识别模型、数据结构及其算法,重点讨论了快速模型,并对其优良性能进行了证明。最后,把快速模型运用于全景图拼接,取得了令人满意的实验结果。

一种强跟踪滤波器及其在人手跟踪中的应用

通过对状态预报误差的协方差矩阵的各个分量分别进行控制,设计一种强跟踪扩展卡尔曼跟踪滤波器,并在单目相机环境下利用该滤波器对3D人手运动过程中的突变状态进行跟踪;讨论了3D人手生理模型、运动模型等问题;最后通过大量实验证明了该强跟踪滤波器的有效性.与现有的STEKF滤波器相比,文中的强跟踪滤波器具有更强的跟踪能力.

一种基于改进UKF的3D人手跟踪算法

将手指作为基本处理对象,对UKF(unscented Kalman filter)算法进行改进,并利用它对当前手指各关节进行预测;以预测值作为初值,用局部搜索技术对误差较大的关节用改进的UKF算法重新进行预测,直到该手指在像平面上的投影轮廓和图像轮廓之间的距离图满足指定的精度为止.该算法以状态变量量测值的获取作为突破口,解决现有算法中跟踪精度过分依赖于3D人手模型精度的问题.实验结果表明,该算法具有较强的处理局部自遮挡问题能力,对3D人手模型的不精确性也具有更好的鲁棒性.