Natural multimodal interaction in immersive flow visualization

In the immersive flow visualization based on virtual reality,how to meet the needs of complex professional flow visualization analysis by natural human–computer interaction is a pressing problem.In order to achieve the natural and efficient human–computer interaction,we analyze the interaction requirements of flow visualization and study the characteristics of four human–computer interaction channels:hand,head,eye and voice.We give out some multimodal interaction design suggestions and then propose three multimodal interaction methods:head&hand,head&hand&eye and head&hand&eye&voice.The freedom of gestures,the stability of the head,the convenience of eyes and the rapid retrieval of voices are used to improve the accuracy and efficiency of interaction.The interaction load is balanced by multimodal interaction to reduce fatigue.The evaluation shows that our multimodal interaction has higher accuracy,faster time efficiency and much lower fatigue than the traditional joystick interaction.

基于多模态感知的儿童有声读物APP导航界面设计

为优化儿童有声读物APP导航界面中元素过于复杂和缺乏引导性所导致的操作不协调、认知负荷增加的问题,文章通过对界面进行重新筹划布局,综合色彩运用、语音交互和触觉反馈因素,提出基于多模态感知体验的儿童有声读物APP界面交互系统。使用穿戴式眼动仪进行眼动实验测试,将眼动数据进行配对样本t检验对比分析,得到适用于儿童操作的界面元素组合方式,进而优化导航界面,以期为相关设计提供一定的参考。

混合脑机接口在人机交互领域的应用综述

在人机交互系统中,如何使计算机更好地理解人类意图?随着智能科技的发展,这个问题越来越受到人们的关注.脑机接口技术与脑科学密切结合,在人机交互领域具有独特的应用优势.混合脑机接口通过信息融合实现多种模态的互补共促,成为人机交互领域未来发展的新方向和新趋势.本文首先介绍了混合脑机接口的类型和技术原理,并着重探讨了其关键技术“信号融合方式”;随后,从“控制者”和“监测者”的角度出发,对混合脑机接口在人机交互领域的研究现状进行了统计分析,结果显示,混合脑机接口更多以“监控者”的角色应用于人机交互系统,其中情感识别、认知状态评估等均是关注度较高的应用方向;最后,对混合脑机接口在人机交互中的应用前景进行了展望.

基于“心流理论”的适老化界面多模态交互体验研究

本文将心流理论引入适老化界面交互研究中,在分析心流理论的特征与产生条件的基础上,探索如何将心流理论应用在适老化界面设计中,并且结合多模态感官交互,使老年用户在使用界面的过程中能以多模态的交互方式产生最佳的心灵体验。通过分析心流理论下老年群体对多模态界面交互体验的需求,总结出基于心流理论的适老化界面多模态交互设计原则与设计方法,归纳出心流理论下适老化界面多模态交互设计的设计流程,并引入设计实践中,从而验证理论研究成果的有效性和价值。

多通道用户界面研究

用户界面的研究旨在为用户提供一种高效的人机通讯方式。本文总结性地论述了多通道用户界面研究中所涉及到的关键性问题 ,介绍了相应的一些主要解决方法 ,指出了其中的不足 ,提出了自己的一些看法和构想 ,结合当前计算机新技术对下一代界面进行了讨论和展望。

多通道界面软件结构模型及整合算法

多通道界面是利用多个输入通道进行人机交互的新一代人机界面，旨在提高人机交互的自然性和高效性．本文首先阐述了多通道界面的概念和研究问题，然后提出评价多通道界面人机交互效率的一种机制．结合面向任务的观点提出一种多通道界面的软件结构模型，在此基础上实现了一个具有多通道界面特点的原型系统（MMI－PRO），并给出了相应的通道整合算法．最后利用提出的评价机制对MMI＿PRO交互效率进行了定量评价．

人机交互的若干关键技术

人机交互(Human-ComputerInteraction)是研究人、计算机以及它们相互影响的技术。人机结合以人为主,将是未来计算机系统的特点,实现人机高效合作将是新一代人机界面的主要目的。多通道用户界面、计算机支持的协同工作、三维人机交互等是实现高效自然的人机交互的关键技术。

多通道用户界面关键技术和未来发展趋势研究

用户界面的研究旨在为用户提供一种高效的人机通信方式 .近年来随着计算机软、硬件的迅猛发展以及因特网的异军突起 ,传统的图形用户界面面临着新的挑战 .多通道人机界面和智能网络界面的提出更启发人们去寻求新一代用户界面范式来解决人机交互过程中的特殊问题 .总结性地论述了多通道用户界面研究中所涉及到的关键性问题 ,介绍了相应的一些主要解决方法 ,指出了其中的不足 ,提出了一些看法和构想 ,结合当前计算机新技术对下一代用户界面进行了讨论和展望 .

多通道界面模型与关键技术

<正一、引言 随着计算机科学技术的飞速发展,计算机日益进入普通用户的工作和生活中。对数量剧增的普通用户,人机交互的自然性在系统设计中的地位越来越重要.针对这样的情况。

视线跟踪技术及其在人机交互中的应用

人们在观察外部世界时眼睛总是与其它人体活动自然协调地工作 ,并且眼动所需的认知负荷很低 ,人眼的注视包含着当前的任务状况以及人的内部状态等信息 ,因此眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道 .本文介绍了视线跟踪的基本手段、方法和技术 ,对视线跟踪作为人机交互通道所具有的特点进行了讨论 。

人机交互的进展及面临的挑战

叙述了人机交互的最近进展 ,尤其是我国的一些优秀成果 ,包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化 ;并论述了无所不在计算等对人机交互提出的挑战

人机交互技术的进展与发展趋向

人机交互是８０年代以来迅速形成与发展的多学科交叉领域．该文阐述了人机交互系统的发展简史、组成要素、主要研究方向及国内外进展．其中包括作者们所在单位研究成果的简述．

一种战场态势图形指挥系统的多通道整合模型

人机交互技术是实现战场指挥控制系统的核心技术,多通道交互则是实现自然、高效的人机交互的关键技术。在建立多通道战场指挥系统模型的过程中,本文针对多通道整合问题,分析了多通道交互任务的特点,提出了一种基于元动作的多通道整合模型,将多通道任务根据一些关键动作和冗余属性信息分解为一组元动作,整合成功与否以相应元动作特征结构的完整提交为判据,解决了多属性用户动作的任务槽选择问题。使用了事件分类表和元动作槽表,将交互任务知识与多通道整合分开,并在整合过程中采用了多种融合方式相结合的方法,使整合过程能及早生成反馈,又不会产生不必要的回溯。最后给出了基于该模型的交互技术设计规则以及模型示例。

DVENET中实体交互控制的设计与实现

文中介绍了 DVENET中实体交互控制的设计与实现 .分别从参与者和虚拟环境中实体的角度出发 ,研究了实体交互控制的有关问题 ,在此基础上设计了基于交互原语的对话系统 IPDS。

计算机手势输入及其在人机交互技术中的应用

本文简介计算机手势识别技术的基本手段、方法和技术，讨论手势作为人机交互通道所具有的特点，并介绍作者在多通道用户界面的研究中实现的对手势的整合技术．

多通道用户界面的可用性测试

基于多通道用户界面核心系统实现了一个用于可用性测试的“拼图作业”实例，并基于该实例进行了多通道用户界面的可用性测试和评价实验，验证了作者所提出的多通道用户界面模型和方法的可行性，并得出若干关于多通道人机交互优越性的结论。

视线跟踪技术及其在多通道用户界面中的应用

介绍视线跟踪技术的基本原理及其在人机交互技术中的应用，并结合作者的多通道用户界面研究工作，阐述了视线跟踪技术在多通道用户界面中的应用与相应的多通道整合方法。

多通道战场态势交互系统研究

现代战争中战场态势系统对指挥员掌握战场情况、指挥作战行动具有重要的作用。而战场态势交互技术是指挥员实现战场指挥控制的核心技术,多通道交互则是实现自然、高效的人机交互的关键技术。针对多通道整合问题,分析了多通道交互任务的特点,提出了一种基于多通道交互技术的战场态势交互系统构架。最后,在对系统结构具体分析的基础上,给出了多通道交互技术设计的关键技术。

基于模糊模式识别的多通道目标选择算法

给出一种多通道用户界面的三维表示模型，证明目标选择是多通道人机交互技术的核心。针对多通道用户界面中输入信息的不精确性，运用模糊模式识别理论，提出根据不精确输入信息进行的目标选择算法。

多通道肺音数据分析的人机界面设计

多通道界面是利用多个输入通道而进行人机交互的接口,用来提高人机交互的自然性、和谐性和高效性。本文以作者承担的省基金项目“肺音识别与软件测试系统的研究”为背景,结合任务的具体特点,提出了一种面向对象的多通道界面的软件结构模型,在此基础上详细描述了肺音数据分析的人机交互的对话结构,讨论了一种多通道人机界面的设计方法,实现了具有多通道界面特点的肺音分析与处理的人机交互设计,结果表明本界面有较好的交互自然性和较高的交互效率。