Natural multimodal interaction in immersive flow visualization

In the immersive flow visualization based on virtual reality,how to meet the needs of complex professional flow visualization analysis by natural human–computer interaction is a pressing problem.In order to achieve the natural and efficient human–computer interaction,we analyze the interaction requirements of flow visualization and study the characteristics of four human–computer interaction channels:hand,head,eye and voice.We give out some multimodal interaction design suggestions and then propose three multimodal interaction methods:head&hand,head&hand&eye and head&hand&eye&voice.The freedom of gestures,the stability of the head,the convenience of eyes and the rapid retrieval of voices are used to improve the accuracy and efficiency of interaction.The interaction load is balanced by multimodal interaction to reduce fatigue.The evaluation shows that our multimodal interaction has higher accuracy,faster time efficiency and much lower fatigue than the traditional joystick interaction.

基于多模态感知的儿童有声读物APP导航界面设计

为优化儿童有声读物APP导航界面中元素过于复杂和缺乏引导性所导致的操作不协调、认知负荷增加的问题,文章通过对界面进行重新筹划布局,综合色彩运用、语音交互和触觉反馈因素,提出基于多模态感知体验的儿童有声读物APP界面交互系统。使用穿戴式眼动仪进行眼动实验测试,将眼动数据进行配对样本t检验对比分析,得到适用于儿童操作的界面元素组合方式,进而优化导航界面,以期为相关设计提供一定的参考。

俄罗斯政治漫画中的多模态隐喻和转喻互动整合--以漫画《不要打破宁静》为例

社交媒体的发展推动了信息传递方式的变革,视觉图像比文字更具有直观性和冲击力。以俄新社一则典型的政治漫画《不要打破宁静》为例,分析多模态隐喻和转喻的互动整合。通过政治漫画中的隐喻与转喻分析,发现多模态隐喻与转喻互动特征为两者相互交织,识别过程为从具体到抽象,并以人们共同的文化认知为识解基础,可通过先例现象激活。政治漫画可通过多模态隐喻和转喻的方式,将内容传递给受众,并形成相应的认知。

线上国际中文专业课文化融入互动教学模式研究——以国际学生“现代汉语”课为例

文章在已有教学模式研究成果的基础上,聚焦文化融入与互动,反思线上国际中文专业课应采用的文化融入互动教学模式。以国际学生专业课程“现代汉语”线上授课实况为研究对象,结合当堂回收的国际学生有效调查问卷统计结果,认为线上专业课文化融入可采取“依托线上平台,借助教学资源,融入文化观念,输出中国故事”这一互动教学模式。研究结果显示,选择最适合学生实际情况的线上平台作为依托,借助多模态教学资源,融入中华文化观念,通过单独或合作完成多模态作业形式消化理解所学知识,达到使国际学生用汉语以多种形式讲好中国故事的目的,最终落实国际学生的“课程思政”,培养出更多知华友华的国际中文人才。

混合脑机接口在人机交互领域的应用综述

在人机交互系统中,如何使计算机更好地理解人类意图?随着智能科技的发展,这个问题越来越受到人们的关注.脑机接口技术与脑科学密切结合,在人机交互领域具有独特的应用优势.混合脑机接口通过信息融合实现多种模态的互补共促,成为人机交互领域未来发展的新方向和新趋势.本文首先介绍了混合脑机接口的类型和技术原理,并着重探讨了其关键技术“信号融合方式”;随后,从“控制者”和“监测者”的角度出发,对混合脑机接口在人机交互领域的研究现状进行了统计分析,结果显示,混合脑机接口更多以“监控者”的角色应用于人机交互系统,其中情感识别、认知状态评估等均是关注度较高的应用方向;最后,对混合脑机接口在人机交互中的应用前景进行了展望.

基于“心流理论”的适老化界面多模态交互体验研究

本文将心流理论引入适老化界面交互研究中,在分析心流理论的特征与产生条件的基础上,探索如何将心流理论应用在适老化界面设计中,并且结合多模态感官交互,使老年用户在使用界面的过程中能以多模态的交互方式产生最佳的心灵体验。通过分析心流理论下老年群体对多模态界面交互体验的需求,总结出基于心流理论的适老化界面多模态交互设计原则与设计方法,归纳出心流理论下适老化界面多模态交互设计的设计流程,并引入设计实践中,从而验证理论研究成果的有效性和价值。

多通道用户界面研究

用户界面的研究旨在为用户提供一种高效的人机通讯方式。本文总结性地论述了多通道用户界面研究中所涉及到的关键性问题 ,介绍了相应的一些主要解决方法 ,指出了其中的不足 ,提出了自己的一些看法和构想 ,结合当前计算机新技术对下一代界面进行了讨论和展望。

多通道用户界面的模型、方法及实例

多通道界面使用多种交互设备（语音输入输出装置、直接指点装置、视线跟踪装置、触觉和力量反馈装置），通过多种交互方式的协作，利用它们之间特性上的互补，方便用户传达交互意图和理解计算机的输出，提高交互效率，增进交互的自然性，目的是要让普通用户能够以日常技能来使用计算机。本文以“多通道用户界面研究”为背景，总结了北京大学完成的部分工作。首先对多通道界面的概念、优势和一些术语进行了说明，然后提出了面向任务的多通道界面结构和整合模型（ＡＴＯＭ），层次化的多通道界面描述方法（ＨＭＩＳ）和新界面范式（ＶＩＲ）。最后给出了两个多通道实例及结论。

多通道用户界面关键技术和未来发展趋势研究

用户界面的研究旨在为用户提供一种高效的人机通信方式 .近年来随着计算机软、硬件的迅猛发展以及因特网的异军突起 ,传统的图形用户界面面临着新的挑战 .多通道人机界面和智能网络界面的提出更启发人们去寻求新一代用户界面范式来解决人机交互过程中的特殊问题 .总结性地论述了多通道用户界面研究中所涉及到的关键性问题 ,介绍了相应的一些主要解决方法 ,指出了其中的不足 ,提出了一些看法和构想 ,结合当前计算机新技术对下一代用户界面进行了讨论和展望 .

多通道界面模型与关键技术

<正一、引言 随着计算机科学技术的飞速发展,计算机日益进入普通用户的工作和生活中。对数量剧增的普通用户,人机交互的自然性在系统设计中的地位越来越重要.针对这样的情况。

人机交互的若干关键技术

人机交互(Human-ComputerInteraction)是研究人、计算机以及它们相互影响的技术。人机结合以人为主,将是未来计算机系统的特点,实现人机高效合作将是新一代人机界面的主要目的。多通道用户界面、计算机支持的协同工作、三维人机交互等是实现高效自然的人机交互的关键技术。

多通道界面软件结构模型及整合算法

多通道界面是利用多个输入通道进行人机交互的新一代人机界面，旨在提高人机交互的自然性和高效性．本文首先阐述了多通道界面的概念和研究问题，然后提出评价多通道界面人机交互效率的一种机制．结合面向任务的观点提出一种多通道界面的软件结构模型，在此基础上实现了一个具有多通道界面特点的原型系统（MMI－PRO），并给出了相应的通道整合算法．最后利用提出的评价机制对MMI＿PRO交互效率进行了定量评价．

视线跟踪技术及其在人机交互中的应用

人们在观察外部世界时眼睛总是与其它人体活动自然协调地工作 ,并且眼动所需的认知负荷很低 ,人眼的注视包含着当前的任务状况以及人的内部状态等信息 ,因此眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道 .本文介绍了视线跟踪的基本手段、方法和技术 ,对视线跟踪作为人机交互通道所具有的特点进行了讨论 。

基于任务的多通道整合设计与实例

多通道人机交互技术的研究旨在为计算机用户提供一个方便高效的人机交互环境．本文主要围绕多通道交互系统的核心─—多通道整合问题，提出了基于任务的多通道整合框架，通过中国象棋的多通道交互实例阐述了基于任务的多通道整合思想在多通道交互系统设计中的具体应用．通过分析多通道信息输入流的特点提出了描述多通道输入特征的格模型，并对整合实践中所遇到的一些问题作了讨论．

基于Internet的多通道用户界面

该文以作者承担的国家自然科学基金项目“基于互联网多通道用户界面的研究”为背景 ,总结了已完成的部分工作 .文中介绍了作者提出的网络多通道界面模型、语音和指点相结合的基于上下文的查询、基于主通道的整合策略 ,并将受限的自然语言 (汉语 )理解技术应用于多通道交互中 .文章给出了两个实例 :汉语语音驱动的多通道文件管理器和网上购物多通道界面的 Active X控件 .结果表明 。

任务制导的多通道分层整合模型及其算法

多通道整合是多通道交互系统的核心 ,旨在对来自不同通道的信息进行合一化处理 ,最终向计算机正确传达用户意图 .围绕多通道整合问题 ,通过分析多通道输入信息流的特点 ,提出了一种任务制导的、分层的整合模型及相应算法 ,改变了通道间输入信息对时间的依赖方式 ,使人机交互更为自然和高效 ,该整合机制与宿主系统及交互设备无关 。

人机交互的进展及面临的挑战

叙述了人机交互的最近进展 ,尤其是我国的一些优秀成果 ,包括多通道交互、交互模型、虚拟现实和三维交互、可穿戴计算和移动计算、智能空间、标准化 ;并论述了无所不在计算等对人机交互提出的挑战

一种战场态势图形指挥系统的多通道整合模型

人机交互技术是实现战场指挥控制系统的核心技术,多通道交互则是实现自然、高效的人机交互的关键技术。在建立多通道战场指挥系统模型的过程中,本文针对多通道整合问题,分析了多通道交互任务的特点,提出了一种基于元动作的多通道整合模型,将多通道任务根据一些关键动作和冗余属性信息分解为一组元动作,整合成功与否以相应元动作特征结构的完整提交为判据,解决了多属性用户动作的任务槽选择问题。使用了事件分类表和元动作槽表,将交互任务知识与多通道整合分开,并在整合过程中采用了多种融合方式相结合的方法,使整合过程能及早生成反馈,又不会产生不必要的回溯。最后给出了基于该模型的交互技术设计规则以及模型示例。

虚拟城市规划中的多通道整合

将多通道交互用于虚拟环境,研究自然和谐的交互方式已经成为虚拟现实的一个重要研究方向.文中以城市规划为应用背景,融合跟踪器、语音和笔输入,提出概率合一的任务制导多通道整合,并辅以上下文语义;以此为基础,有针对性地设计了多通道交互技术,并依据多通道交互的特性分别进行阐述,实现了自然、高效的多通道虚拟城市规划.

多通道用户界面原型系统Free VoiceCAD

用户界面的研究旨在为用户提供一种高效的人机通信方式 近年来随着计算机软、硬件的迅猛发展以及因特网的异军突起 ,传统的图形用户界面面临着新的挑战 重点介绍了在AutoCAD平台上开发的一个多通道用户界面原型系统─FreeVoiceCAD ,它支持多个通道的用户输入 ,通过受限的自然语音、指点等方式进行图形设计 ,用户不仅可以直接向系统发出相应的语音命令请求执行 ,而且可以配合指点操作对图形对象的属性进行赋值和修改 此外 ,还对系统的绘图效率、易用性和自然性等方面进行了测试 ,指出了其中存在的一些问题和难点 。