混合现实中的人机交互综述

经过20多年的发展,混合现实相关技术已经取得了长足的进步,展示出强劲的发展动力.人机交互是混合现实的重要支撑技术,也是近年来国内外的研究热点.多年来,混合现实中的人机交互研究一直在探索更加自然和高效的交互方式.文中围绕该领域近几年的发展趋势,重点讨论了混合现实中的人机交互设计原则与评估方法、关键技术,调研了不同交互技术在混合现实中的应用现状,最后做出总结并提出存在的问题.

面向信息可视化的语义Focus+Context人机交互技术

大数据成为继云计算和物联网之后,国际学术界和产业界所共同瞩目的又一个研究热点.信息可视化是辅助用户洞悉大数据背后隐藏的知识和规律的重要方法和有力工具.如何在图形用户界面中对大规模信息以符合认知规律的方式进行可视化,并且使得计算机能够智能化的理解用户意图以配合其进行高效的人机交互,是信息可视化面临的挑战之一.文中提出一种面向信息可视化的语义Focus+Context人机交互技术.首先,在基于空间距离的经典Focus+Context数学模型基础上对其进行语义建模和扩展,建立了面向信息空间和可视化表征空间的语义距离模型以及语义关注度模型,定义了交互中的焦点对象与语义上下文.其次,在此基础上建立了语义Focus+Context用户界面模型,给出了界面抽象元素和实体元素以及映射关系的形式化描述,同时建立了Focus+Context交互循环机制.最后,给出了应用于经典Focus+Context及鱼眼数学模型的描述,表明文中提出方法具有很好的兼容性描述能力;同时,给出了面向文件系统主题聚集的语义Focus+Context应用,给出了基于主题语义关注度与嵌套圆鱼眼视图的动态可视化实例,应用实例表明文中提出技术能够有效支持用户在信息可视化界面中对大规模信息进行智能化的可视化和交互探索.

基于笔式交互的人机混合CAD概念设计

人工智能与机器学习技术不断推动各个领域的智能化发展,笔式交互技术的进步使基于草图的计算机辅助设计(CAD)得到了设计和研究人员的广泛关注。现有的CAD概念设计方法没有真正回归纸/笔工具带来的自然交互方式。如何利用人机混合智能的方法辅助并改进现有的CAD概念设计,准确、高效、自然地采集手绘草图数据并生成CAD模型,是目前面临的挑战。鉴于此,首先介绍了CAD概念设计、笔式用户界面、人机混合智能、草图理解的发展情况;然后介绍了典型的CAD工具与相关交互技术;结合现有的技术与问题,提出了一个通用的基于笔式交互的人机混合CAD概念设计框架,并给出此框架的应用场景与实例;最后对笔式交互的人机混合CAD概念设计框架进行分析,为以后的发展方向提出建议。

人机交互技术在神经系统疾病辅助诊断中的应用:现状与前景

随着人机交互技术的发展,如何利用智能、自然、高效的交互方式促进医学的发展,是近年来研究的热点问题。神经系统疾病极大影响了人们的日常生活质量,利用人机交互技术对神经系统疾病进行早期预警与辅助诊断,可在提高患者检查舒适感的同时,减轻医生工作强度,因此具有深远的临床意义。本文通过论述人机交互技术在神经系统疾病辅助诊断中的应用现状、存在问题及发展前景,思考如何利用计算机技术改进传统医学诊断方法。

融合触、听、视觉的多通道认知和交互模型

以触觉相关的多通道交互研究为立足点,结合经典的多通道假设和最新的认知理论,提出一种融合触觉、听觉、视觉的多通道信息认知加工模型,并就计算机端的信息处理过程提出了多通道交互的分层处理模型,分析了相应的多通道整合方法.该模型对交互界面与程序主体功能定义不同的实现路径,区分交互设备和交互信息处理过程,有利于从不同角度对交互界面的研究工作进行简化,避免高耦合度带来的冗余工作量;实现了一个融合触、听、视觉交互的实例.实例结果表明,利用文中模型能够降低多通道交互研究的分析难度并提高实验效率.

虚实融合交互系统辅助脑卒中后失语症康复训练

脑卒中后失语症是一个普遍的致残性疾病.研究表明,虚拟现实及实物交互技术对该疾病的康复训练具有重要意义.然而现有的计算机辅助言语康复系统很少能将这2类技术有效结合并发挥它们各自的优势,且没有对言语训练素材进行合理编排以适应实际的康复训练需求.提出了一种虚实融合辅助的言语康复训练系统,构建了一个"超市购物"的虚拟场景,基于语义网络理论编排言语训练素材,实现了对操作实物的实时跟踪和识别;并将其映射到虚拟购物场景中,使得脑卒中后失语症患者可以通过对实物的操作去完成在虚拟空间的购物任务;患者在虚实融合辅助的言语康复训练系统中的任务完成时间和行为表现结果表明了系统的可用性,问卷调查结果表明,系统得到了康复治疗师的普遍认可,患者和治疗师在用户访谈中提出的多项建议对未来在这一方面的研究工作具有指导意义.

DaisyVA:支持信息多面体可视分析的智能交互式可视化平台

针对目前缺乏有效地支持信息多面体可视分析的交互式信息可视化平台的问题,提出并实现了一个面向最终用户的交互式可视化平台DaisyVA.首先建立了一个支持信息多面体可视分析界面模型IMFA,并定义了IMFA的多面体数据模型、可视表征模型和交互控制模型;然后围绕IMFA设计了DaisyVA的体系架构,讨论了基于模型的系统开发机制、核心模块与运行时框架机理,以及DaisyVA组件库;最后将DaisyVA应用于大型集团制造企业物流网络瓶颈的可视分析实例中.实例分析结果表明,DaisyVA能为多面体数据提供统一建模的支持和可扩展可视化算法库的支持、提供多种所需的交互技术并可灵活定制可视分析的交互任务、支持信息多面体间的内在语义关联分析,以及能够为最终用户提供一种简单快速原型方法,因此能够为信息多面体可视分析提供一种有效的支持.

面向儿童的实物交互工具及其在讲故事中的应用

是否采用交互方式直观影响着儿童使用交互系统的兴趣和效果.实物交互为儿童与计算机之间的交互提供了一种有效的途径.文中设计一种结合交互手势的实物交互工具,并在此基础上开发一款面向儿童的实物交互讲故事系统——TanStory.在使用TanStory时,儿童只需要操作实物的玩具就可以切换和控制虚拟场景中的故事角色,并通过讲述故事的情节或者模拟角色在故事场景中的对话进行故事的创作.采用TanStory对幼儿园中4~7岁儿童进行评估的结果表明,该工具及其交互手势非常有趣并且易学易用.

脑电情绪识别的深度学习研究综述

情绪是情感的外在体现,影响人类的认知、感知、理性决策等日常活动.情绪识别作为实现计算机全面智能的一项基础任务,在情感计算和人机交互领域被深入研究和广泛应用.相比面部表情、语音或其他生理信号,利用脑电进行情绪识别具有时间分辨率高、成本低、识别效果好、可靠性高的优势.近年来,越来越多的深度学习框架被应用于基于脑电信号的情绪识别,并取得了比传统机器学习方法更加优异的效果.基于深度脑电特征的情绪识别是当前的研究热点之一,也具有一定的挑战性.目前,可供参考的针对此研究热点的综述文献较少.对近年来国内外相关文献进行调研分析,从模型输入、深度框架、实验设置、实验结果等方面对深度学习在基于脑电的情绪识别中的应用研究做了总结概况,并在DEAP和SEED这两个公开的脑电-情绪数据集上对具有代表性的方法进行了定性和定量的多方面对比,分析和总结这些方法的不足,同时也对未来可能的研究方向进行了展望.

现代交互技术下的Story-Telling方法综述

Story-Telling(ST)是一种训练儿童语言表达能力的重要教育活动,随着新型交互技术的不断发展,大量工作致力于将这些新型交互技术融入ST场景之中,涌现出一系列ST系统原型以及商业应用.文中围绕近十年来关于ST应用技术的研究,重点讨论了ST技术的应用需求以及ST系统中交互技术的运用,并以应用场景作为划分介绍了典型的ST系统.文中针对已有系统中存在的几个突出问题,提出了一套基于场景树设计工具的儿童讲述故事应用设计方法,并对这套设计方法的创新点和贡献做出了讨论.最后对ST这一领域的未来发展方向进行了展望.

PhysiolComp Toolkit:一个生理计算交互工具箱的分析与设计

人机交互技术与生理计算技术的结合成为计算机应用领域的一个重要方向.然而,基于生理计算的交互应用研究和开发过程普遍存在缺乏生理计算知识、硬件种类繁杂、软件逻辑和平台复杂度高等难题,为此我们设计了一个生理计算交互工具箱PhysiolComp Toolkit,提出了生理计算交互逻辑的设计框架,定义了较为完善的交互信息处理流程以及组件设计方法,并且以该工具箱中手部动作和生理状态监测组件为例深入讨论了交互组件的设计方法.研究人员可以使用PhysiolComp Toolkit方便地建立生理计算交互应用框架,选择使用工具箱中提供的交互组件快速高效地完成系统搭建和应用开发.

实物交互在言语康复训练中的应用

为解决传统基于WIMP界面范式的言语康复训练系统难以被人工耳蜗植入(CI)儿童熟练掌握和使用等问题,提出基于实物交互的言语康复训练系统.采用Kinect跟踪CI儿童易操作的玩偶来实现人机交互,并针对玩偶较小的特点对实物跟踪算法进行优化;通过该算法并结合CI儿童典型的言语康复训练过程,设计并实现了相应的言语康复训练任务.通过CI儿童的使用情况和康复训练师的问卷调查.证明了文中系统的可行性和有效性.

面向地下钱庄洗钱行为的可视化交互分析平台

针对经济犯罪侦查中线索信息数据量极大、信息质量不高(数据缺失、内容不一致、结构复杂等),并且目前大部分系统都着重于从宏观的角度对数据进行分析统计以及决策,无法针对某个具体领域的案件梳理出线索,找出破案关键的问题,研究了地下钱庄洗钱的交易方式以及交易数据的特点、犯罪网络中的结构特征,提出设计并实现了一个面向地下钱庄洗钱行为的可视化交互分析平台。该平台支持对异构数据的同一化,建立了数据模型以及可视结构,资金链的可视化分析,允许用户交互操作,并结合地下钱庄洗钱的交易特征改进了DBSCAN算法;讨论了该平台的系统框架及其关键技术,并结合实际数据给出了应用实例。该平台能够给予办案人员更直观清晰的思路,提高办案效率。

一种面向无人机视频的多尺度摘要的设计与实现

无人机视频是利用无人机航拍得到的一类重要的视频资源,被广泛运用于地面目标的监测。但是,无人机视频的视野辽阔、不具有目标针对性的拍摄特点,使其存在大量时空冗余,传统的视频交互手段显得十分低效。为此,提出了一种面向无人机视频的多尺度螺旋摘要。首先,基于YOLOv3算法,训练能检测无人机视角的行人、车辆等目标的模型。然后,提出了基于关键帧的视频目标检测算法,根据改进后的基于颜色特征的关键帧提取算法提取涵盖视频关键信息的关键帧,并将检测模型应用于关键帧,高效获取整个视频的目标检测结果。之后,从关键帧中提取相应的关键区域,作为摘要的呈现单元,并以螺旋的形式从内向外地将摘要单元逐一呈现,辅以基于关键帧的视频定位和尺度缩放功能。最后,开发了草图注释、目标分布螺旋、双螺旋播放等新颖的交互工具,满足用户的潜在需求,共同实现面向无人机视频的高效交互。

基于时序图推理的设备剩余使用寿命预测

剩余使用寿命(Remaining useful life,RUL)预测是大型设备故障预测与健康管理(Prognostics and health management,PHM)的重要环节,对于降低设备维修成本和避免灾难性故障具有重要意义.针对RUL预测,首次提出一种基于多变量分析的时序图推理模型(Multivariate similarity temporal knowledge graph,MSTKG),通过捕捉设备各部件的运行状态耦合关系及其变化趋势,挖掘其中蕴含的设备性能退化信息,为寿命预测提供有效依据.首先,设计时序图结构,形式化表达各部件不同工作周期的关联关系.其次,提出联合图卷积神经网络(Convolutional neural network,CNN)和门控循环单元(Gated recurrent unit,GRU)的深度推理网络,建模并学习设备各部件工作状态的时空演化过程,并结合回归分析,得到剩余使用寿命预测结果.最后,与现有预测方法相比,所提方法能够显式建模并利用设备部件耦合关系的变化信息,仿真实验结果验证了该方法的优越性.

图像理解中的卷积神经网络

近年来,卷积神经网络(Convolutional neural networks,CNN)已在图像理解领域得到了广泛的应用,引起了研究者的关注.特别是随着大规模图像数据的产生以及计算机硬件(特别是GPU)的飞速发展,卷积神经网络以及其改进方法在图像理解中取得了突破性的成果,引发了研究的热潮.本文综述了卷积神经网络在图像理解中的研究进展与典型应用.首先,阐述卷积神经网络的基础理论;然后,阐述其在图像理解的具体方面,如图像分类与物体检测、人脸识别和场景的语义分割等的研究进展与应用.

虚拟现实的人机交互综述

人机交互是虚拟现实的核心技术之一,对推进虚拟现实广泛应用和提高用户的体验具有重要意义.由于传感器和其他硬件技术的发展,目前虚拟现实人机交互有了长足的进步.本文着重回顾与分析了虚拟现实的人机交互范式;三维交互、手势交互、手持交互、语音交互、触觉交互和多通道交互等虚拟现实与增强现实交互技术的主要研究成果和发展趋势;最后给出需要进一步致力研究解决的若干问题.

模板匹配的三维手势识别算法

针对三维空间的手势识别,基于轻量级的二维平面手势识别算法进行了扩展及改进,将其扩展到了三维空间,提出了基于投影的单次旋转模板匹配识别方法.将手势模板集划分为空间平面手势和空间立体手势2类模板;对于空间平面手势模板,输入手势轨迹需要先投影到相应的坐标平面,再进入模板匹配流程;基于矩阵奇异值分解,计算归一化手势轨迹与模板之间的最优旋转矩阵,经过一次刚体转置即可完成与模板的匹配度计算.实验结果表明,该方法对三维手势具有较高的识别率,且对于空间平面手势、空间立体手势的识别能力较为均衡.

基于语义三角形的自然人机交互模型

随着认知科学与移动计算技术的发展与应用,如何构建与评估自然用户界面成为越来越重要的问题.为此,本文在分析了自然人机交互主要特征的基础上,指出了自然语言的使用及其语义理解的重要性,借用语言学的语义三角形模型,提出了基于语义三角形的自然人机交互模型.该模型诠释了自然人机交互场景下,人与计算机之间信息流转与理解过程.最后,基于该模型给出了自然性、连续性和易学性3个评估要素的评估思路.

智能时代人机交互的一些思考

在信息技术迅猛发展的背景下,人工智能的爆发及在诸多行业的成功应用再次引发人们对计算机全方位为人类服务的美好想象.然而,作为人与计算机之间信息沟通的桥梁和以人为中心指导系统开发的方法论,人机交互没有得到应有的同步发展,其瓶颈效应日益彰显.究其原因,可以归纳为以下两点:一是没有吸取好历史的发展经验;二是智能时代下应用场景的变化导致新的需求,对人机交互提出了巨大的挑战.本文回顾了人机交互的发展历史,重点讨论了人机交互的发展模式、心理学模型、交互界面、交互设计原则和研究框架等多个核心问题,并总结了当前人机交互出现的重要思想理论,提出在智能时代下对人机交互未来发展必要的讨论和思考.