面向指-笔混合输入的交互原语和交互模型研究

随着触摸设备的普及,指、笔输入已成为移动办公的一种主流输入方式.然而现有的应用主要以手指或笔通道中的一种作为输入,限制了用户的交互空间.同时,现有的指-笔混合研究主要关注串行的指-笔分工协作和特定交互任务的并行处理,并没有系统地考虑并行协作机制和不同通道输入之间的意图关联.为此,提出一种面向指-笔混合输入的交互模型;结合用户指-笔协作的行为习惯定义指-笔混合交互原语,拓展指、笔交互空间;继而利用部分可观察马尔可夫决策过程提出基于时序信息的指-笔混合输入意图提取方法,用以增量式地提取多义性交互原语的交互意图.最后通过一个用户实验说明指-笔混合输入的优势.

一个中文Pen-BIOS

本文系统地阐述了一种可作为笔操作掌上型电脑内核的实用化中文基本输入输出系统——Pen－BIOS的基本原理与结构。该系统以80C552汇编语言实现，并应用于笔操作掌上型电脑的实用化产品，经实践验证，证明功能齐全，性能可靠。

基于“Pen+Touch”输入模态的三维桌面系统的设计与研究

随着自然交互技术的发展,多点触空等新型交互方式不断涌现。"笔+触控(pen+touch)"交互符合用户自然直观的交互特点,得到更多研究者的重视。传统的GUI桌面系统是基于鼠标和键盘而设计,在很多方面并不适合笔和触控自然交互设备,并且在操作上和视觉上与真实的桌面操作迥异。因此提出了基于"Pen+Touch"输入模态的三维桌面系统,为桌面操作赋予了更多的自然物理属性如质量、维度、重力等,并设计了一些交互技术能够实现目标的随意拖动、缩放、旋转、归整等效果。针对三维桌面系统的可操作性,进行了用户实验,结果表明该系统的操作性更真实、自然。

支持笔输入的虚拟家居设计系统

介绍人机交互技术的概况和家居设计软件的开发现状 ,总结笔交互技术的特点 .根据三维场景中的交互任务定义了常用的交互手势集 ,给出笔交互应用的层次结构 ,设计了一个虚拟家居设计系统的总体框架 ,并成功开发了一个基于笔输入的家居设计系统 .最后给出了一个设计实例 。

支持笔输入的乐谱编辑器

设计并实现了一个支持笔输入的乐谱编辑器,用户使用笔和书写板输入乐谱手势符号,利用基于网格编码的单笔划手势识别算法识别手势符号,生成与输入相应的乐谱,具有实时播放的功能。与传统交互界面的乐谱编辑器相比较,该系统的交互方式更加符合人们对乐谱的书写和认知习惯,使乐谱的输入过程变得简单、自然、高效。

概念图形草绘设计技术研究

针对概念草图的输入输出问题,采用了基于草绘输入的交互式图形设计方法,实现了单笔划草绘轨迹主动分段识别与规整方法;运用了基于笔式手势的草图编辑方法,并将概念草图以DXF的格式输出,实现与现有CAD系统之间的集成。根据手势设计原则以及草图编辑的需要,定义并实现了选择、删除、移动等10种手势,同时采用感知器线性分类方法对手势进行识别。实例表明:手势编辑模式能够改善传统编辑方式在自然性与智能性方面的不足。

笔方位及与笔倾斜的混合输入

针对传统笔式设备输入能力有限的问题,引入笔方位并考查其性能及其与笔倾斜的混合使用.首先设计笔方位目标选择和笔方位与笔倾斜混合目标选择2个实验;然后采用组内重复方法展开实验,考查笔方位及其与笔倾斜混合输入的性能.实验结果表明,正方向的笔方位输入优于斜方向;30°,60°和90°笔方位容限划分下,分别形成了6个、4个和1个速度一致区间;笔方位和笔倾斜划分越密集,用户完成目标选择任务的难度越大;当笔方位容限区间为60°且笔倾斜容限区间为20°时达到最优的划分.最后给出笔方位与笔倾斜混合使用的建议和应用场景,为基于方位和倾斜的笔式交互技术设计提供了参考依据.

在线同步输入纸质与电子表单的方法

针对用数字笔输入纸质表单时相对应的电子表单目标定位不准确、识别率不高,且用户在纸和显示器上频繁切换,降低了用户的交互体验的问题,提出一种纸质表单和电子表单的在线同步输入方法.首先对笔迹信息进行误差补偿,并结合上下文和知识库,对目标单元格进行智能性定位;然后用基于统计语言模型和词库的识别算法改进识别器,提高输入识别率,并能把识别结果反馈到词库及误差校正模块中,以提高系统的自适应性.该方法是通过建立基于纸质和电子表单的在线同步输入框架——FSIF而实现的,其中框架包括笔信息校正转换器、智能定位器、笔迹分割器和自适应识别器4大部分,并按照一定方法和流程分别对笔信息进行采集、校正、转换、定位、分割、分类和识别等;最后通过实验对文中方法进行评估.实验结果表明,文中方法对笔式同步输入纸质和电子表单有一定的改进作用.

一种实时手写数学方程编辑器

该文所述的数学方程编辑器,用户可用笔和书写板输入手写的数学公式,系统通过实时字符、符号识别和图形语法分析软件产生与输入相对应的语法分析树,并由此转换成诸如Latex、数学的或LISP-like符号等输出形式,与基于特殊方程描述语言的编辑系统相比,该手写方程编辑器相对简单且使用方便。

笔式中文电脑的笔技术研究

讨论了笔式中文电脑中的关键技术：电子笔硬件体系结构及原理、软件驱动体系等问题，提出了中文笔式点字输入方法并阐述其特征，论述了笔作为一种很好的人机交互手段，在电脑中的应用将有利于发展中国的传统汉字文化．

触控、笔和空间手势的混合输入

针对单通道输入条件下输入能力受限的问题,以触控、笔和空间手势为输入通道,提出混合输入技术,允许用户通过双手配合的方式完成操作任务.首先分析了触控、笔和空间手势的性能特点;然后结合不同复杂程度的实际操作环境,提出以笔输入为主的10种双通道和三通道混合输入技术.性能对比的实证研究结果表明,相比于单通道笔式输入,双通道并行输入情况下触控+笔的综合性能最优,双通道二维空间划分下,触控点击+笔的性能最优;包含空间手势的混合输入技术错误率最低,但定性评估结果却最不理想.相关结论对基于触控、笔和空间手势的混合交互和界面设计具有参考意义.

屏幕区域对笔通道输入性能的影响

针对笔通道输入在不同屏幕区域上的差异,分析了屏幕区域对笔通道输入的影响.首先设计了轨迹非受限的书写和轨迹受限的划动2种不同的笔式输入实验任务,然后在Wacom Cintiq 21UX上展开实验并对比考察了笔通道输入在不同屏幕区域的性能.实验结果表明,以屏幕一角为极点所形成的极坐标系中,笔通道值随极径的增加而增大,笔通道值与极径之间呈幂函数关系或线性关系;各笔通道值的极值通常出现在屏幕的角落区域;对以右手为惯用手的用户来说,屏幕上侧的笔倾斜角通常大于屏幕下侧的笔倾斜角,笔的方位角随屏幕区域位置呈顺时针减小再增加的趋势;屏幕被划分的数量和屏幕上的不同区域位置均对交互性能存在显著影响;随着屏幕区域划分数量的增加,各区域之间的均值差异减小;结合划动速度、脱离错误率、偏出轨道率和偏离中线值,中部区域的综合性能优于四周区域,小尺寸区域的综合性能优于大尺寸区域,上侧区域的综合性能优于下侧区域.最后给出了面向屏幕区域的交互设计建议,为面向屏幕区域的笔通道交互提供了参考依据.

指向和轨迹任务下的笔倾斜输入

针对笔输入能力有限的问题,在笔式交互中增加笔倾斜输入,并考察了指向和轨迹任务下笔倾斜输入的性能.首先,结合笔倾斜输入的特点设计了指向和轨迹2种不同类型的任务;然后通过组内重复的全因素方法设计实验,并采集笔倾斜及笔尖轨迹信息,对比考察了2种不同任务下笔倾斜输入的性能.实验结果表明,指向任务下通过倾斜笔来选择不同角间距的目标时,角间距越窄,所花费的时间越长,错误率越高,倾斜笔完成指向任务的时间与角间距及目标倾角之间呈幂指数多项式关系;轨迹任务下完成笔倾斜任务时,在运行时间和偏出轨道率方面,条形轨道比环形轨道的笔倾斜输入性能更好,在偏出倾斜容限率方面,2种轨道不存在显著差异,维持笔倾斜来完成轨迹任务在时间上符合Steering定理.最后,给出了笔倾斜输入的使用建议,对笔式界面中面向不同任务类型的笔倾斜交互设计具有指导意义.

一种实时手写数学公式识别系统

该文讨论了设计一个实时手写数学公式识别系统时需要解决的主要问题。系统通过手写输入接口及输入笔划组合软件,进行符号、字符识别及图形语法分析,产生与输入相对应的语法分析树,并由此转换成诸如Latex、数学的或LISP-like符号等输出形式,与基于特殊方程描述语言的识别系统相比,该文的手写数学公式识别系统相对简单,使用方便。

面向惯用手的笔+触控输入

针对单手情况下笔的输入能力有限、触控输入精确度低且存在手指遮挡等问题,为了发挥笔和触控各自的优势,提出面向惯用手的笔+触控输入技术.首先设计和展开目标装入实验,分析了笔和触控输入的性能特点.然后结合绘图场景,提出顺序法、交叠法和并行法3种面向惯用手的笔+触控混合输入技术,以及用作对比的按钮法参考技术,并通过实验考察了4种输入技术的性能,结果表明,笔在小目标操作的精度和速度上优于触控;相比于按钮法,交叠法在操作时间和轨迹偏移量方面分别减少了15.9%和0.2%;并行法在时间和偏移量方面分别增加了25.6%和40.5%;顺序法在操作时间方面增加了11.2%,但是在偏移量方面减少了12.8%.最后给出了各种不同混合输入技术的应用场景,对面向惯用手的笔+触控交互和用户界面设计具有指导意义.

直接和间接的笔倾斜输入性能对比

越来越多的笔式设备通过增加笔倾斜输入来提高其输入能力。但在直接输入设备和间接输入设备上执行笔的倾斜操作时,由于操作环境和视觉反馈的不同,往往会导致操作性能产生差异。本研究以探索笔倾斜输入在直接设备和间接设备上的性能差异为目的,以实证手段考察在两种设备上获取不同角间距下的不同笔倾斜目标时的操作速度、稳定性和准确性,讨论导致直接设备和间接设备笔倾斜性能不同的原因,并提出适用的角间距和倾斜目标位置。实验结果表明,在直接设备和间接设备上操作笔倾斜角时,在操作速度上直接设备优于间接设备,但在稳定性和准确性上,间接设备优于直接设备。20°的角间距对两种设备来说都呈现较好的性能,若需要在更小角间距内完成目标选择操作,在间接设备上的效果更好。最后,对两种设备的用户使用习惯进行了总结,为基于笔倾斜角的用户界面设计提供了帮助和参考。

Graphire数位板—一种新型的电脑输入设备

近年来 ,随着Windows9X操作系统的不断完善与成熟 ,随着网络技术和多媒体技术的开发与应用 ,适用于图形用户界面操作的新一代微型计算机输入设备也在不断的探索与研制中陆续问世。本文所介绍的WACOMGraphire序列数位板就是众多电脑输入设备后起之秀中的一个实例。该设备不仅可以代替鼠标器用做手持式坐标定位部件 ,而且为人们告别低速、低效的键盘汉字输入方法提供了一条很好的思路。它的出现不但对那些非计算机行业的老人 ,对于各行各业的计算机用户 ,对于看不见键盘的盲人和不能进行手工输入的残疾人是一种帮助 ,而且也给正在快速步入计算机化、网络化、多媒体化的现代化医院管理、诊断、治疗和化验等工作提供了一种操作简洁的汉字、数字及图形等信息输入工具。

基于笔的人机界面和人机交互发展方向

1 引言 随着计算机时代的到来和发展,基于笔交互的计算技术越来越受到人们的关注.早在1991年2月美国微软公司和GO公司分别发布了笔输入操作系统Windows for Pen,PenPoint[2],接着有Apple公司的Newton, 和General Magic 的 Magic Cap等,这些系统和产品的出现及发展大大推动了基于笔交互的计算模式和笔交互技术的发展.以此为推动力,特别是在日美等国,各式各样的试验产品及商品相继推出,自此笔输入设备成为投资和开发的热点.随着笔交互的硬件和软件系统的发展,美国Xerox PARC的Weiser提倡的无处不在的计算模式(ubiquitous computing[25,26]更把笔交互的研究推向了高潮.在笔交互提出的初期,也有人曾经对笔输入持怀疑或轻视的态度.尽管如此,笔输入的研究开发与市场开拓仍然保持并行发展,特别是当今世界上采用笔输入的电子笔记本,移动式信息机器,电子黑板以及各种绘图软件的开发和销售使用.

一种基于实时手写字符和方程自动语法分析的数学方程编辑系统

本文介绍的数学方程编辑器是基于手写字符识别和方程自动语法分析 ,连同用户接口组成一个具有自动分析说明的简单纠错编辑系统 ,虽然在公式识别之前有些修正还必须依赖于使用者 ,但与基于特殊方程描述语言的编辑系统相比 。

一个简单笔式交互系统的实现

以用户为中心的思想,引入笔交互风格,运用Fonseca和Jorge提出的模糊逻辑识别算法,采用了中科院软件所的笔式应用开发平台PenUI作为底层支撑,设计并实现了一个能识别基本几何图形和简单手势的交互式系统。所采用的识别算法是一种识别多笔画几何草图简单方法。它利用图形的暂时邻接关系和全局几何特征来识别一些简单的几何图形,其中有实线和虚线两种。