基于元宇宙MR的通信工程实施建模应用平台研究

基于混合现实平台,研究开发通信工程实施建模应用平台,构建通信工程高频常用设备三维模型,关联自动识别功能,通过视觉凝视、手势控制、语音输入等进行人机实时交互,实现实时的自动识别、施工操作指引,提高通信工程施工效率和质量。

靶刺激变换对情景知觉过程中注视控制的影响

研究考察了情景浏览过程中靶刺激变换对注视控制的影响,运用了眼动记录技术。实验采用2(靶刺激位置:左、右)×2(变换方式:增加靶刺激、删除靶刺激)的重复测量设计。结果发现:(1)靶刺激变换方式对靶刺激所属兴趣区首次注视启动时间存在显著性影响,并对靶刺激所属兴趣区的前3次注视持续时间产生影响;(2)靶刺激位置属性对兴趣区首次注视启动时间、前3次注视持续时间均不存在显著影响。结果表明,与靶刺激增加相比,靶刺激的删除更易引起被试的优先注意,而且会抑制首次注视过程中的信息提取。

真实情景知觉中注视控制的研究进展

人类的视觉系统是获得外部信息的重要通道之一。在真实情景知觉的过程中,视觉信息的获得受到个体眼动的影响。本文介绍了有关真实情景知觉中注视控制研究的争论及研究进展,对自下而上以情景信息为基础的注视控制和自上而下知识驱动的注视控制的研究进行了评述,并提出了进一步的研究思路。

自动适应用户头部位置变化的眼睛盯视输入系统

完整地建立起一种以红外辅助光源在人眼角膜上的反射点为参考点、瞳孔相对偏移为依据的眼睛盯视输入传感模型 ,提出一种能对用户头部位置变化自动适应的控制策略 ,能有效地克服同类系统使用中要求使用者头部位置固定或只允许有少量运动的不足 ,具有使用方便、交互自然等特点。实验结果验证了有关结论。

驾驶员视线估计方法综述

研究基于计算机视觉的视线估计方法,对驾驶员视线估计的暨有研究成果加以回顾与评述,并对可能的发展趋势进行分析。主要针对3类基于计算机视觉的方法展开论述:基于PCCR(Pupil Center Corneal Reflection)技术的视线估计方法;基于AAM模型(Active Appearance Model)的视线估计方法;基于统计模式识别的视线估计方法。总体上讲各种技术都是基于图像传感器的,很难突破图像传感器特有的鲁棒性不强、难以适应全天候工作要求的缺点,但各种技术有着各自的特点,因此也很难用统一的标准去衡量各种监测技术的优劣。本文给出了几种有代表性系统的性能比较。

基于视线跟踪技术的眼控鼠标

利用基于图像处理技术的视线方向识别、跟踪方法,通过近红外光线在眼睛角膜反射产生的光斑和瞳孔中心的位置关系来确定视线方向,推导出人眼在计算机屏幕上的注视点,进而实现人眼对鼠标的定位与操作,其在显示屏上定位精度可达到40×40像素.

仿生眼注视转移运动控制策略研究

对目标在双目水平平面上深度非对称的注视点转移任务,提出了一种基于注视点水平方向转移幅度的分段式头眼协调控制策略,并建立了注视转移运动控制模型。水平方向注视转移幅度小于头部运动阈值,眼球做扫视-异向运动;水平方向注视转移幅度大于头部运动阈值且小于眼球转动的饱和阈值时头眼协调运动;当水平方向注视转移幅度大于眼球转动饱和阈值时,头部先运动使目标处于眼球运动可达范围,再进行头眼协调运动完成注视转移。仿真实验证实了方案可行性和有效性,适用于仿生眼双目水平平面上视线切换。

驾驶分心对隧道段行车安全影响分析

为研究驾驶分心对隧道段行车安全的影响,在虚拟驾驶环境下设计次任务试验,要求被试驾驶人执行多组不同类型、难度的手动与无手动次任务,同时利用眼动追踪装置采集驾驶人视觉特征参数。在筛选有效数据的基础上,运用统计学与数据挖掘方法比较驾驶人在隧道内执行不同次任务时,车辆运行速度离散性、视觉搜索区域面积、瞳孔面积变化率和次任务持续时间的差异,并分析统计显著性。结果表明,驾驶人在执行手动次任务、无手动次任务、无次任务3种状态下,执行手动次任务时车辆运行速度离散性最大、视觉搜索区域面积最小、瞳孔面积变化率最大,次任务持续时间最长;无次任务时车辆运行速度离散性最小、视觉搜索区域面积最大、瞳孔面积变化率最小;无手动次任务的试验结果居于两者之间,次任务持续时间最短。上述差异具有统计学显著性,主观感知评价与客观数据具有一致性。研究表明,手动与无手动次任务使驾驶人心理负荷明显增大,手动次任务对驾驶人的影响最为明显,因此驾驶分心次任务对隧道段行车安全影响较大。

儿童软式垒球挥棒击球的视觉落点特异性研究

视觉控制能力对于运动学习的重要意义正如其对于课业学习一样,是认知活动的首要关卡。儿童软式垒球的教学与研究在我国方兴未艾。为探究眼动特征与运动学习的关系,使用德制i View X HED4头戴式眼动仪,测量15名有过棒球训练的儿童与15名从未接受过棒球训练的儿童,在击球前0.167 s、0.1 s以及击中球体时的视觉落点偏移值,分析视觉落点偏移值与击球成功率的关系,比较有无棒球训练经验对儿童的视觉落点偏移值的影响,以及击球成功率不同的儿童的视觉落点偏移值差异。结论:(1)无论有无棒球训练经验,视觉落点偏移值均与击球成功率呈现显著负相关(P<0.01);(2)棒球组儿童的视觉落点偏移值显著小于一般组(P<0.05);(3)击球成功率为100%的儿童,存在明显不同于其他儿童的眼动特异性,视觉控制能力显著优于其他儿童(P<0.01)。

基于视线的眼动跟踪人机交互系统研究

介绍了系统的工作原理,建立了信息交流和控制的系统结构,将面向对象和基于事件驱动的处理方法应用于通信协议的建立和通信控制过程。结合具体通信控制单元三菱PLC和FX1N-232-BD与PC串口RS-232C的通信,编写了算法和通信控制的代码。

对精神分裂症患者注视识别的对照研究

旨在研究精神分裂症患者的注视识别。方法 以对图片识别的敏感性、特异性、阳性偏差和总正确数为指标 ,评价精神分裂症患者 ;分型前后分别与对照组对比 ,并观察治疗前后的变化。结果 与对照组比较 ,精神分裂症患者注视识别的特异性分 ,总正确数有显著差异 (P <0 .0 0 1) ;分型比较两型间敏感性分差异亦明显 (P <0 .0 1) ;偏执型与对照组上述差异更大 ,阳性偏差分也表现出明显差异。结论 精神分裂症患者存在注视识别的缺陷。

情境意识及注视转移方式对塔台管制冲突的影响

为分析塔台管制中情境意识(SA)水平和注视转移方式对冲突的影响,利用模拟塔台管制软件和眼动仪构建试验平台,根据航班起降架次频率设计并实施简单和困难2组情景试验。利用三维SA评定技术(3D-SART)评价被试的SA水平,利用连接分析法分析被试在4个兴趣区域(AOI)间的注视转移方式,综合分析SA水平与注视转移方式对管制冲突的影响。结果表明,被试的SA水平和注视转移方式具有个体差异性;SA水平高的被试有更好的注意分配和决策能力,SA水平低的被试注意分配不够合理,决策占用较多注意资源;航班流量较大时,SA水平低的被试更容易疏漏重要信息,出现决策错误,甚至失去SA,造成管制冲突。

基于视觉的人机交互系统信息交流与控制

介绍了系统的工作原理,建立了信息交流和控制的系统结构,将面向对象和基于事件驱动的处理方法应用于通信协议的建立和通信控制过程。结合具体通信控制单元三菱PLC和FX IN-232-BD与PC串口RS-232C的通信,编写了算法和通信控制的代码,经实验证明,通信控制系统运行可靠。

视觉信息呈现材料对视线突显技术的影响作用

本研究选取了基于视线追踪的视线突显技术作为研究对象,探究视觉信息呈现材料对不同视线突显技术的影响作用。结果表明:(1)相比无突显,两种视线突显技术在搜索中均能提高操作绩效;(2)视线矩阵突显技术在提高搜索速度上更优于视线单项突显技术;(3)视线矩阵突显技术均能提高两种词频词组的搜索绩效,而低频词组搜索时,视线单项突显技术下的搜索正确率最优。本研究进一步考察视线突显技术规律特点,为其实际应用提供理论依据和设计思路。

管制员疲劳前后注视转移规律性探究

目的探究管制员疲劳前后在模拟管制任务中各区域的注视特征变化规律。方法利用塔台管制模拟软件和眼动仪搭建实验平台,记录受试者管制过程的眼动数据、主观疲劳状态和脑电变化信号;通过受试者主观报告KSS值与脑电变化共同判断疲劳,探究疲劳前后注视转移的差异。结果与正常状态相对比,受试者疲劳后在各兴趣区内部的注视一步转移概率明显增大(P<0.05),在多个输入型兴趣区之间注视一步转移概率明显减小(P<0.05),输入型兴趣区与输出型兴趣区之间的注视一步转移概率变化不明显。结论管制员疲劳导致其注视转移规律发生变化,存在管制行为差错的风险。

三维虚拟空间中转头选中远离和靠近运动目标的操作特性差异

通过转头选中运动目标是虚拟现实(VR)中的常见操作,然而运动目标包含远离和靠近运动,确定两类操作的时间特性差异对设计高效的用户接口有重要的意义。本研究选取17名被试在VR中通过转头将球体光标快速准确地放入水平运动的球体目标内,并改变初始距离、目标容差和目标速度。总时间结果显示,远离运动的操作难度更大,初始距离和目标容差对远离和靠近运动的影响相似,目标速度对两类运动的影响相反。进一步将光标的移动过程划分为加速、减速和调整阶段,结果发现,远离运动的加速和减速时间大于靠近运动,但是两类运动的调整时间接近,并且只有目标容差对两类运动的影响一致。最后构建了总时间与三因素的函数模型,成功解释了两类运动的操作时间特性。本研究证明了远离与靠近运动具有不同的操作时间特性,为两类运动的独立交互设计提供了重要参考。

基于机器学习的视线追踪方法及其在移动端四旋翼控制的应用

提出了一种基于机器学习的移动设备单目视线追踪技术。这种非侵入、便捷、低成本的注视追踪方法可以实时捕捉用户在移动设备屏幕上的注视点。结合四旋翼飞行器的三维运动控制,将用户的视线信号转化为四旋翼飞行器的控制信号,解决了以往控制方法的局限性,使用户可以通过视觉交互操控飞行器。为了明确该方法的可行性,本文设置了一条复杂的四旋翼飞行赛道。受试者被要求将视线介入到控制流中,以完成飞行任务。通过与基于操纵杆的控制方法进行比较,对飞行性能进行了评估。实验结果表明,本文方法能提高四旋翼飞行器运动轨迹的平滑性和合理性,并能为四旋翼飞行器控制引入多样性、便利性和直观性。

《审判》中的视觉活动分析

卡夫卡的《审判》中有着大量的视觉活动。约瑟夫·K一开始便被置于他者的凝视之下,在意识到他者的凝视后,K的视觉活动经历了三个阶段,从主动的视觉占有到视觉控制的彻底丧失,他从主体的位置移动到客体的位置。视觉盲点的存在让他凝固于客体的目光之中,无法返回主体位置。一方面,“法”作为他者的欲望对象,通过他者的欲望传递,成为K无法满足的欲求对象。另一方面,“法”无时无刻不在的目光,使得K处于全景敞视的监视之下,这种凝视压力最终内化于K的精神之中。最终,K在错误的视觉定位中以他者的视点寻找自己之罪。

基于混合视线-脑机接口与共享控制的人-机器人交互系统

设计了一种基于混合视线一脑机接口与共享控制的人一机器人交互系统,以使得用户可通过视线和意念对机器人末端在2维空间进行连续的运动控制,并在避障和趋近目标的任务中获得机器智能的辅助.首先,按照用户运动意念的强度对机器人末端的运动速度大小进行等比例连续调节,以提高用户对机器人的控制感以及完成任务的参与性.然后,提出了机器人末端运动方向的一种共享控制策略,动态地融合基于视线追踪技术所得到的用户方向控制指令以及由机器人避障和趋近目标的行为设定所得到的机器人系统方向控制指令,自适应地调整机器人系统对用户的辅助力度,以减轻用户脑力负荷,提高任务完成成功率.最后,针对搭建的基于混合视线-脑机接口和共享控制的人-机器人交互平台,通过实验验证了所提系统的有效性.

基于手眼双模态人机接口的移动机器人编队共享控制

传统的基于手控器单模态人机接口的移动机器人编队控制系统在进行队形变换和局部避障等复杂运动控制时效果较差。本文针对此问题提出了一种基于力反馈手控器和眼动仪双模态人机接口的编队共享控制方法。首先,将操作员的手部输入信号和视线跟踪信号分别映射为编队行进和队形切换命令。然后,设计一个由主端遥操作控制器和从端自主控制器组成的共享控制框架。主端遥操作控制器负责接收分发操作员的控制命令并接管编队行进运动控制和队形切换控制,从端自主控制器负责根据系统状态自主完成队形保持、外部避障和内部避碰等任务。最后,通过避障实验、队形切换实验和单双模态对比实验来证明该控制方法的有效性。实验结果表明,相对于传统的单模态双边遥操作控制,本文提出的控制方法降低了操作负荷,控制效率提升了17.42%。