基于混合Transformer模型的三维视线估计

针对当前在无约束环境中,进行视线估计任务时准确度不高的问题,提出了一种基于混合Transformer模型的视线估计方法.首先,对MobileNet V3网络进行改进,增加了坐标注意力机制,提高MobileNet V3网络特征提取的有效性;再利用改进的MobileNet V3网络从人脸图像中提取视线估计特征;其次,对Transformer模型的前向反馈神经网络层进行改进,加入一个卷积核大小为3×3的深度卷积层,来提高全局特征整合能力;最后,将提取到的特征输入到改进后的Transformer模型进行整合处理,输出三维视线估计方向.在MPIIFaceGaze数据集上进行评估,该方法的视线估计角度平均误差为3.56°,表明该模型能够较为准确地进行三维视线估计.

双向融合CNN与Transformer的三维视线估计

针对当前视线估计任务在无约束环境中易受影响因素干扰,准确度不高的问题,提出一种卷积与注意力双分支并行的特征交叉融合视线估计方法,提升了特征融合的有效性和网络性能.首先,对Mobile-Former网络进行改进,引入了线性注意力机制和部分卷积,有效提高了特征提取能力并且降低了计算成本;其次,增加了基于300W-LP数据集预训练的ResNet50头部姿态特征估计网络分支来增强视线估计的准确度,并使用Sigmoid函数作为门控单元来筛选有效特征;最后,将面部图像输入神经网络进行特征提取和融合,输出三维视线估计方向.在MPIIFace-Gaze和Gaze360数据集上评估模型,该方法的视线平均角度误差为3.70°和10.82°,通过与其他主流三维视线估计方法比较,验证了该网络模型能够比较准确的估计三维视线方向并降低计算复杂度.

基于3D人眼模型的视线跟踪技术综述

针对基于3D人眼模型的视线跟踪技术进行了综述.首先对视线跟踪技术及其常见应用进行了概述;然后简单阐述了现有视线跟踪方法及其分类;重点分析基于3D人眼模型的视线跟踪方法,并根据硬件配置的不同,将基于3D人眼模型的方法分为单摄像头无光源、单摄像头单光源、单摄像头多光源、多摄像头多红外光源及基于RGB-D摄像机5类进行概述,对比分析了现有的基于3D人眼模型的视线跟踪技术;最后对基于3D人眼模型的视线跟踪技术的难点及发展趋势进行了简单的分析与总结.

Embedding 3-D Gaze Points on a 3-D Visual Field:A Case of Transparency

2022 The paper seeks to demonstrates the likelihood of embedding a 3D gaze point on a 3D visual field,the visual field is inform of a game console where the user has to play from one level to the other by overcoming obstacles that will lead them to the next level.Complex game interface is sometimes difficult for the player to progress to next level of the game and the developers also find it difficult to regulate the game for an average player.The model serves as an analytical tool for game adaptations and also players can track their response to the game.Custom eye tracking and 3D object tracking algorithms were developed to enhance the analysis of the procedure.This is a part of the contributions to user interface design in the aspect of visual transparency.The development and testing of human computer interaction uses and application is more easily investigated than ever,part of the contribution to this is the embedding of 3-D gaze point on a 3-D visual field.This could be used in a number of applications,for instance in medical applications that includes long and short sightedness diagnosis and treatment.Experiments and Test were conducted on five different episodes of user attributes,result show that fixation points and pupil changes are the two most likely user attributes that contributes most significantly in the performance of the custom eye tracking algorithm the study.As the advancement in development of eye movement algorithm continues user attributes that showed the least likely appearance will prove to be redundant.

结合雷达目标检测的远距离3D注视点估计

基于2D映射与双目视线相交方法计算得到的3D注视点在角度估计方面已有较高的精度,但在注视距离估计方面还存在较大误差.为此,提出一种借助毫米波雷达检测场景目标的3D注视点辅助估计的方法.首先利用一个可移动标定物的移动形成一个虚拟标定平面,用于双眼的2D平面注视点标定;然后通过2D映射的方式计算出左右眼在标定平面上的2D注视点,结合眼球位置可计算出3D注视方向;最后在雷达检测的目标点中筛选出与注视方向角度误差最小的点作为候选点,取该点的距离值产生一个虚拟平面,截取左右视线,取2个截取点的中点作为3D注视点估计结果.设计了融合毫米波雷达、摄像机和可移动标定物的实验装置,在4.0~10.2 m的距离范围内进行3D注视点测试,实验结果表明,该方法的平均角度误差为0.9°,平均欧几里得度量误差为130 mm,结果优于双眼数据几何映射法和深度摄像机辅助估计法.

轻量化高精度三维眼动追踪系统

作为新型的视觉感知与认知研究的基础方法,三维眼动跟踪技术和系统已成为当前心理学、计算机科学、人机交互等学科的研究热点。目前三维眼动跟踪系统普遍采用多摄像机与多红外光源技术来实现,其注视精度高,但系统复杂繁重、配准过程繁琐,滑移误差无法避免。因此,难以在要求轻量化和高精度的领域获得应用,如航空航天等领域。为此,本文提出并实现了一种单相机单光源三维眼动跟踪系统,该系统使用瞳孔逆投影时序序列法向量求交来获得高精度的三维视线,通过双目三维视线获得注视深度信息,通过一种IMU滑移补偿算法实现滑移误差校正。相比多摄像机多红外光源的技术方案,本文技术的整体设备重量为后者的1/4;在保证注视精准度的情况下,设备具有更高鲁棒性。

一种基于MLP的高效高精度三维视线估计方法

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴起的研究表明,网络结构更为简单的多层感知机(MLP)模型能够取得与当前最佳CNN、Transformer模型相当的性能。受此启发,提出了一种基于MLP的高效高精度三维视线估计方法,利用MLP模型对双眼、人脸图像提取特征,之后融合推导出三维视线。实验结果表明,对MPIIFaceGaze数据集和EyeDiap数据集中包含的31位不同相貌的受试者,使用提出的方法UM-Net进行视线估计,视线估计精度比肩基于CNN的,并且在视线估计速度上具有明显优势,在实时性要求较高的领域也有较好的应用前景。

沉浸式三维视线追踪算法研究

针对大型沉浸式虚拟环境中人机交互完全依赖肢体动作且效率低等问题,提出利用三维视线追踪技术得到用户注视点,以实现交互操作,为沉浸式环境提供一种自然、双向的交互手段。创新性地将Leap Motion用于瞳孔位置跟踪,通过被动式光学追踪设备获取使用者的头部运动状态,依据初始标定得到的映射方程来估计使用者大空间范围内自由运动状态下的三维注视点。实验表明,使用者在3.0 m×3.2 m×2.0 m的空间内自由运动时,集成系统对三维注视点的估计频率可达60 Hz,估计误差小于45 mm,为视线追踪在沉浸式虚拟环境中的广泛应用奠定了基础。

基于视线跟踪的增强现实交互

为了给增强现实系统提供一种直接、自然及双向的交互手段,本文将视线跟踪技术和增强现实技术相结合,提出了基于视线跟踪的增强现实集成原型系统,该系统既能跟踪用户的视线方向,获得用户在场景的感兴趣区域,又能体现增强现实系统的特点。针对集成系统的基本要求,结合光学透视式头盔显示器的虚拟摄像机模型,详细介绍了系统的原理,光路设计和虚拟信息注册算法。实验结果表明,集成系统达到了良好的人机交互效果,为视线跟踪与增强现实技术的广泛应用奠定了良好的基础。

基于双眼模型的三维视线估计方法

提出一种基于双眼模型的三维视线估计方法,以期克服二维视线跟踪方法固有的两个缺点,即对于使用者头部运动限制以及个体参数标定过程繁琐。该方法首先利用两个安装有红外灯组的摄像机组成立体视觉系统,实现人脸双眼图像的采集,之后,基于眼睛角膜球状假设,建立了一个适用于三维视线估计的三维眼模型,在此基础上,推导出人眼三维光轴的估计方法。用左右眼光轴与屏幕交点连线的中点估计方法,计算出注视点。该方法可在使用者头部运动的情况下,完成视线估计,且只需进行一次系统校准即可使用,无需其它标定过程,视线估计精度较高。

基于ShuffleNet V2算法的三维视线估计

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNet V2网络对脸部图片进行特征处理,并加入人脸对齐算法,减少头部角度误差的影响。眼睛子网络通过ShuffleNet V2与ResNet V2算法进行眼睛图片的并行特征处理。网络对特征图片处理后得到角度参数,最后通过坐标变换得到视线角度。并在MPIIGaze数据集上进行了实验。针对精度的不足对算法进行改进,在ShuffleNet V2中加入注意力机制(逐点平方操作模块),并进行了改进算法的验证实验,最后和多种先进的算法进行了实验对比。实验表明,改进后的算法比其他算法的精度要高。

一种单目无反射的头戴式三维视线跟踪系统

针对头戴式视线跟踪的三维方法获取视线方向,通常需要复杂的硬件结构或者是需要使用眼睛平均生理参数的问题,提出一种基于瞳孔轮廓的三维眼球拟合模型。在只使用单相机的条件下,根据瞳孔轮廓的运动轨迹拟合模型获取三维视线方向,并在此基础上提出了一种三维到二维的视线映射模型。避免了头戴式设备的复杂结构和对眼睛平均参数的使用。实验结果表明,该方法能够提高注视精度和简化硬件结构。

基于元宇宙MR的通信工程实施建模应用平台研究

基于混合现实平台,研究开发通信工程实施建模应用平台,构建通信工程高频常用设备三维模型,关联自动识别功能,通过视觉凝视、手势控制、语音输入等进行人机实时交互,实现实时的自动识别、施工操作指引,提高通信工程施工效率和质量。

眼球光心标定与距离修正的3维注视点估计

目的在基于双目视线相交方法进行3维注视点估计的过程中,眼球光心3维坐标手工测量存在较大误差,且3维注视点估计结果在深度距离方向偏差较大。为此,提出了眼球光心标定与距离修正的方案对3维注视点估计模型进行改进。方法首先,通过图像处理算法获取左右眼的PCCR (pupil center cornea reflection)矢量信息,并使用二阶多项式映射函数得到左、右眼的2维平面注视点;其次,通过眼球光心标定方法获取眼球光心的3维坐标,避免手工测量方法引入的误差;然后,结合平面注视点得到左、右眼的视线方向,计算视线交点得到初步的3维注视点;最后,针对结果在深度距离方向抖动较大的问题,使用深度方向数据滤波与Z平面截取修正法对3维注视点结果进行修正处理。结果选择两个不同大小的空间测试,实验结果表明该方法在3050 cm的工作130 cm的工作距离内,角度偏差1. 0°,距离偏差117. 4 mm。与其他的3维注视点估计方法相比较,在同样的测试空间条件下,角度偏差和距离偏差均显著减小。结论提出的眼球光心标定方法可以方便准确地获取眼球光心的3维坐标,避免手工测量方法带来的误差,对角度偏差的减小效果显著。提出的深度方向数据滤波与Z平面截取修正法可以有效抑制数据结果的抖动,对距离偏差的减小效果显著。