基于混合Transformer模型的三维视线估计

针对当前在无约束环境中,进行视线估计任务时准确度不高的问题,提出了一种基于混合Transformer模型的视线估计方法.首先,对MobileNet V3网络进行改进,增加了坐标注意力机制,提高MobileNet V3网络特征提取的有效性;再利用改进的MobileNet V3网络从人脸图像中提取视线估计特征;其次,对Transformer模型的前向反馈神经网络层进行改进,加入一个卷积核大小为3×3的深度卷积层,来提高全局特征整合能力;最后,将提取到的特征输入到改进后的Transformer模型进行整合处理,输出三维视线估计方向.在MPIIFaceGaze数据集上进行评估,该方法的视线估计角度平均误差为3.56°,表明该模型能够较为准确地进行三维视线估计.

双向融合CNN与Transformer的三维视线估计

针对当前视线估计任务在无约束环境中易受影响因素干扰,准确度不高的问题,提出一种卷积与注意力双分支并行的特征交叉融合视线估计方法,提升了特征融合的有效性和网络性能.首先,对Mobile-Former网络进行改进,引入了线性注意力机制和部分卷积,有效提高了特征提取能力并且降低了计算成本;其次,增加了基于300W-LP数据集预训练的ResNet50头部姿态特征估计网络分支来增强视线估计的准确度,并使用Sigmoid函数作为门控单元来筛选有效特征;最后,将面部图像输入神经网络进行特征提取和融合,输出三维视线估计方向.在MPIIFace-Gaze和Gaze360数据集上评估模型,该方法的视线平均角度误差为3.70°和10.82°,通过与其他主流三维视线估计方法比较,验证了该网络模型能够比较准确的估计三维视线方向并降低计算复杂度.

沉浸式三维视线追踪算法研究

针对大型沉浸式虚拟环境中人机交互完全依赖肢体动作且效率低等问题,提出利用三维视线追踪技术得到用户注视点,以实现交互操作,为沉浸式环境提供一种自然、双向的交互手段。创新性地将Leap Motion用于瞳孔位置跟踪,通过被动式光学追踪设备获取使用者的头部运动状态,依据初始标定得到的映射方程来估计使用者大空间范围内自由运动状态下的三维注视点。实验表明,使用者在3.0 m×3.2 m×2.0 m的空间内自由运动时,集成系统对三维注视点的估计频率可达60 Hz,估计误差小于45 mm,为视线追踪在沉浸式虚拟环境中的广泛应用奠定了基础。

基于双眼模型的三维视线估计方法

提出一种基于双眼模型的三维视线估计方法,以期克服二维视线跟踪方法固有的两个缺点,即对于使用者头部运动限制以及个体参数标定过程繁琐。该方法首先利用两个安装有红外灯组的摄像机组成立体视觉系统,实现人脸双眼图像的采集,之后,基于眼睛角膜球状假设,建立了一个适用于三维视线估计的三维眼模型,在此基础上,推导出人眼三维光轴的估计方法。用左右眼光轴与屏幕交点连线的中点估计方法,计算出注视点。该方法可在使用者头部运动的情况下,完成视线估计,且只需进行一次系统校准即可使用,无需其它标定过程,视线估计精度较高。

基于ShuffleNet V2算法的三维视线估计

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNet V2网络对脸部图片进行特征处理,并加入人脸对齐算法,减少头部角度误差的影响。眼睛子网络通过ShuffleNet V2与ResNet V2算法进行眼睛图片的并行特征处理。网络对特征图片处理后得到角度参数,最后通过坐标变换得到视线角度。并在MPIIGaze数据集上进行了实验。针对精度的不足对算法进行改进,在ShuffleNet V2中加入注意力机制(逐点平方操作模块),并进行了改进算法的验证实验,最后和多种先进的算法进行了实验对比。实验表明,改进后的算法比其他算法的精度要高。

一种单目无反射的头戴式三维视线跟踪系统

针对头戴式视线跟踪的三维方法获取视线方向,通常需要复杂的硬件结构或者是需要使用眼睛平均生理参数的问题,提出一种基于瞳孔轮廓的三维眼球拟合模型。在只使用单相机的条件下,根据瞳孔轮廓的运动轨迹拟合模型获取三维视线方向,并在此基础上提出了一种三维到二维的视线映射模型。避免了头戴式设备的复杂结构和对眼睛平均参数的使用。实验结果表明,该方法能够提高注视精度和简化硬件结构。

一种基于MLP的高效高精度三维视线估计方法

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴起的研究表明,网络结构更为简单的多层感知机(MLP)模型能够取得与当前最佳CNN、Transformer模型相当的性能。受此启发,提出了一种基于MLP的高效高精度三维视线估计方法,利用MLP模型对双眼、人脸图像提取特征,之后融合推导出三维视线。实验结果表明,对MPIIFaceGaze数据集和EyeDiap数据集中包含的31位不同相貌的受试者,使用提出的方法UM-Net进行视线估计,视线估计精度比肩基于CNN的,并且在视线估计速度上具有明显优势,在实时性要求较高的领域也有较好的应用前景。

基于特征的视线跟踪方法研究综述

针对基于特征的视线跟踪方法进行了综述.首先对视线跟踪技术的发展、相关研究工作和研究现状进行了阐述;然后将基于特征的视线跟踪方法分成了两大类:二维视线跟踪方法和三维视线跟踪方法,从硬件系统配置、误差主要来源、头部运动影响、优缺点等多个方面重点分析了这两类视线跟踪方法,对近五年现有的部分基于特征的视线跟踪方法进行了对比分析,并对二维视线跟踪系统和三维视线跟踪系统中的几个关键问题进行了探讨;此外,介绍了视线跟踪技术在人机交互、医学、军事、智能交通等多个领域的应用;最后对基于特征的视线跟踪方法的发展趋势和研究热点进行了总结与展望.

轻量化高精度三维眼动追踪系统

作为新型的视觉感知与认知研究的基础方法,三维眼动跟踪技术和系统已成为当前心理学、计算机科学、人机交互等学科的研究热点。目前三维眼动跟踪系统普遍采用多摄像机与多红外光源技术来实现,其注视精度高,但系统复杂繁重、配准过程繁琐,滑移误差无法避免。因此,难以在要求轻量化和高精度的领域获得应用,如航空航天等领域。为此,本文提出并实现了一种单相机单光源三维眼动跟踪系统,该系统使用瞳孔逆投影时序序列法向量求交来获得高精度的三维视线,通过双目三维视线获得注视深度信息,通过一种IMU滑移补偿算法实现滑移误差校正。相比多摄像机多红外光源的技术方案,本文技术的整体设备重量为后者的1/4;在保证注视精准度的情况下,设备具有更高鲁棒性。

面向海上搜救的UAV与USV集群协同路径跟踪控制

[目的]针对由无人机(UAV)与水面无人艇(USV)组成的异构无人集群系统,研究其在海上搜救过程中的三维协同路径跟踪控制问题。[方法]首先,在固定坐标系和机体坐标系下建立UAV和USV的运动学模型,同时建立流体坐标系,以设计适宜运动控制的三维路径跟踪控制器,并在Serret-Frenet坐标系下建立UAV和USV的路径跟踪误差模型;然后,在运动学层面设计三维视线(LOS)制导律,并基于此提出一种适用于异构海洋航行器集群的协同路径跟踪控制方法,从而使UAV与USV组成的集群系统可以有效跟踪设定的参数化路径;最后,基于李雅普诺夫稳定性理论分析该控制系统的稳定性。[结果]仿真结果验证了所提异构海洋航行器集群协同路径跟踪控制方法的有效性。[结论]研究成果可为面向海上搜救的无人航行器集群协同路径跟踪控制方法提供参考。