基于混合Transformer模型的三维视线估计

针对当前在无约束环境中,进行视线估计任务时准确度不高的问题,提出了一种基于混合Transformer模型的视线估计方法.首先,对MobileNet V3网络进行改进,增加了坐标注意力机制,提高MobileNet V3网络特征提取的有效性;再利用改进的MobileNet V3网络从人脸图像中提取视线估计特征;其次,对Transformer模型的前向反馈神经网络层进行改进,加入一个卷积核大小为3×3的深度卷积层,来提高全局特征整合能力;最后,将提取到的特征输入到改进后的Transformer模型进行整合处理,输出三维视线估计方向.在MPIIFaceGaze数据集上进行评估,该方法的视线估计角度平均误差为3.56°,表明该模型能够较为准确地进行三维视线估计.

基于CB-ViT的青少年视线估计算法研究

视线估计技术在人机交互、虚拟现实和医学辅助诊断等领域有着广泛应用。然而,现有的公开数据集主要针对成年人,导致基于这些数据集训练的视线估计算法在应用于青少年群体时效果通常不尽如人意。为了解决这一问题,收集了一个名为“Young-Gaze”的青少年视线数据集,涵盖了107位青少年的视线数据。还提出了一种2D视线估计算法,该算法基于ViT并引入了一个名为上下文广播的模块,同时通过融合左眼和右眼的不同层次特征,显著增强了网络模型在特征表达上的能力。在实验中,该算法在Young-Gaze数据集上展现了出色的性能,达到了5.42 cm的误差,性能优于当前其他同类2D视线估计算法。除了在Young-Gaze数据集上取得显著性能外,该算法同样在公开的2D视线估计数据集如GazeCapture和MPIIFaceGaze上进行了训练和测试,也展现了良好的性能,表明该算法不仅适用于青少年群体,也能够在成人群体中得到有效应用。

基于深度学习的视线估计方法综述

视线估计是一种预测人眼注视位置或注视方向的技术,在人机交互和计算机视觉的应用中发挥重要作用。近几年,深度学习的飞速发展改变了许多计算机视觉任务,利用深度学习进行基于外观的视线估计已成为关注热点。围绕深度学习模型的训练流程,从视线数据预处理、视线特征提取、视线学习策略、视线估计模型结构四个方面对近年基于深度学习的视线估计方法进行了综述和分析;然后介绍视线估计领域主流公开数据集,并对常用数据集分别进行2D和3D视线估计方法的对比分析。最后,探讨了当前视线估计领域的研究难点与挑战,并对未来的发展趋势进行总结与展望。

双向融合CNN与Transformer的三维视线估计

针对当前视线估计任务在无约束环境中易受影响因素干扰,准确度不高的问题,提出一种卷积与注意力双分支并行的特征交叉融合视线估计方法,提升了特征融合的有效性和网络性能.首先,对Mobile-Former网络进行改进,引入了线性注意力机制和部分卷积,有效提高了特征提取能力并且降低了计算成本;其次,增加了基于300W-LP数据集预训练的ResNet50头部姿态特征估计网络分支来增强视线估计的准确度,并使用Sigmoid函数作为门控单元来筛选有效特征;最后,将面部图像输入神经网络进行特征提取和融合,输出三维视线估计方向.在MPIIFace-Gaze和Gaze360数据集上评估模型,该方法的视线平均角度误差为3.70°和10.82°,通过与其他主流三维视线估计方法比较,验证了该网络模型能够比较准确的估计三维视线方向并降低计算复杂度.

融合高频信息增强和注意力机制的视线估计方法

准确的视线注视方向估计是人机交互和虚拟现实等应用场景中的关键技术。基于外观的视线估计是目前的主流方法,然而,因为眼睛外观、光线条件和头部姿态的多样性,所以无约束环境下的视线估计仍然是一个具有挑战性的任务。提出了一种高频信息视线估计网络(HFA-Net)。首先,在神经网络中加入高频信息提取模块和卷积注意力模块(CBAM),帮助网络减少冗余信息的影响;其次,将视线分为两个角度分别进行回归,并使用独立损失函数进行优化;最后,在公开数据集MPIIGaze上进行训练和测试。实验结果表明,该方法在MPIIGaze上取得了4.17°的最佳角度估计误差,超越目前主流算法。

基于CBAM-ResNet网络的视线估计方法

针对当前视线估计方法准确率不高的问题,提出了一种基于残差网络与注意力机制相结合的视线估计模型。首先,预处理阶段对人脸图像进行关键点定位、剪裁及归一化;然后,将归一化后的图像连续通过残差网络与CBAM(convolutional block attention module)注意力模块,进行人脸特征提取;最后,将神经网络输出的二维视线方向向量转换为三维视线方向向量,得到最终结果。实验结果表明,本模型在公共数据集MPIIFaceGaze上的视线误差角度为4.48o,与其他视线估计系统模型进行对比,本文所提出的模型可以更准确地估计视线方向。

一种基于MLP的高效高精度三维视线估计方法

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴起的研究表明,网络结构更为简单的多层感知机(MLP)模型能够取得与当前最佳CNN、Transformer模型相当的性能。受此启发,提出了一种基于MLP的高效高精度三维视线估计方法,利用MLP模型对双眼、人脸图像提取特征,之后融合推导出三维视线。实验结果表明,对MPIIFaceGaze数据集和EyeDiap数据集中包含的31位不同相貌的受试者,使用提出的方法UM-Net进行视线估计,视线估计精度比肩基于CNN的,并且在视线估计速度上具有明显优势,在实时性要求较高的领域也有较好的应用前景。

一种基于立体视觉的视线估计方法

针对现有视线估计方法存在的主要问题:限制使用者头部运动和个体标定问题,本文提出一种基于立体视觉的视线估计方法.建立了一种双相机双光源条件下计算眼睛光轴的five-spot模型,本模型估计眼球光轴三维方向只需要一次直线求交运算.以此为基础形成一种新的视线估计方法,本方法实现了自然头动视线估计,并且简化用户标定为单点标定.该方法的各个环节都满足实时性要求,为面向人机交互的视线追踪系统提供了有效的解决方案.

驾驶员视线估计方法综述

研究基于计算机视觉的视线估计方法,对驾驶员视线估计的暨有研究成果加以回顾与评述,并对可能的发展趋势进行分析。主要针对3类基于计算机视觉的方法展开论述:基于PCCR(Pupil Center Corneal Reflection)技术的视线估计方法;基于AAM模型(Active Appearance Model)的视线估计方法;基于统计模式识别的视线估计方法。总体上讲各种技术都是基于图像传感器的,很难突破图像传感器特有的鲁棒性不强、难以适应全天候工作要求的缺点,但各种技术有着各自的特点,因此也很难用统一的标准去衡量各种监测技术的优劣。本文给出了几种有代表性系统的性能比较。

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型。在该模型中,利用膨胀卷积设计了一种叫GENet(gaze estimation network)的网络提取眼睛的RGB和深度图像的特征图,并利用卷积神经网络的全连接层自动融合头部姿态和2种图像的特征图,从而进行视线估计。实验部分在公开数据集Eyediap上验证了设计的模型,并将设计的模型同其他视线估计模型进行比较。实验结果表明,提出的视线估计模型可以在自由的头部运动下准确地估计视线方向。

基于浅层残差网络的视线估计算法

针对目前的视线估计算法准确度较低的问题,提出一种基于浅层残差网络的算法。利用残差网络结构特点,对图片在不同层次提取到的特征进行融合计算。实验表明,使用基于浅层残差网络结构的算法与使用LeNet-5结构算法相比,准确率提升了近8.5%,视线估计算法准确度得到了有效的提升。

基于眼角精确定位的视线估计

设计了一个单摄像机、单红外光源的视线估计系统.利用了眼角的位置信息,提出了利用USM锐化粗定位和Gabor眼角滤波器精确定位的两步定位眼角的方法;针对传统的利用瞳孔普尔钦斑点向量进行多项式拟合在头部运动时估计精度下降的问题,提出了利用内眼角间距对普尔钦斑点向量进行矫正,并采用支持向量回归建立眼部特征参数与多项式拟合误差之间的关系,进行误差补偿;结合精确定位的眼角位置,建立了二维眼部特征与屏幕坐标之间的映射关系.实验表明,该方法实现了一定范围内头部自由运动下精确的视线估计.

基于差分卷积的自适应视线估计

文章提出了一种基于差分卷积神经网络的自适应视线估计模型。在模型中,融入头部姿态信息,利用差分卷积设计了一种差分网络(Differential Network,DNet),通过训练该网络来预测眼睛的凝视差异,用以校准初步视线估计结果,进而降低视线估计误差。通过在公开数据集Eyediap上进行验证,并与其他性能良好的视线估计模型进行比较,结果均表明所提出的视线估计模型在头部自由运动的状态下可以更准确地估计视线方向。

基于瞳孔角膜反射技术的视线估计方法

作为信息获取与人机交互的一种新型方式,视线跟踪技术已经成为计算机视觉领域的热门研究方向。视线跟踪的核心技术是视线估计。针对现有视线估计方法标定复杂、限制头部运动等问题,提出了一种改进的基于二维瞳孔角膜反射技术的视线估计方法。在单相机单光源条件下,通过建立瞳孔角膜反射模型、补偿个体差异误差、补偿头部运动误差等步骤实现单点标定视线估计。实验结果表明,用该算法估计视线,在一定范围内,头部移动不会带来精度的明显下降。

一种新的单点标定视线估计方法

在单相机单光源条件下,针对现有视线估计方法标定过程复杂的问题,提出一种新的单点标定视线估计方法.该方法预先建立屏幕中多个点的视线估计统计模型,进而通过插值估计用户在屏幕中的视点.主要创新工作有:1)提出一种基于统计的单点标定视线估计模型,降低了标定过程的复杂度;2)采用增量学习方法进一步更新模型,提高模型对不同用户以及头部运动的适应性.实验证明,本文方法在设备简单、允许头部运动的前提下,只需单点标定就能够取得较高精度.

一种基于标准化人眼图像的视线估计算法

本文提出了一种基于标准化人眼图像的视线估计算法,能有效解决头部运动对视线估计的影响.本算法在一个红外摄像机和三个红外光源的条件下,利用三个光斑(光源在角膜表面的反射点)的图像信息,将人眼图像变换到标准化人眼图像.通过引入标准化人眼图像,使屏幕平面到标准化人眼图像平面的射影变换为定值,从而使标准化人眼图像的瞳孔中心和屏幕上的视点的变换关系为定值,由此解决了头部运动对视线估计的影响.实验结果验证了该算法在头部运动情况下的有效性.

基于人眼特征信息的驾驶人眼视线估计

提出了一种新的基于人眼特征信息的驾驶人眼视线估计的算法,且研究使用普通的摄像头。采用Harris角点检测算法对驾驶人上、下眼睑外轮廓进行角点检测,拟合人眼轮廓曲线;再对人眼区域图像进行色彩空间转换提取灰阶值分量,图像亚像素下进行Hough边缘检测,设定相应的虹膜边缘曲率阈值,准确识别人眼虹膜边缘信息。算法结合虹膜和人眼轮廓信息对驾驶人眼视线进行估计。将提出的算法应用到实车试验中,采用facelab5眼动仪对驾驶人视线估计角度结果进行验证。试验结果表明,所采用的人眼视线角度估计算法在实际的驾驶环境中准确率较高。

基于双眼模型的三维视线估计方法

提出一种基于双眼模型的三维视线估计方法,以期克服二维视线跟踪方法固有的两个缺点,即对于使用者头部运动限制以及个体参数标定过程繁琐。该方法首先利用两个安装有红外灯组的摄像机组成立体视觉系统,实现人脸双眼图像的采集,之后,基于眼睛角膜球状假设,建立了一个适用于三维视线估计的三维眼模型,在此基础上,推导出人眼三维光轴的估计方法。用左右眼光轴与屏幕交点连线的中点估计方法,计算出注视点。该方法可在使用者头部运动的情况下,完成视线估计,且只需进行一次系统校准即可使用,无需其它标定过程,视线估计精度较高。

基于表观的归一化坐标系分类视线估计方法

视线估计能够反映人的关注焦点,对理解人类的情感、兴趣等主观意识有重要作用。但目前用于视线估计的单目眼睛图像容易因头部姿态的变化而失真,导致视线估计的准确性下降。提出一种新型分类视线估计方法,利用三维人脸模型与单目相机的内在参数,通过人脸的眼睛与嘴巴中心的三维坐标形成头部姿态坐标系,从而合成相机坐标系与头部姿态坐标系,并建立归一化坐标系,实现相机坐标系的校正。复原并放大归一化得到的灰度眼部图像,建立基于表观的卷积神经网络模型分类方法以估计视线方向,并利用黄金分割法优化搜索,进一步降低误差。在MPIIGaze数据集上的实验结果表明,相比已公开的同类算法,该方法能降低约7.4%的平均角度误差。

基于多任务辅助推理的近眼视线估计方法

眼动交互是头戴式虚拟现实(VR)/增强现实(AR)设备的关键操控方式,如何进行高精度、高鲁棒性的非标定视线估计是当前VR/AR眼动交互的核心问题之一,高效、鲁棒的非标定视线估计需要大量的眼图训练数据和高效的算法结构做支撑。在现有基于深度学习的近眼视线估计方法的基础上,通过添加多任务辅助推理模块,增加网络结构的多阶段输出,进行多任务联合训练,在不增加视线估计测试耗时的前提下,有效提升视线估计精度。在模型训练时,从视线估计网络结构的多个中间阶段引出多个眼部特征的辅助推理并行网络头,包括眼动图像的语义分割、虹膜边界框及眼部轮廓信息,为原始视线估计网络提供多阶段中继监控,在不增加训练数据的基础上,有效提升视线估计网络的测试精度。在国际公开数据集Acomo-14与OpenEDS2020上的验证实验表明,与无辅助推理的网络相比,所提方法精度分别得到了21.74%与18.91%的效果提升,平均角度误差分别减少到1.38°与2.01°。