基于混合Transformer模型的三维视线估计

针对当前在无约束环境中,进行视线估计任务时准确度不高的问题,提出了一种基于混合Transformer模型的视线估计方法.首先,对MobileNet V3网络进行改进,增加了坐标注意力机制,提高MobileNet V3网络特征提取的有效性;再利用改进的MobileNet V3网络从人脸图像中提取视线估计特征;其次,对Transformer模型的前向反馈神经网络层进行改进,加入一个卷积核大小为3×3的深度卷积层,来提高全局特征整合能力;最后,将提取到的特征输入到改进后的Transformer模型进行整合处理,输出三维视线估计方向.在MPIIFaceGaze数据集上进行评估,该方法的视线估计角度平均误差为3.56°,表明该模型能够较为准确地进行三维视线估计.

基于CBAM-ResNet网络的视线估计方法

针对当前视线估计方法准确率不高的问题,提出了一种基于残差网络与注意力机制相结合的视线估计模型。首先,预处理阶段对人脸图像进行关键点定位、剪裁及归一化;然后,将归一化后的图像连续通过残差网络与CBAM(convolutional block attention module)注意力模块,进行人脸特征提取;最后,将神经网络输出的二维视线方向向量转换为三维视线方向向量,得到最终结果。实验结果表明,本模型在公共数据集MPIIFaceGaze上的视线误差角度为4.48o,与其他视线估计系统模型进行对比,本文所提出的模型可以更准确地估计视线方向。

一种基于MLP的高效高精度三维视线估计方法

随着卷积神经网络(CNN)在计算机视觉领域的广泛应用,以及大量三维视线数据集的公开,基于表观和深度学习相结合的三维视线估计研究受到越来越多的关注。由于CNN结构复杂,这类方法在实时性要求较高的应用场景中还有待进一步改进。近来兴起的研究表明,网络结构更为简单的多层感知机(MLP)模型能够取得与当前最佳CNN、Transformer模型相当的性能。受此启发,提出了一种基于MLP的高效高精度三维视线估计方法,利用MLP模型对双眼、人脸图像提取特征,之后融合推导出三维视线。实验结果表明,对MPIIFaceGaze数据集和EyeDiap数据集中包含的31位不同相貌的受试者,使用提出的方法UM-Net进行视线估计,视线估计精度比肩基于CNN的,并且在视线估计速度上具有明显优势,在实时性要求较高的领域也有较好的应用前景。

一种基于立体视觉的视线估计方法

针对现有视线估计方法存在的主要问题:限制使用者头部运动和个体标定问题,本文提出一种基于立体视觉的视线估计方法.建立了一种双相机双光源条件下计算眼睛光轴的five-spot模型,本模型估计眼球光轴三维方向只需要一次直线求交运算.以此为基础形成一种新的视线估计方法,本方法实现了自然头动视线估计,并且简化用户标定为单点标定.该方法的各个环节都满足实时性要求,为面向人机交互的视线追踪系统提供了有效的解决方案.

驾驶员视线估计方法综述

研究基于计算机视觉的视线估计方法,对驾驶员视线估计的暨有研究成果加以回顾与评述,并对可能的发展趋势进行分析。主要针对3类基于计算机视觉的方法展开论述:基于PCCR(Pupil Center Corneal Reflection)技术的视线估计方法;基于AAM模型(Active Appearance Model)的视线估计方法;基于统计模式识别的视线估计方法。总体上讲各种技术都是基于图像传感器的,很难突破图像传感器特有的鲁棒性不强、难以适应全天候工作要求的缺点,但各种技术有着各自的特点,因此也很难用统一的标准去衡量各种监测技术的优劣。本文给出了几种有代表性系统的性能比较。

基于浅层残差网络的视线估计算法

针对目前的视线估计算法准确度较低的问题,提出一种基于浅层残差网络的算法。利用残差网络结构特点,对图片在不同层次提取到的特征进行融合计算。实验表明,使用基于浅层残差网络结构的算法与使用LeNet-5结构算法相比,准确率提升了近8.5%,视线估计算法准确度得到了有效的提升。

基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型。在该模型中,利用膨胀卷积设计了一种叫GENet(gaze estimation network)的网络提取眼睛的RGB和深度图像的特征图,并利用卷积神经网络的全连接层自动融合头部姿态和2种图像的特征图,从而进行视线估计。实验部分在公开数据集Eyediap上验证了设计的模型,并将设计的模型同其他视线估计模型进行比较。实验结果表明,提出的视线估计模型可以在自由的头部运动下准确地估计视线方向。

基于眼角精确定位的视线估计

设计了一个单摄像机、单红外光源的视线估计系统.利用了眼角的位置信息,提出了利用USM锐化粗定位和Gabor眼角滤波器精确定位的两步定位眼角的方法;针对传统的利用瞳孔普尔钦斑点向量进行多项式拟合在头部运动时估计精度下降的问题,提出了利用内眼角间距对普尔钦斑点向量进行矫正,并采用支持向量回归建立眼部特征参数与多项式拟合误差之间的关系,进行误差补偿;结合精确定位的眼角位置,建立了二维眼部特征与屏幕坐标之间的映射关系.实验表明,该方法实现了一定范围内头部自由运动下精确的视线估计.

基于差分卷积的自适应视线估计

文章提出了一种基于差分卷积神经网络的自适应视线估计模型。在模型中,融入头部姿态信息,利用差分卷积设计了一种差分网络(Differential Network,DNet),通过训练该网络来预测眼睛的凝视差异,用以校准初步视线估计结果,进而降低视线估计误差。通过在公开数据集Eyediap上进行验证,并与其他性能良好的视线估计模型进行比较,结果均表明所提出的视线估计模型在头部自由运动的状态下可以更准确地估计视线方向。

基于瞳孔角膜反射技术的视线估计方法

作为信息获取与人机交互的一种新型方式,视线跟踪技术已经成为计算机视觉领域的热门研究方向。视线跟踪的核心技术是视线估计。针对现有视线估计方法标定复杂、限制头部运动等问题,提出了一种改进的基于二维瞳孔角膜反射技术的视线估计方法。在单相机单光源条件下,通过建立瞳孔角膜反射模型、补偿个体差异误差、补偿头部运动误差等步骤实现单点标定视线估计。实验结果表明,用该算法估计视线,在一定范围内,头部移动不会带来精度的明显下降。

一种新的单点标定视线估计方法

在单相机单光源条件下,针对现有视线估计方法标定过程复杂的问题,提出一种新的单点标定视线估计方法.该方法预先建立屏幕中多个点的视线估计统计模型,进而通过插值估计用户在屏幕中的视点.主要创新工作有:1)提出一种基于统计的单点标定视线估计模型,降低了标定过程的复杂度;2)采用增量学习方法进一步更新模型,提高模型对不同用户以及头部运动的适应性.实验证明,本文方法在设备简单、允许头部运动的前提下,只需单点标定就能够取得较高精度.

一种基于标准化人眼图像的视线估计算法

本文提出了一种基于标准化人眼图像的视线估计算法,能有效解决头部运动对视线估计的影响.本算法在一个红外摄像机和三个红外光源的条件下,利用三个光斑(光源在角膜表面的反射点)的图像信息,将人眼图像变换到标准化人眼图像.通过引入标准化人眼图像,使屏幕平面到标准化人眼图像平面的射影变换为定值,从而使标准化人眼图像的瞳孔中心和屏幕上的视点的变换关系为定值,由此解决了头部运动对视线估计的影响.实验结果验证了该算法在头部运动情况下的有效性.

基于人眼特征信息的驾驶人眼视线估计

提出了一种新的基于人眼特征信息的驾驶人眼视线估计的算法,且研究使用普通的摄像头。采用Harris角点检测算法对驾驶人上、下眼睑外轮廓进行角点检测,拟合人眼轮廓曲线;再对人眼区域图像进行色彩空间转换提取灰阶值分量,图像亚像素下进行Hough边缘检测,设定相应的虹膜边缘曲率阈值,准确识别人眼虹膜边缘信息。算法结合虹膜和人眼轮廓信息对驾驶人眼视线进行估计。将提出的算法应用到实车试验中,采用facelab5眼动仪对驾驶人视线估计角度结果进行验证。试验结果表明,所采用的人眼视线角度估计算法在实际的驾驶环境中准确率较高。

基于双眼模型的三维视线估计方法

提出一种基于双眼模型的三维视线估计方法,以期克服二维视线跟踪方法固有的两个缺点,即对于使用者头部运动限制以及个体参数标定过程繁琐。该方法首先利用两个安装有红外灯组的摄像机组成立体视觉系统,实现人脸双眼图像的采集,之后,基于眼睛角膜球状假设,建立了一个适用于三维视线估计的三维眼模型,在此基础上,推导出人眼三维光轴的估计方法。用左右眼光轴与屏幕交点连线的中点估计方法,计算出注视点。该方法可在使用者头部运动的情况下,完成视线估计,且只需进行一次系统校准即可使用,无需其它标定过程,视线估计精度较高。

基于多任务辅助推理的近眼视线估计方法

眼动交互是头戴式虚拟现实(VR)/增强现实(AR)设备的关键操控方式,如何进行高精度、高鲁棒性的非标定视线估计是当前VR/AR眼动交互的核心问题之一,高效、鲁棒的非标定视线估计需要大量的眼图训练数据和高效的算法结构做支撑。在现有基于深度学习的近眼视线估计方法的基础上,通过添加多任务辅助推理模块,增加网络结构的多阶段输出,进行多任务联合训练,在不增加视线估计测试耗时的前提下,有效提升视线估计精度。在模型训练时,从视线估计网络结构的多个中间阶段引出多个眼部特征的辅助推理并行网络头,包括眼动图像的语义分割、虹膜边界框及眼部轮廓信息,为原始视线估计网络提供多阶段中继监控,在不增加训练数据的基础上,有效提升视线估计网络的测试精度。在国际公开数据集Acomo-14与OpenEDS2020上的验证实验表明,与无辅助推理的网络相比,所提方法精度分别得到了21.74%与18.91%的效果提升,平均角度误差分别减少到1.38°与2.01°。

基于瞳孔-角膜反射技术的视线估计方法

近年来,以图像处理为基础,结合瞳孔-角膜反射技术的视线估计方法成为视线追踪研究的主要发展方向。现有的视线追踪系统有两个主要问题:1)视线追踪精度不高;2)操作不够方便,很多视线追踪系统严格限制了观测者的头部运动,给使用者带来了不便。通过对眼球模型和光学反射过程的分析,详细介绍了两种允许自由头动的视线估计方法。

基于样本扩充和改进Lasso回归的视线估计

为了利用眼部特征进行准确的视线估计,提出了一种基于样本扩充和改进Lasso回归的方法,建立眼部特征与视线之间的映射关系.通过对小样本评分得到优质样本,进而完成样本扩充,利用改进的Lasso回归得到准确的视线估计模型.该方法对标定过程中的眨眼等干扰具有鲁棒性,受干扰后仍可保持相对较高的视线估计准确度.实验结果表明:标定过程无干扰,该方法视线估计准确度比传统方法提高11.25%;标定数据加入6.67%异常数据,该方法视线估计准确度比传统方法提高22.62%.

基于改进随机森林的驾驶员视线估计的方法

为了提高随机森林算法在驾驶员视线估计任务中的分类准确率,设计了一种改进的随机森林模型。首先提取驾驶员的头部姿态特征和眼睛特征;然后通过高斯混合聚类模型对驾驶员特征进行预处理,增加随机森林决策树之间的独立性;并在随机森林建树完成后给予各决策树相应的权重以提高分类效果较好决策树的分类权重。仿真实验表明:改进随机森林算法对驾驶员常用的13个视线区域的平均识别率可以达到93.47%,高于传统随机森林的分类效果。

基于表观的归一化坐标系分类视线估计方法

视线估计能够反映人的关注焦点,对理解人类的情感、兴趣等主观意识有重要作用。但目前用于视线估计的单目眼睛图像容易因头部姿态的变化而失真,导致视线估计的准确性下降。提出一种新型分类视线估计方法,利用三维人脸模型与单目相机的内在参数,通过人脸的眼睛与嘴巴中心的三维坐标形成头部姿态坐标系,从而合成相机坐标系与头部姿态坐标系,并建立归一化坐标系,实现相机坐标系的校正。复原并放大归一化得到的灰度眼部图像,建立基于表观的卷积神经网络模型分类方法以估计视线方向,并利用黄金分割法优化搜索,进一步降低误差。在MPIIGaze数据集上的实验结果表明,相比已公开的同类算法,该方法能降低约7.4%的平均角度误差。

基于ShuffleNet V2算法的三维视线估计

为了解决当前视线估计网络复杂度较深、精度不高的问题,同时为了未来将网络部署在移动设备端,提出了一种基于ShuffleNet V2算法的视线估计网络,其由脸部和眼睛两个子网络构成。脸部子网络通过ResNet V2网络对脸部图片进行特征处理,并加入人脸对齐算法,减少头部角度误差的影响。眼睛子网络通过ShuffleNet V2与ResNet V2算法进行眼睛图片的并行特征处理。网络对特征图片处理后得到角度参数,最后通过坐标变换得到视线角度。并在MPIIGaze数据集上进行了实验。针对精度的不足对算法进行改进,在ShuffleNet V2中加入注意力机制(逐点平方操作模块),并进行了改进算法的验证实验,最后和多种先进的算法进行了实验对比。实验表明,改进后的算法比其他算法的精度要高。