沉浸式三维视线追踪算法研究

针对大型沉浸式虚拟环境中人机交互完全依赖肢体动作且效率低等问题,提出利用三维视线追踪技术得到用户注视点,以实现交互操作,为沉浸式环境提供一种自然、双向的交互手段。创新性地将Leap Motion用于瞳孔位置跟踪,通过被动式光学追踪设备获取使用者的头部运动状态,依据初始标定得到的映射方程来估计使用者大空间范围内自由运动状态下的三维注视点。实验表明,使用者在3.0 m×3.2 m×2.0 m的空间内自由运动时,集成系统对三维注视点的估计频率可达60 Hz,估计误差小于45 mm,为视线追踪在沉浸式虚拟环境中的广泛应用奠定了基础。

基于支持向量机回归模型的视线定位算法研究

针对传统的基于单瞳孔-普尔钦光斑向量和多项式拟合的视线定位方法头动受限的问题,提出一种新的采用单摄像机多辅助光源的基于二维映射模型的视线定位方法。利用4个瞳孔-普尔钦光斑向量构造系统输入特征向量,基于支持向量机回归模型建立注视点映射模型定位视线,解决了视线定位系统的头部运动和系统非线性映射误差问题。实验结果表明:该方法与传统方法相比,可以有效解决传统方法头动受限问题,适应性更强且精度更高,平均定位精度为1.

一种可克服头动影响的视线跟踪系统

本文提出一种基于单目摄像头和四红外光源的视线跟踪系统.通过四个红外光源在眼睛角膜上产生的四个光斑的中心与瞳孔中心建立新型的瞳孔角膜反射向量,该向量对头部运动具有较好的鲁棒性;此外通过设定感兴趣区域提高人眼定位速度,利用模板匹配与凸包方法精确定位瞳孔中心,并采用点匹配法正确识别光斑中心,确保了视线跟踪的实时性和精度.实验结果证明该系统较好地解决了视线跟踪精度不高和头部运动受限的问题,并且满足实时性要求.

驾驶员不良注视行为评价研究

为提高汽车驾驶员注视行为的安全性,应用视频检测技术构建驾驶员不良注视特征评价体系。基于驾驶过程中多作业工况的影响以及驾驶员个体注视行为特征的多元性,提出以驾驶员2个瞳孔间的距离作为表征驾驶员左右注视的参量,以嘴巴到双眼连线中点间的距离作为表征驾驶员俯仰注视的参量,二者合成"T"特征信息。以虹膜-巩膜比例与位置特征信息表征驾驶员的斜视行为,同时结合眼睛闭合度共同表征驾驶员不良注视特征的参量集合。采用多分类支持向量机(SVM)技术,对驾驶员不良注视行为进行模式分类与融合评价。结果表明,基于这3个参量对驾驶员注视行为进行融合判断,能够甄别其不良注视行为。

基于眼角精确定位的视线估计

设计了一个单摄像机、单红外光源的视线估计系统.利用了眼角的位置信息,提出了利用USM锐化粗定位和Gabor眼角滤波器精确定位的两步定位眼角的方法;针对传统的利用瞳孔普尔钦斑点向量进行多项式拟合在头部运动时估计精度下降的问题,提出了利用内眼角间距对普尔钦斑点向量进行矫正,并采用支持向量回归建立眼部特征参数与多项式拟合误差之间的关系,进行误差补偿;结合精确定位的眼角位置,建立了二维眼部特征与屏幕坐标之间的映射关系.实验表明,该方法实现了一定范围内头部自由运动下精确的视线估计.

视线追踪系统头动状态下的视线落点补偿方法

头部位置变化的视线估计问题是视线追踪技术中的难点。基于单摄像机无光源视线追踪系统,提出了一种在平移头动的视点估计补偿方法,包括头部深度平移和头部平面平移的补偿方法。首先分析了平移头对视线落点产生偏差的原因,提出利用深度系数和平面移动比例系数对视线落点进行补偿,然后根据投影变换约束计算虹膜中心的空间三维坐标,接下来根据虹膜中心的移动距离对屏幕上的视线落点进一步补偿,得到最终的视线落点。试验证明了本文方法对平移头动下的视线落点补偿具有显著效果。

一种优化的二维视线映射模型

提出一种基于主动红外光源的优化二维视线映射模型.在头部静止情况下检测相关的视线特征参数,并进行瞳距补偿.利用非线性多项式建立从平面视线参数到视线落点的映射模型.最后采用支持向量机对不同头部位置造成的视线偏差进行补偿,使非线性映射函数扩展到任何头部位置,从而在头部运动情况下进行精确的视线估计.实验结果显示了文中方法的有效性.

基于单幅图像的视线计算研究

提出了一种新的基于单幅眼睛图像的视线计算方法。通过假定两眼的视线向量以及左右虹膜中心点组成的向量共面,可以计算得到两眼的视线方向。与现有的三维视线计算方法相比,提出的视线计算方法不需要眼角坐标等脸部特征信息,另外也不需要已知相机的焦距大小。可以允许相机的焦距大小以及与用户的距离自由改变。最后实验的结果也比较理想,充分证明了提出的视线计算方法的可行性。

考场环境下考生视线估计方法

考生异常行为的监测容易使监考人员产生视觉疲劳。借鉴监考人员发现异常的过程,提出一种可用于考场异常行为分析的视线估计模型。为了减少图像中视线的信息损失,采用注视向量表示视线的大小和方向。该模型分为生成器、视线合成模块、鉴别器,先将考生头部图像输入生成器生成注视向量,再将头部位置和注视位置输入到合成模块得到真实注视向量。将头部图像与上述所得的两种向量输入鉴别器中,其生成对抗模式达到最优时,可得到生成真实值的生成器模型。实验结果表明,在多个考场环境中,该方法的性能优于所对比的几种方法。其中与Lian等人方法相比AUC(Area Under Curve)提高了2.6%,Ang(Angular error)和Dist(Euclidean distance)分别有效降低了20.3%和8.0%。

一种新的基于显著图的视线跟踪方法

针对现有视线跟踪系统设备复杂、标定过程繁琐等方面的不足,提出了一种新的基于显著图的视线跟踪方法。通过红外光源设备在人眼角膜上产生的光斑中心与瞳孔中心建立瞳孔-角膜反射向量,然后将该向量作为视觉特征重构了基于显著图的视线跟踪算法。实验结果证明,提出的方法不仅缓解了视线跟踪系统标定过程繁琐的问题,而且对提高系统的精度和健壮性有一定的促进作用,这为面向人机交互的视线跟踪研究提供了可行的低成本解决方案。

基于混合特征的注视方向判别

提出了一种基于混合特征的注视方向判别方法。混合特征由模型特征和表观特征组成。模型特征是提取的特征点间的几何向量，表观特征是从眼睛图像提取的方向二值模式（DBP）。将两种特征通过支持向量回归（SVR）算法融合起来，将组合特征一一对应于某一确定的头部姿态下的一个确定的注视方向。非特定人实验所用数据库有11个采集人，共计4089个样本。所用的样本在采集时保持头部正面面向摄像机，仅双眼注视预定的方向。实时测试时仅用一个单摄像机，输入是单帧人脸图像，输出为以摄像机坐标系计量的欧拉角度值。实验验证了混合特征的有效性，实验结果为3°的测试误差。

基于低成本眼动记录系统的视线估计研究

高精度眼动记录技术现已非常成熟,但昂贵的价格限制了当前商用眼动仪的应用范围,发展灵活、低成本的眼动记录系统将是眼动跟踪技术的重要研究方向。本文设计了一种低成本、低侵入性的耳麦式眼动记录系统。系统由两个普通CMOS摄像机及耳麦式支架构成,两个摄像机分别记录注视场景图像及人眼图像,成本仅为当前商用眼动仪的几百分之一。针对系统采集的数据,提出一种分段加权环形Hough变换算法提取虹膜轮廓及中心作为特征,采用支持向量回归(SVR)算法估计注视点与特征点位置的映射关系。设计了一种简便的标记注视点坐标的方法,实现注视估计。实验结果表明,对场景图像中随机位置的注视方向估计平均误差为1.57°,表明低成本眼动仪可以满足日常交互需求。

基于独立成份分析和支持向量机的人眼注视研究

采用独立成份分析(ICA)方法对单眼宽约为40 pixel的低分辨率人眼图像进行预处理,并把得到的一组组合系数输入支持向量机(SVM)判断图像中人眼的注视与否。对于单用户的注视探测,一维组合系数输入实现了100%的正确识别率;对于多用户的注视探测,二维组合系数输入实现了100%的正确率识别率。

基于视线水平偏移特征的眼动向量计算方法

视线追踪是一种人机交互技术,在学术界和工业界倍受关注。针对基于多项式回归的非侵入式系统注视点的精度平均误差较大的问题,提出一种基于视线水平偏移特征的眼动向量计算方法。该方法在准确提取人脸图像上虹膜中心和内眼角坐标的基础上,以内眼角坐标为基准点计算虹膜中心相对于内眼角坐标的偏移量,再通过偏移量计算水平眼动向量的权值,然后利用权值对左右眼的水平眼动向量分别加权合成新的水平眼动向量。采用哥伦比亚注视数据集的20名受试人员头部水平角度为0°的数据,在4个回归模型上对该方法进行实验验证。结果表明,与双眼平均眼动向量计算方法相比,该方法能进一步减小注视点水平视角误差、提升系统精度。