基于改进YOLOv5的眼睛及瞳孔检测算法

针对眼睛图像易受光照干扰导致的眼睛部位和瞳孔部位检测不准确及误检漏检的问题,提出基于改进YOLOv5的眼睛及瞳孔检测算法。首先,进行图像预处理,对比了三种图像增强方法,决定运用效果较好的CLAHE(限制对比度自适应直方图均衡化)方法进行图像增强,提高对比度;其次,在YOLOv5网络中引入Swin Transformer模块代替骨干网络的最后一个C3模块和三个预测头中的三个C3模块,提高网络的特征提取能力,提升眼睛部位的检测精度;最后,在YOLOv5网络中通过引入多尺度特征跨层融合机制的方法,增加两个目标预测头,降低网络对眼睛部位和瞳孔部位的漏检率。该文从ELSE标准数据集中的Data setXVIII中选取了受光照程度不同的眼睛数据集2 400张,其中,1 600张为训练集,800张为测试集。实验结果表明,改进后的YOLOv5网络能检测出眼睛整体部位及完整的瞳孔部位,检测置信度也较高,mAP提高了3.2百分点,Recall提高了2.7百分点,且具有较好的实时性。

结合椭圆拟合与参数传递的瞳孔检测方法

瞳孔检测是提高眼底照相机自动化程度的关键技术。针对大遮挡情况下瞳孔检测准确度降低的问题,提出结合椭圆拟合及参数传递的大遮挡瞳孔精确检测方法。该方法首先引入下采样、二值化、最大连通域及扫描线法实现瞳孔区域的提取与修复。为提高椭圆拟合的准确性,提出闭合边缘检测基础上的伪边缘点去除算法,并使用结合最小二乘法的椭圆拟合实现瞳孔参数的获取。最后,提出结合帧间参数传递的修正算法,实现对瞳孔参数的修正。实验结果表明,与现有方法相比,单帧图像瞳孔检测方法可快速地完成瞳孔参数获取,而修正算法则提高了大遮挡情况下瞳孔参数的准确性。

基于瞳孔检测的座椅舒适度评价

运用瞳孔检测方法,检测两款座椅被试的瞳孔尺寸振荡幅度、频谱能量值差异和瞳孔直径尺寸变化,探讨两款座椅之间舒适度的差别。被试16人,平均分为两组,一组作为座椅A被试,一组作为座椅B被试,分别完成1 h和2 h相同的指定实验任务,对实验数据进行快速傅里叶转换和统计分析。结果表明:在完成1 h指定任务后,两款座椅被试的振荡幅度和频率能量值差异变化不明显,瞳孔直径尺寸变化差异不显著(P>0.05),此时状态下,两款座椅舒适度无明显差别;在完成2 h指定任务后,两款座椅被试振荡幅度和能量值差异均变化明显,座椅A被试变化高于座椅B,且座椅A被试瞳孔直径出现缩小,缩小幅度差异显著(P<0.05),而座椅B的瞳孔尺寸呈现稍微放大变化但差异不显著(P>0.05),此时状态下,座椅B的舒适度高于座椅A。总体舒适度评价为座椅B高于座椅A。

瞳孔检测仪的研究及其光学系统设计

研究了一种双眼瞳孔检测仪，进行了光学系统的设计和理论计算．采用低照度CCD摄像机摄取在近红外和可见光照明情况下的瞳孔像，利用形态学等算法处理图像，可对图像进行直径精确检测和动态分析．实验表明，该仪器在0-200lux照度级下的测量精度可达0．01mm，完全可以满足眼科手术的精度要求．

基于近红外远心镜头的双目瞳孔检测仪光学系统设计

为了降低双目瞳孔检测系统放大率对瞳孔位置的敏感性,设计了一款基于近红外远心镜头的双目瞳孔检测仪。阐述了系统中的核心部件——近红外远心镜头光学参数的计算过程,分前后组进行设计,并运用Zemax完成光学系统优化,以全视场MTF、全视场最大畸变和物方远心度为指标对系统进行公差分析,利用标准圆对仪器进行标定,拟合出像素数和瞳孔大小的对应关系。结果表明,对于55mm^75mm的瞳距,瞳孔的直径测量精度可达0.05mm,满足使用要求。

几种阈值分割方法在瞳孔检测中的应用研究

图像分割在瞳孔检测中是一个重要方面,阈值化算法是一种简单、高效的图像分割方法。本文着重研究了三种阈值化方法在瞳孔检测中的应用,通过实验结果对每种方法的特点进行了分析,为在不同情况下的瞳孔检测提供了重要理论依据。

瞳孔检测的图像裁剪与异常瞳孔排除

为获取眼部特征进行视线跟踪,提出了一种具有较高实时性和正确率的瞳孔检测方法.使用模板匹配定位眼睛在图像中位置,裁剪边缘冗余图像,降低瞳孔检测计算量,从而提高实时性;利用瞳孔的形状、颜色等特征以及眼球运动规律,得到瞳孔在图像中分布规律,对错误的瞳孔信息进行排除,从而提高瞳孔检测正确率.实验结果表明,在NVIDIA Jetson TX2嵌入式计算机上,该瞳孔检测方法检测正确率达到95.06%,检测速率为95 fps,耗时平均减少55.33%,具有良好的实用性.

双重Haar-like特征瞳孔检测方法

为了降低光照和镜面反射对检测算法的影响程度,文中提出一种基于结构特征和边缘特征的瞳孔检测算法。利用双重Haar-like特征检测器进行瞳孔粗定位,针对瞳孔区域中存在眼睫毛等影响瞳孔边缘检测的问题,使用形态像素模型进行边缘去噪,提出瞳孔边缘最长假设以确定边缘像素。在LPW瞳孔数据集上的实验结果表明,双重Haar-like特征在提升粗定位精度的基础上,结合形态学像素模型和边缘假设进行边缘去噪,采用易受干扰的最小二乘椭圆拟合算法,提升了复杂环境下眼部图片的瞳孔检测效果。与Swirski和ExCuSe算法相比,文中算法在精确度上与ExCuSe共同取得最佳,整体检测性能比上述2种算法分别高6%和14%。

改进的遮挡条件下瞳孔检测方法

受到眼睑、睫毛、反光等干扰,提取的瞳孔往往无法近似成标准的椭圆,给瞳孔精确检测带来了难度。针对遮挡问题,提出了一种改进的遮挡瞳孔精确检测方法,该方法首先获取瞳孔图像的感兴趣区域,在对该区域进行阈值分割的基础上,通过滤波去噪和扫描线法去除光源反光的影响;根据沿遮挡瞳孔的分界线进行水平旋转,应用内接平行四边形法确定瞳孔的中心;根据圆形检测理论,提出一种中心修正算法,将求得的两个圆的交点作为眼睑与瞳孔的交点,计算出旋转角度,从而精化瞳孔中心的定位;最后利用五点法计算得到的瞳孔椭圆参数作为初始值,通过最小化拟合椭圆与边缘点之间的欧氏距离,使得该椭圆在非线性最小二乘意义下是最优的。实验结果表明,该方法具有良好的鲁棒性和准确性,在遮挡不超过瞳孔面积一半的情况下,能得到较为精确的瞳孔位置和边界。

基于由粗到精定位的列车驾驶员瞳孔和眼角点检测

提出一种由粗到精定位的列车驾驶员瞳孔和眼角点检测方法,采用基于监督下降法的面部特征点定位和跟踪技术对驾驶员的眼角点进行粗定位,在面部特征点正确定位的基础上根据相应点的位置获取眼睛图像。采用圆形模板求得眼睛图像中每个像素点的灰度比率,并将其作为权值获取积分投影曲线,对瞳孔点粗定位。将已检测到的瞳孔中心点和眼角点作为初始点,采用基于局部二值特征的定位技术对眼角点和瞳孔位置进行精确定位。利用视频和图像数据库进行实验测试,实验结果表明:提出的方法能够有效定位驾驶员眼角点和瞳孔位置,其瞳孔检测精度优于最新提出的方法。

一种改进的基于人脸图像的瞳孔精确检测方法

针对当前瞳孔检测精度和效率不够高的问题,提出一种改进的基于人脸图像的瞳孔精确检测方法.该方法首先采用基于Open CV的快速人眼定位来获取人眼区域,在对该区域进行瞳孔中心定位的基础上,通过改进的星射线法提取瞳孔的边缘轮廓;然后在瞳孔拟合过程中,采用改进的最小二乘椭圆拟合方法,简化边缘样本点的选取过程,实现瞳孔的精确匹配;最后,设计了拟合率评价标准来选出最优的椭圆.实验结果表明,使用该瞳孔检测方法对单幅人脸图像进行瞳孔特征提取,能够精确高效地完成瞳孔的拟合和瞳孔参数的提取.

Hough变换和轮廓匹配相结合的瞳孔精确检测算法

针对红外眼部视频中瞳孔直径检测精度不够高的问题,提出了一种将Hough圆变换和轮廓匹配相结合的瞳孔检测算法(Hough-Contour)。对每帧图像,首先进行灰度化并滤波去噪;然后提取边缘并利用修改后的Hough梯度法检测出初始圆作为瞳孔参数;最后在滤波后的灰度图上的瞳孔附近用位置和半径在一定范围可变的圆形轮廓去匹配瞳孔,从而计算出瞳孔中心坐标和直径。在Hough变换阶段,将Hough梯度法中的对候选圆心按累加值降序排序这一步骤改为寻找最大值,以降低该操作以及后续计算半径的时耗。通过实验寻找到圆心累加数组最大值的阈值,使其能自动排除闭眼帧且不会导致漏检。在轮廓匹配阶段,实验发现如果圆形轮廓的移动范围和半径伸缩范围取值为初始圆半径的十分之一,点对数取值为40,则可将瞳孔的精确匹配率从Open CV圆变换检测算法的约10%提高至99.8%。对算法的时间性能作了测试,在实验所用的低端电脑上处理一帧需要60 ms,在高端电脑上可以对红外瞳孔视频做到实时检测。

一种主从摄像瞳孔实时精确检测系统

针对瞳孔实时精确检测,提出了一种主从摄像机随动跟踪人眼图像捕获系统用于捕获人眼图像.主摄像机用于定位人脸,从摄像机在云台控制下实时跟踪人眼区域并采集高分辨率人眼图像.为了提高系统的动态性能,针对来自主摄像机分辨率1280×960的人脸图像,采用了一种AdaBoost人脸检测与MOSSE目标跟踪的融合算法,实现了60 fps的人脸快速定位.采用语义分割网络对来自从摄像机的人眼图像进行瞳孔粗定位得到瞳孔感兴趣区域,对瞳孔感兴趣区域采用椭圆拟合算法进行瞳孔精检测.实验结果表明所提出的检测系统及方法可以实现18 fps的瞳孔检测,瞳孔图像有效像素可达2500以上,检测重复性可达±1.06%.

基于直方图和二次椭圆拟合的瞳孔高效检测

为了提高瞳孔检测效率,提出了一种基于直方图二值化和瞳孔二次椭圆拟合的检测方法。该算法首先计算瞳孔图像的直方图,利用直方图找到最佳二值化阈值,对二值化后的图像进行瞳孔区域筛选和填充;在此基础上,使用改进星射线法找到瞳孔边缘,剔除瞳孔伪边缘点,将最小二乘椭圆拟合方法和Huber损失函数相结合,进行第一次瞳孔椭圆拟合。利用拟合的椭圆继续排除边缘杂点,最后利用边缘点进行第二次正确拟合瞳孔椭圆。从第二帧图像开始,以前一帧图像的瞳孔中心为中心,缩小图像检测区域。实验结果表明,该瞳孔检测算法在5像素的误差范围内检测成功率达到86%,算法运行时间仅需4.29 ms,具有较高的实用性。

基于改进轮廓跟踪的瞳孔快速检测

提出一种基于直方图二值化和改进的轮廓跟踪的瞳孔检测方法。首先对采集的瞳孔图像计算直方图,根据直方图特征取出合适的阈值进行二值化,再对二值化后的图像进行轮廓跟踪,得到精确的轮廓边界,进而得到直径、中心等信息。对前一帧瞳孔图像进行瞳孔信息计算后,后一帧图像以该瞳孔中心为中心,缩小检测区域进行直方图二值化及瞳孔轮廓跟踪,得到该帧图像的瞳孔信息,减少运算,加快检测速率。该算法鲁棒性高,速度快,可满足300帧/s的实时检测速度。

基于改进YOLOv3的瞳孔屈光度检测方法

针对瞳孔区域屈光度识别准确率低、检测效率低等问题,本文提出一种基于改进YOLOv3深度神经网络的瞳孔图像检测算法。首先构建用于提取瞳孔主特征的二分类检测网络YOLOv3-base,强化对瞳孔特征的学习能力。然后通过迁移学习,将训练模型参数迁移至YOLOv3-DPDC(DeepPupil DiopterClassify),降低样本数据分布不均衡造成的模型训练困难以及检测性能差的难题,最后采用Fine-tuning调参快速训练YOLOv3多分类网络,实现了对瞳孔屈光度快速检测。通过采集的1200张红外瞳孔图像进行实验测试,结果表明本文算法屈光度检测准确率达91.6%,检测速度可达45 fps,优于使用Faster R-CNN进行屈光度检测的方法。

基于多任务辅助学习特征的瞳孔中心检测

眼动跟踪技术在航空领域极具潜力,其作为关键的信息获取和人机交互手段,可用于精确的目标瞄准、飞行员状态监测,对飞行安全和作战精准意义重大。而瞳孔中心检测作为核心技术,决定了眼动追踪系统的鲁棒性和准确性,本文提出一种基于多任务辅助学习特征的瞳孔中心检测算法,模拟人类视觉系统的多任务辅助学习特性,引入多任务模块,实现从粗到精的瞳孔中心检测,并通过试验验证了本文方法的有效性和先进性,从而提高了眼动跟踪的精度和准确性,为航空领域的各项任务和操作提供了更精确、高效和安全的手段。

瞳孔中心快速定位方法研究

眼球运动是获得和揭示大脑工作信息的重要途径。近年来的研究多将眼球建模成圆或椭圆,利用Hough变换检测圆或椭圆,从而达到瞳孔中心定位的目的。传统的Hough变换(含随机Hough变换)的实时性较差,而为了获得更加准确有效的眼球运动信息,采集帧率往往需要超过100 f/s。为此,利用VOG的暗瞳特性及二值化后瞳孔图像圆的唯一性,通过Video Oculo-graphic(VOG)设备采集眼部视频,对Hough变换进行改进,对预处理过的二值图像进行边缘提取,同时选取边缘上的三点通过点Hough变换得到一个参数组,再用数学期望替代传统Hough变换投票方式,对所有参数组求数学期望,得到最终瞳孔中心。实验证明,该方法可行、精确、稳定。

基于径向对称变换的眼睛睁闭状态检测

为实现干扰条件下的眼睛睁闭状态检测,提出了一种新的基于径向对称变换的眼睛状态检测方法.该算法充分利用了睁眼状态下瞳孔的灰度特性及其径向对称特性,有效地解决了光线变化、不均匀光斑、睫毛和镜框等因素的干扰.大量的实验结果表明,该算法具有较好的检测效果,对各种干扰情况有较强的鲁棒性,并且检测速度快,能够达到实时要求,而且能在眼睛状态检测的同时实现瞳孔定位.

一种由粗及精的视线追踪系统平面视线参数检测方法

针对视线追踪系统视线参数检测需求和现有方法的不足,基于亮暗瞳差分方案提出了一种采用由粗及精策略的平面视线参数检测方法。在暗瞳图像应用AdaBoost方法定位人脸,根据人脸五官分布先验知识初步确定人眼区域并标记暗瞳图像对应的人眼区域。在差分图像采用投影法确定瞳孔潜在区域,通过形态和尺度分析滤波定位瞳孔。对瞳孔进行边缘检测和椭圆拟合,提取瞳孔中心参数。在暗瞳图像瞳孔对应区域附近搜索并检测普尔钦斑并提取普尔钦斑中心参数。根据瞳孔和普尔钦斑中心参数获取平面视线参数。在视线追踪系统中的应用表明该方法能够可靠、精确的检测平面视线参数。