基于教室监控视频的学生位置检测和人脸图像捕获算法

实现一个基于课堂监控视频的学生位置检测和学生人脸图像获取系统。本系统由一个定焦全景摄像机和一个PTZ(平移(Pan)、倾斜(Tilt)、变焦(Zoom))摄像机组成。首先利用全景摄像机获得教室全景图像,针对实际课堂环境中的光线突变,提出基于帧间差的异常光线排除算法,实现异常光线监测和动态空教室图像检测与存储;使用HR网络结构对全景图像进行人脸检测,得到人脸检测框集合;针对非约束环境中学生因姿势变化和人脸遮挡、全景图像分辨率低等因素引起人脸信息缺失而导致人脸检测漏检问题,提出基于人体头肩特征的加权运动目标检测算法,得到目标检测框,提高人脸信息缺失的学生位置检测率;针对多种检测框的大量冗余,提出多种检测框加权融合算法,有效减少检测框的重复,得到学生人物检测框集合。然后,将学生人物检测框包含的位置信息传递至PTZ摄像机控制子系统,使PTZ逐个聚焦目标学生,捕获到清晰的学生人脸图像,为后续的人脸识别提供高质量的图像。

视频人脸图像质量评估及其在课堂点名系统中的应用

班级课堂考勤是课堂管理的有效手段之一,可以有效地监督学生按时上课,保证课堂的教学质量。近年来,深度学习在静态图像人脸识别方面已经取得较大进展。但在课堂环境下的视频流中,课堂环境人脸位置不一、人体不停运动和姿态偏移较大等现象会导致关键帧中检测到的部分人脸区域存在人脸尺寸较小、运动模糊与像素低等问题。在传统人脸识别系统中引入人脸图像质量评估方法。通过该评估方法自动筛选出关键帧中人脸特征明显的图像,以保证人脸识别系统在课堂环境中的有效性和鲁棒性。实验结果表明,该人脸质量评估方法可以准确地过滤人脸特征不明显的关键帧,有效地提高了人脸识别系统的准确率,大大提高了课堂点名的效率。