基于学生人体检测的无感知课堂考勤方法

针对基于人脸识别的课堂考勤系统漏检和低识别率的问题,采用主、从双摄像机设备,提出一种联合学生人体检测和人脸角度筛选的方法。首先通过Mask R-CNN算法检测主摄像机拍摄图中的学生人体位置;然后控制从摄像机(PTZ相机)依次获取每位学生的高质量放大图像;再通过MTCNN算法和FSA-Net算法从中检测并识别出人脸姿态,筛选出每位学生的正脸图像;最后对筛选出的学生正脸图像使用FaceNet算法提取人脸特征,用于支持向量机(SVM)分类器的训练或识别。实验结果表明,与Tiny-face算法相比,人体检测算法在重叠比(IOU)为0.75时平均精度(AP)值提高了约36%且检测耗时减少了57%;与建立多姿态人脸数据库的方法相比,采用人脸角度筛选的方法使识别率提高了4%;多数情况下整个课堂学生识别的准确率接近100%。所提方法简化了学生注册过程,提高了人脸识别率,为解决人脸漏检问题提供了新的思路。

基于文本筛选和改进BERT的长文本方面级情感分析

方面级情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中,由于长文本存在的冗余和噪声问题,导致现有的方面级情感分析算法对于长文本中方面相关信息的特征提取不够充分,分类不精准;而在方面分层为粗粒度和细粒度方面的数据集上,现有的解决方案没有利用粗粒度方面中的信息。针对以上问题,提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络(LSTM)和注意力机制相结合的文本筛选网络(TFN)从长文本中直接筛选出与粗粒度方面相关的部分语句;然后将部分语句按次序进行组合,并与细粒度方面相结合输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取;最后使用Softmax进行情感分类。通过与基于卷积神经网络(CNN)的GCAE(Gated Convolutional Network with Aspect Embedding)、基于LSTM的交互式注意力模型(IAN)等经典模型相比,该算法在验证集上的相关评价指标分别提高了3.66%和4.59%,与原始BERT模型相比提高了0.58%。实验结果表明,基于文本筛选和改进BERT的算法在长文本方面级情感分析任务中具有较大的价值。

视频人脸图像质量评估及其在课堂点名系统中的应用

班级课堂考勤是课堂管理的有效手段之一,可以有效地监督学生按时上课,保证课堂的教学质量。近年来,深度学习在静态图像人脸识别方面已经取得较大进展。但在课堂环境下的视频流中,课堂环境人脸位置不一、人体不停运动和姿态偏移较大等现象会导致关键帧中检测到的部分人脸区域存在人脸尺寸较小、运动模糊与像素低等问题。在传统人脸识别系统中引入人脸图像质量评估方法。通过该评估方法自动筛选出关键帧中人脸特征明显的图像,以保证人脸识别系统在课堂环境中的有效性和鲁棒性。实验结果表明,该人脸质量评估方法可以准确地过滤人脸特征不明显的关键帧,有效地提高了人脸识别系统的准确率,大大提高了课堂点名的效率。

基于教室监控视频的学生位置检测和人脸图像捕获算法

实现一个基于课堂监控视频的学生位置检测和学生人脸图像获取系统。本系统由一个定焦全景摄像机和一个PTZ(平移(Pan)、倾斜(Tilt)、变焦(Zoom))摄像机组成。首先利用全景摄像机获得教室全景图像,针对实际课堂环境中的光线突变,提出基于帧间差的异常光线排除算法,实现异常光线监测和动态空教室图像检测与存储;使用HR网络结构对全景图像进行人脸检测,得到人脸检测框集合;针对非约束环境中学生因姿势变化和人脸遮挡、全景图像分辨率低等因素引起人脸信息缺失而导致人脸检测漏检问题,提出基于人体头肩特征的加权运动目标检测算法,得到目标检测框,提高人脸信息缺失的学生位置检测率;针对多种检测框的大量冗余,提出多种检测框加权融合算法,有效减少检测框的重复,得到学生人物检测框集合。然后,将学生人物检测框包含的位置信息传递至PTZ摄像机控制子系统,使PTZ逐个聚焦目标学生,捕获到清晰的学生人脸图像,为后续的人脸识别提供高质量的图像。