基于多任务学习的人脸状态判断算法研究

随着人工智能技术的不断发展,基于MGC(Machine Generated Content)的媒体内容数量与日俱增,图文新闻生产也逐步趋于自动化、智能化。图文新闻的配图通常由摄影记者拍摄,但是常存在摄影记者数量不足、最佳拍摄位置被占用、摄影机位不可达等局限性。利用机器自动从直播视频流中选择合适的新闻配图能够有效补足现场摄影记者的短板,提高图文新闻生产的效率。新闻配图中对于中景、近景和人脸特写等画面,人脸的状态十分重要。人脸的状态判断包括人脸状态美感判断和人脸表情识别。其中,人脸状态美感判断任务是挑选出面部状态佳的、适合出现在新闻配图中的“Nice”人脸,尽可能筛除面部状态差的人脸。为了解决此任务,本文构建了新的CNN模型,通过交替-联合训练方法和自注意力机制,实现了人脸状态美感判断和人脸表情识别双重任务,在人脸状态美感判断数据集上的准确率可达99.091%,在人脸表情识别数据集的准确率可达89.01%。