基于视觉Transformer的面孔吸引力预测方法研究

面孔吸引力分析预测是结合认知科学、心理学、计算机科学的一个交叉领域。是对人主观感受的客观量化——通过机器去学习面孔特征与量化的感知间的映射关系。本文提出了一种结合CNN与Transformer结构的混合模型,使用残差卷积网络提取图像的特征图,经嵌入层编码后输入到多层transformer编码器中,利用自注意力机制从全局的角度把握不同特征成分间的关系。该方法在SCUT-FBP5500数据集上取得了较好的实验效果,表明了从全局的角度将人脸图像转化为视觉词向量序列并进行属性预测是可行有效的。