类别特征约束的多目标域表情识别方法

表情识别FER方法通常会受到采集环境和受试者区域、种族等因素的影响。为了提升FER方法的泛化性能,无监督的域自适应表情识别方法UDA-FER成为了研究热点。现有的UDA-FER方法普遍存在2个问题:(1)仅关注对目标域的识别率,导致方法从源域迁移至目标域后,对源域的识别率急剧下降;(2)仅研究基于单个目标域的UDA-FER方法,将现有方法直接应用于多个目标域会导致方法识别率骤降。为解决上述问题,提出了一种类别特征约束的多目标域表情识别方法MTD-FER,实现FER向多个目标域的连续迁移。为了保持对源域的识别率并提高对多个目标域的识别率,MTD-FER设计了类别自适应的伪标签标记CAPL模块和类别特征约束CWFC模块,挑选目标域高质量的样本标记为伪标签,并对齐各个域同类样本的特征,缓解连续迁移导致的灾难性遗忘问题。以RAF-DB为源域,FER-2013和ExpW为目标域,进行大量的实验,证明了MTD-FER的有效性。实验结果表明,与基准方法相比,MTD-FER在多次迁移后,源域识别率提升6.36%,与迁移之前基本持平;在各个目标域性能均有所提升,其中FER-2013性能提升了27.33%,ExpW性能提升了3.03%。