深度多模态表征学习概述

多模态表征学习旨在缩小不同模态数据之间的异质性差距。近年来,基于深度学习的多模态表征学习因其强大的多层次抽象表征能力而备受关注。文章提供了关于深度多模态表征学习的全面调查。文章将深度多模态表示学习方法分为三个框架:联合表示、协调表示和编解码器。此外,还回顾了该领域的一些典型模型,从传统模型到新开发的技术。重点介绍了新开发技术的关键问题,如编码器-解码器模型、生成性对抗网络等。最后,对今后的工作提出了一些重要的方向。