基于最优传输理论的联合分布匹配方法及应用

联合分布匹配问题是机器学习和计算机视觉领域的研究热点之一.该问题旨在学习双向映射以匹配两个域的联合分布,目前仍然面临两个重要挑战:第一:两个不同域之间的相关性信息难以被充分利用.第二:联合分布匹配问题难以建模和优化.基于最优传输理论,本文通过最小化两个域间联合分布的Wasserstein距离来解决上述挑战.首先,本文提出一个定理将难以求解的Wasserstein距离原问题转化为一个简单的优化问题,并设计了一个联合Wasserstein自编码器模型(JWAE)来求解该问题.然后,本文将JWAE成功应用在无监督图像翻译和跨域视频合成任务中,并生成高质量的图像和连贯的视频.实验结果表明,JWAE在两种任务中的定性和定量指标上均优于现有方法.比如,在“街景→语义分割”图像翻译任务中,JWAE的IS值比CycleGAN高0.59,FID值比CycleGAN小65.8.在“冬季→夏季”跨域视频合成任务中,JWAE的FID4video值比Slomo-Cycle小2.2.