基于唇重构与三维耦合CNN的多视角音唇一致性判别

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络(SMS-CycleGAN)的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别。实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法。

航天器在轨空间环境研究

本文阐述了航天器安全可靠性的重要性,提出对航天器表面带电影响较大的空间环境主要是等离子体环境和磁层亚暴环境,并简要介绍了空间环境对航天器表面带电的影响,为航天器静电带电机理及防护研究打下了重要基础。

浅谈工业民用建筑工程中的防水防渗施工技术

渗漏问题是工业建筑和民用建筑工程施工中的常见问题,直接关系到建筑工程的整体工程质量及效益。工业民用建筑中涉及到的渗漏问题比较多,对施工过程提出了很高的要求。施工单位要依据实际工程背景,将防水防渗施工工作落实到位,提高建筑工程整体性能。

基于生成对抗网络的唇形重建改进方法

在视觉语音识别(Visual Speech Recognition,VSR)研究领域,已有的研究表明,基于正面的视图语音识别率是非常高的。而用于视觉研究的额叶面语料库很少。一方面,研究者从非正面视图(尤其是大角度)尝试提高视觉语音的识别效率;另一方面,研究者试图找到解决在现实场景下难以获取正面视图而从非正面视图进行重构正面视图的方法。本文就是基于第二种方案,基于生成对抗网络(GAN)强大的图像生成能力,对多角度视觉库中唇部进行正面视图重建。本文模型采用了U-Net网络结构,添加身份一致性损失Lid,在重构正面唇形的同时,保留了身份特征。