基于唇重构与三维耦合CNN的多视角音唇一致性判别

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络(SMS-CycleGAN)的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别。实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法。

AI驱动数字化视听内容创新与实体经济发展

今天我演讲的主题是AI驱动数字化视听内容创新与实体经济发展。我将从行业现状、内容创新和应用、推动实体经济发展等几个方面分享趣丸科技的实践心得和经验。一、AI的行业现状1956年,人工智能概念被首次提出。经过60多年的发展,2017年我国发布《第一代人工智能发展规划》,2020年国家标准化管理委员会、中央网信办、国家发展改革委、科技部、工业和信息化部五部门出台《国家新一代人工智能标准体系建设指南》五部委发布了人工智能的标准。