视听同步的细粒度脚步音效合成方法

电影后期音效制作合成目前仍主要依赖手动操作,其人力与资源成本较高。现有智能拟音技术由于存在合成声音缺乏细粒度内容和真实感不足等问题,难以满足实际电影后期音效制作要求。针对上述问题,本文提出了一种细粒度脚步音效的自动合成方法,充分利用视觉画面信息,以实现视听同步且内容匹配度高的脚步声音效合成。具体而言,本文采用数据驱动的视听跨模态生成方法,深入学习视听时序关联,以实现视听同步。随后,为了进一步丰富合成脚步声音的内容细粒度,对视觉画面中的地面材质和人物运动信息进行深入分析,并构建与声音之间的规则连接。实验证明,本文的方法能够合成与视觉信息匹配的时间同步且内容合理的脚步音效,实现了脚步音效的自动化生成,提升了视听的真实感。