合成监督增强的自动音频字幕框架

基于数据驱动的自动音频字幕方法受限于音频–文本数据对的数量和质量,导致其跨模态表示能力不足,制约了整体性能。为此,提出了一种合成监督增强的自动音频字幕框架(SynthAC),该框架利用广泛可用的高质量图像字幕文本语料及文本到音频生成模型生成音频信号,有效扩充音频–文本数据对,并通过学习合成音频–文本数据对中的对应关系,增强音频文本跨模态表示能力。实验表明,所提SynthAC框架通过利用图像字幕中的高质量文本语料库,显著提升了音频字幕模型性能,该框架为应对音频–文本数据稀缺挑战提供了有效的解决方案。此外,该框架可适用于各种主流方法,在不改变音频字幕模型结构的情况下显著提升音频字幕性能。