利用密集卷积神经网络的语音变换欺骗检测

语音变换欺骗是指利用语音处理算法改变原说话人的语音特征,从而导致说话人识别系统产生极高的错误拒绝率,达到隐藏说话人身份的目的。其实现成本低廉,并且已集成在众多的音频处理工具中,对社会安全带来严重威胁。然而,目前对于变换欺骗的检测研究仍然不足。为此,提出了一种基于密集卷积神经网络的语音变换欺骗检测方法,以区分欺骗语音和真实语音。该网络总共包含135层的网络层,通过最大化短路径地连接强化数据传输,可同时利用深层和浅层的边缘特征进行分类,抑制退化现象,从而进一步提高检测的准确率。实验结果表明,该算法对不同欺骗因子下的欺骗语音的检测准确率超过了98%。

基于唇重构与三维耦合CNN的多视角音唇一致性判别

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络(SMS-CycleGAN)的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别。实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法。