一种特征融合的双流深度检测伪造人脸方法

Deepfake技术的迅速发展,使得深度伪造视频和音频内容日益逼真,这种技术被广泛应用于政治伪造、金融欺诈和虚假新闻传播等领域.因此,研究和开发高效的Deepfake检测方法变得尤为关键.本研究探索了一种结合ViT与CNN的策略,充分利用CNN在局部特征提取方面的优势,以及ViT在建模全局关系方面的潜力,以提升Deepfake检测算法在实际应用中的效能.此外,为增强模型对图像或视频压缩引起的影响的抵御能力,引入频域特征,使用双流网络提取特征,以提高模型在跨压缩场景下的检测性能和稳定性.实验结果表明,基于多域特征融合的双流网络模型在FaceForensics++数据集上有较好的检测性能,其ACC值达96.98%、AUC值达98.82%.在跨数据集检测方面也取得了令人满意的结果,在Celeb-DF数据集上的AUC值达75.41%.