一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.

基于深度学习的视频图像实时背景替换方法

实时视频会话类业务中,如何保证用户的隐私不被泄露是一个关键问题.当用户不想将涉及自身隐私的环境细节信息暴露给他人时,支持实时视频会话的背景替换方法至关重要.传统的抠图方法虽然精度较高,但是处理速度较慢,而且需要额外的人工交互,难以满足实时视频会话类业务的要求.因此本文提出一种基于深度学习的视频图像实时背景替换方法,该方法利用区域划分模块实时的将视频图像中包含用户的前景提取出来,再利用分割模块对前景进一步进行处理,以得到更高的精度与速度,最后利用背景替换模块将前景和新的背景融合.实验结果表明,本文提出的背景替换方法在设定的数据集中分割精度达到93%以上,且满足实时性要求,能够很好的在实时视频会话类业务中保护用户隐私.