-
题名一种改进的视频分割网络及其全局信息优化方法
被引量:1
- 1
-
-
作者
张琳
陆耀
卢丽华
周天飞
史青宣
-
机构
北京理工大学计算机学院
智能信息技术北京市重点实验室
北方电子设备研究所
河北大学网络空间安全与计算机学院
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2022年第3期787-796,共10页
-
基金
国家自然科学基金(61273273)
国家重点研发计划(2017YFC0112001)资助。
-
文摘
提出了一种基于注意力机制的视频分割网络及其全局信息优化训练方法.该方法包含一个改进的视频分割网络,在对视频中的物体进行分割后,利用初步分割的结果作为先验信息对网络优化,再次分割得到最终结果.该分割网络是一种双流卷积网络,以视频图像和光流图像作为输入,分别提取图像的表观信息和运动信息,最终融合得到分割掩膜(Segmentation mask).网络中嵌入了一个新的卷积注意力模块,应用于卷积网络的高层次特征与相邻低层次特征之间,使得高层语义特征可以定位低层特征中的重要区域,提高网络的收敛速度和分割准确度.在初步分割之后,本方法提出利用初步结果作为监督信息对表观网络的权值进行微调,使其辨识前景物体的特征,进一步提高双流网络的分割效果.在公开数据集DAVIS上的实验结果表明,该方法可准确地分割出视频中时空显著的物体,效果优于同类双流分割方法.对注意力模块的对比分析实验表明,该注意力模块可以极大地提高分割网络的效果,较本方法的基准方法(Baseline)有很大的提高.
-
关键词
视频物体分割
卷积神经网络
注意力机制
全局信息优化
-
Keywords
Video object segmentation
convolutional neural network(CNN)
attention mechanism
global information optimization
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-