多层次特征融合的视频显著目标检测系统设计

以ResNet-50为骨干网络,设计了多尺度特征融合的视频显著性目标检测系统。系统主要由上下文语义聚合模块(用于空间特征的提取)和双层卷积LSTM模块(用于连续帧间时间相关性的提取)组成。该系统使用ResNet-50提取显著性目标特征,提出上下文语义聚合模块,利用自上而下和自下而上的结构融合深层特征和浅层特征,可以灵活调整不同层次特征的贡献,并进行有效的信息交换。然后,将空间细化的特征输入双层ConvLSTM来探索视频帧之间注意力的动态转换,以增强连续视频帧间运动信息的表达,实现视频帧间的时间相关性提取。3个标准数据集的仿真结果表明,与11种常用系统相比,该系统的评价指标MAE,F-measure,S-measure均较好。