事件融合与空间注意力和时间记忆力的视频去雨网络

近年来数码视频拍摄设备不断升级,其感光元件宽容度、快门速率的提升虽然极大程度地丰富了可拍摄景物的多样性,雨痕这类由于雨滴高速穿过景深范围的退化元素也更容易被记录到,作为前景的稠密雨痕阻挡了背景景物的有效信息,从而影响图像的有效采集.由此视频图像去雨成为一个亟待解决的问题,以往的视频去雨方法集中在利用常规图像自身的信息,但是由于常规相机的感光元件物理极限、快门机制约束等原因,许多光学信息在采集时丢失,影响后续的视频去雨效果.由此,利用事件数据与常规视频信息的互补性,借助事件信息的高动态范围、时间分辨率高等优势,提出基于事件数据融合与空间注意力和时间记忆力的视频去雨网络,利用三维对齐将稀疏事件流转化为与图像大小匹配的表达形式,叠加输入至集合了空间注意力机制的事件-图像融合处理模块,有效提取图像的空间信息,并在连续帧处理时使用跨帧记忆力模块将先前帧特征利用,最后经过三维卷积与两个损失函数的约束.在开源视频去雨数据集上验证所提方法的有效性,同时达到了实时视频处理的标准.