事件融合与空间注意力和时间记忆力的视频去雨网络

近年来数码视频拍摄设备不断升级,其感光元件宽容度、快门速率的提升虽然极大程度地丰富了可拍摄景物的多样性,雨痕这类由于雨滴高速穿过景深范围的退化元素也更容易被记录到,作为前景的稠密雨痕阻挡了背景景物的有效信息,从而影响图像的有效采集.由此视频图像去雨成为一个亟待解决的问题,以往的视频去雨方法集中在利用常规图像自身的信息,但是由于常规相机的感光元件物理极限、快门机制约束等原因,许多光学信息在采集时丢失,影响后续的视频去雨效果.由此,利用事件数据与常规视频信息的互补性,借助事件信息的高动态范围、时间分辨率高等优势,提出基于事件数据融合与空间注意力和时间记忆力的视频去雨网络,利用三维对齐将稀疏事件流转化为与图像大小匹配的表达形式,叠加输入至集合了空间注意力机制的事件-图像融合处理模块,有效提取图像的空间信息,并在连续帧处理时使用跨帧记忆力模块将先前帧特征利用,最后经过三维卷积与两个损失函数的约束.在开源视频去雨数据集上验证所提方法的有效性,同时达到了实时视频处理的标准.

空-频域联合的交通监控视频去雨方法

阴雨天气下交通监控视频处理的效率较低,可靠性较差,因此,文中提出自适应判别雨量、空-频域联合的交通监控视频去雨方法.将视频帧的非下采样剪切波变换的低频系数清零,利用大津法获得全部边缘信息图.采用显著性映射计算景深图,经双边滤波并保留高频系数,得到主要边缘信息图.结合全部边缘信息图、主要边缘信息图和帧差,判断雨滴/雨线区域及雨量,若是中、大雨,利用曲率驱动扩散法修复雨滴/雨线,否则将两个尺度下的检测结果取并集.实验表明,文中方法可有效去除视频中的雨滴/雨线,保持物体形状和纹理细节,提高运动目标跟踪等后处理质量.

基于先验知识的视频去雨算法的研究

视频去雨技术是视频复原技术中的一个重要研究部分。对Tai-Xiang Jiang等人提出的视频快速去雨算法进行改进,提出一种新的基于方向梯度先验、低秩先验和引导滤波的视频去雨算法。新算法首先去除原算法中的无雨部分沿水平方向梯度最小化的项,再引入对无雨部分的秩进行最小化的项,实现对有雨视频的初步去雨。然后对每个视频帧进行基于引导滤波器的单幅图像去雨,实现二次去雨。实验结果表明,新算法相比于原算法,具有更好的去雨效果,复原的视频图像更加清晰自然。

基于全变分正则和L_(2,1)范数的视频去雨张量模型

提出了一种基于全变分正则与L_(2,1)范数的视频去雨张量模型用于解决雨线遮挡问题。首先,对雨线成分与视频背景先验信息进行预处理,获取相应正则化条件的构建依据以增强各部分稀疏性,便于促进雨线分离。其次,考虑到视频图像存在不规则动态对象,引入全变分正则项来抑制背景强度变化,缓解雨线的误判现象。采用交替方向乘子法(alternating direction method of multipliers,ADMM)可以有效地对所提出的张量模型进行求解,并在合成数据与真实数据集上开展大量实验。结果表明,所提方法在动态背景情况下有效去除视频图像雨线的同时,保留了更多背景细节信息。与相关先进方法相比,所提方法在峰值信噪比、结构相似性和残差三种综合性能量化指标上均具有较大的优势。

一种结合多先验的快速视频去雨算法

为提升当前视频去雨算法的去雨效果,同时减少运算时间,在半二次分裂法框架的基础上,提出了一种将梯度先验与卷积神经网络先验相结合的方法进行去雨。在梯度先验的选择上采用了背景层的时间方向梯度和雨滴层的水平方向梯度,同时提出了一种层数参数较少的卷积神经网络作为另一种先验。通过使用软阈值等算法来迭代优化模型函数,获得输出最优解。实验结果表明,方法相较于多个对比方法雨滴去除更为干净且细节保留更好,在峰值信噪比(PSNR)及结构相似度(SSIM)指标上均有所提升,同时在运算时间上具有较大优势。

基于层先验的快速视频去雨算法

为了解决当前去雨算法恢复效果差、时效性一般的缺陷,提出了一种结合时间方向梯度与水平方向梯度的快速视频去雨算法。首先,将有雨图像分为背景层和雨痕层,并用背景层的时间方向梯度和雨痕层的水平方向梯度以及各层对应的预训练高斯混合模型作为先验条件,构建模型函数;其次,利用半二次分裂法对所得非凸函数进行等效变换,获得用于最小化的目标函数;最后,利用快速总变分法优化模型函数,得到模型函数的最优解。实验结果表明,相比其他算法,本算法的去雨恢复效果更优、时效性更好,且速度更快,平均峰值信噪比提升了1 dB以上。

基于运动估计与时空结合的多帧融合去雨网络

降雨天气会导致视觉质量下降,从而影响目标识别和追踪等视觉任务的处理效果。为了减小雨的影响,完成对运动视频背景细节的有效恢复,近年来相关研究者在视频去雨方向提出了很多方法。其中基于卷积神经网络的视频去雨方法使用最为广泛,它们大多采用单帧增强后多帧融合去雨的方式。但由于直接单帧增强使相邻帧之间部分像素的移动无法完成时间维度上的对齐,不能有效实现端到端的训练,因此丢失了大量细节信息,使得最终得到的去雨效果不尽人意。为有效解决上述问题,文中提出了一个基于运动估计与时空结合的多帧融合去雨网络(ME-Derain)。首先通过光流估计算法将相邻帧对齐到当前帧来有效利用时间信息;然后引入基于残差连接的编码器-解码器结构,结合与时间相关的注意力增强机制一起构成多帧融合网络来有效融合多帧信息;最后利用空间相关的多尺度增强模块来进一步增强去雨效果和得到最终的去雨视频。在多个数据集上的大量实验结果表明,所提算法优于现阶段大部分视频去雨算法,能够获得更好的去雨效果。

基于矩阵补全的自适应去雨雪算法

传统去雨雪方法通常没有考虑参数的自适应问题。为了提高视频去雨雪的效果,在Kim方法的矩阵补全模型中添加了一个自适应参数并提出了基于矩阵补全的自适应去雨雪算法。首先,简要地描述Kim方法的主要工作;其次,把自适应参数添加到经典的Kim模型的第二项;最后,使用各种雨雪视频验证了该参数的有效性及优异性,并使用网格搜索法找到去雨效果最好的参数。实验结果表明,添加的自适应参数能够有效地去除视频中的雨雪。