基于Rs-BasicVSR的煤机装备视频超分辨率算法

煤矿井下煤机装备搭载的摄像仪传输的视频信息存在信号干扰,分辨率低,细节缺失等问题,对后续的视频智能分析有着极大挑战。针对该问题,提出一种基于Rs-Basic VSR的煤机装备视频超分辨率算法。首先,在光流对齐部分改用RAFT网络,通过对图像特征建立相关空间,并根据特征信息进行搜索,提升光流计算精度;接着对网络结构进行裁剪,减少卷积层个数。实验结果表明,该算法在平均PSNR上可达31.83 dB,SSIM上达到了0.8919,平均推理时间为60 ms,模型参数量为5.9×10~6,主观视觉效果和客观指标上可以满足煤矿井下视频处理需求。

基于混合时空卷积的轻量级视频超分辨率重建

针对三维卷积神经网络在视频超分辨率任务上具有较高的计算复杂度以及提取时空特征有限的问题,本文设计了一种基于混合时空卷积的轻量级视频超分辨率重建网络。首先,提出了一个基于混合时空卷积的模块,实现了网络时空特征提取能力的提升以及计算复杂度的降低;其次,提出了一个基于相似性的选择性特征融合模块,进一步增强了相关特征的提取能力;最后,设计了一种基于注意力机制的运动补偿模块,在一定程度上减轻了错误的特征融合的影响。实验结果表明:所提网络可以在视频超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集SPMCS-11上4倍超分辨率达到8 frame/s。所提网络满足了边缘设备推理运行中快速、准确等要求。

基于帧间跨越光流的视频超分辨率重建网络

面对运动幅度较大的复杂场景,当前的视频超分辨率(VSR)算法在处理长序列时无法充分利用不同距离的帧间信息,难以精确地恢复遮挡、边界和多细节区域。为解决上述问题,提出一种基于帧间跨越光流机制的VSR模型。首先,通过密集残差块(RDB)提取低分辨率视频帧(LR)的浅层特征;其次,通过光流空间金字塔网络(SPyNet)以不同时间长度的跨越光流对视频帧进行运动估计和运动补偿,并通过RDB对帧间信息进行深层特征提取与矫正;最后,融合浅层特征与深层特征,并通过上采样得到高分辨率视频帧(HR)。在REDS4公开数据集上的实验结果表明,所提模型与经典的非显式运动补偿的动态上采样滤波器视频超分辨率网络(DUF-VSR)相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别提升了1.07 dB和0.06。验证了所提模型可有效提高视频图像重建的质量。

基于层次特征复用的视频超分辨率重建

当前的深度卷积神经网络方法,在视频超分辨率任务上实现的性能提升相对于图像超分辨率任务略低,部分原因是它们对层次结构特征中的某些关键帧间信息的利用不够充分.为此,提出一个称作层次特征复用网络(Hierarchical feature reuse network,HFRNet)的结构,用以解决上述问题.该网络保留运动补偿帧的低频内容,并采用密集层次特征块(Dense hierarchical feature block,DHFB)自适应地融合其内部每个残差块的特征,之后用长距离特征复用融合多个DHFB间的特征,从而促进高频细节信息的恢复.实验结果表明,提出的方法在定量和定性指标上均优于当前的方法.

一种基于通道注意力机制的交通监控视频超分辨率算法

为提升交通监控视频的显示质量,进而提高监控视频车牌识别成功率,提出一种基于通道注意力机制(Channel-wise Attention,CA)和BasicVSR模型的监控视频超分辨率模型。在BasicVSR模型中引入CA,使模型能学习不同通道之间的非线性依赖关系,从而有效提升监控视频超分辨率图像的质量。在某交通监控场景下开展车牌识别试验,对该CA-BasicVSR模型的有效性进行验证,结果表明:在交通监控画面还原任务中,该模型对画面还原的峰值信噪比相比EDVR-L模型和BasicVSR模型能分别提高约1.3 dB和0.3 dB;在车牌识别任务中,使用该模型处理的交通监控视频画面作为输入,相比原始低分辨率的视频画面,能提高车牌识别的成功率。

基于时域可变形卷积的视频超分辨率重建

视频资源随着技术发展在近年来得到了海量增长,人们除了对视频资源本身的需求外,提升视频清晰度的需求也逐渐增多。本文针对当前视频超分辨率重建方法中对视频参考帧与支持帧(相邻帧)之间的信息利用不充分的问题,提出一种基于深度学习的利用可变形卷积提取在不同时间间隔内特征的算法,依此完成超分辨率重建。算法将视频拆分的图像帧分为不同时域组,利用可变形卷积提取各时域组特征,结合可分离的3D卷积对各时域组进行组内特征融合,最后结合时空注意力模块将时域组间的特征融合,通过亚像素卷积完成分辨率的提升。根据在视频超分辨率重建的公开数据集上的实验结果可知,本文提出的算法效果优于VSRnet和VESPCN等其他视频重建算法,能够有效地提升重建视频的清晰度。

多阶段帧对齐的视频超分辨率重建网络

视频超分辨率(Video-Super Resolution,VSR)旨在将低分辨率视频帧序列重建为高分辨率视频帧序列。相较于图像超分辨率,VSR由于增加了时间维度的信息,因此通常需要依赖邻近帧高度相关信息实现当前帧的重建。如何对齐相邻帧,并获取帧间高度相关信息,是VSR任务关注的重点问题。本文将VSR任务分为去模糊、对齐、重建三个阶段。在去模糊阶段,将当前帧与相邻帧进行预对齐,获取与当前帧高度相关的特征信息,通过强化当前帧的细节以便实现初始阶段更多特征信息的提取。在对齐阶段,通过对输入特征进行二次对齐操作,利用相邻帧中高度相关信息进一步强化当前帧中特征信息。在重建阶段,通过聚合原始低分辨率帧以在网络末端提供更多特征信息。本文利用多层感知机(Multi-Layer Perceptron,MLP)代替传统卷积操作构造特征提取模块,同时对生成的特征信息进行二次对齐,以细化图像特征获得更优的视频帧重建效果。实验结果表明,本文提出的算法在多种公开数据集上的视频帧序列重建精度更高的同时,也取得了更少的网络参数量和更连贯的视频序列重建表现。

改进BasicVSR的水下视频超分辨率重构

由于水下环境复杂多变,水流湍急、相机抖动、悬浮颗粒的遮挡以及光的吸收和传播等导致光学设备获取的水下视频出现运动模糊、颜色失真和对比度低等问题。针对这些问题提出一种改进BasicVSR的水下视频超分辨率算法以提高重构图像的细节信息,同时改善水下图像偏蓝和偏绿的现象。首先,利用卷积神经网络拟合水下图像退化模型中的参数,进而得到水下图像特征;其次,利用原始输入的低分辨率视频帧计算得到前后帧之间的光流值;最后,利用光流信息对特征图进行双向传播,最终得到重构之后的每一帧图像。实验结果表明,经文中算法处理后的水下图像更符合人眼视觉特征,并且图像质量评价指标上相比其他算法有显著提高,更好的满足水下视觉高级任务对水下视频质量的要求。

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。

基于双通道卷积神经网络算法的视频处理超分辨率增强方法

为提高视频清晰度,引进双通道卷积神经网络算法,设计了一种针对视频处理过程的超分辨率增强方法。将视频录入计算机,建立视频信息与输入特征之间的级联关系,提取视频处理中的图像边缘纹理信息;引进双通道卷积神经网络算法,使用3×3的滤波处理器,提取视频特征信息,将提取的信息映射到双通道3×3区域中,匹配视频的矢量信息;引进Pair-wise模型将输入的低分辨率图像作为模型的分支,通过训练分支得到一个针对处理视频特征的字典,并据此生成高分辨率图像块。实验结果证明,设计方法可以在提高视频清晰度的同时,提高视频峰值信噪比,达到优化视频处理效果的目的。

视频监控图像的超分辨率复原研究

超分辨率复原技术是一种可用于提高图像细节辨识能力的有效方法。其在视频监控领域可望得到广泛应用。超分辨率图像处理技术通过融合多帧相似的低分辨率图像达到提高图像细节的目的。从而降低对监控视频采集硬件与后端辅助处理系统的要求,提高对特定目标的辨析能力。本文重点介绍了在视频监控领域较为实用的凸集投影算法、最大后验概率估计算法、基于对象的超分辨率复原方法、基于示例学习与多类预测器的超分辨率复原方法。对以上超分辨率复原方法实现流程的优缺点与其在视频图像监控领域的应用方法进行了相应分析。分析了超分辨率视频监控图像复原常用的基于块匹配与光流的对象运动估计方法。对超分辨率复原重建图像质量的评估标准也进行了相应讨论。

视频超分辨率重建技术综述

在获取视频过程中,有许多因素会导致视频质量的退化,使得视频的空间分辨率降低;而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法,已经在计算机视觉和图像处理等领域引起了广泛关注。详细阐述了视频超分辨率重建研究的概念和必要性,并较全面地回顾了超分辨率技术近年来的发展历程,对视频超分辨率重建中关键问题进行了较为深入的分析,指出了当今研究难点和今后的研究方向,对视频超分辨率重建的应用前景进行了展望。

视频的超分辨率增强技术综述

视频超分辨率增强的目的在于从时间上弥补视频采样设备采样帧率的不足,描述高速运动变化对象的细节信息;在空间上复原视频图像截止频率之外的信息,以使图像获得更多的细节。这项技术广泛应用于视频通信、监控、遥感和高清晰度电视等多个领域。从视频超分辨率的含义、发展现状、主要技术方法和未来研究展望等方面,对视频超分辨率增强领域的研究进行了综述。

一种视频序列的超分辨率重建算法

本文构建了一种视频序列超分辨率重建框架 .在此框架下 ,讨论了基于最小二乘规整化泛函的单帧图像的超分辨率重建算法及其收敛性、凸性和参数选择等 ;还提出了基于加权矩阵的运动配准融合 ,并研究了运动补偿阵和加权阵的构成和特点 .仿真结果表明方法的有效性和实用性 .

基于最大后验概率的单视频时间超分辨率重建算法

任何视频摄像设备均具有一定的时间分辨率限制,时间分辨率不足会造成视频中存在运动模糊和运动混叠现象。针对这一问题常用的解决方法是空间去模糊和时间插值,然而这些方法无法从根本上解决问题。提出一种基于最大后验概率(MAP)的单视频时间超分辨率重建方法,该方法通过重建约束来确定条件概率模型,然后利用视频自身具有的时间自相似先验信息得到先验信息模型,最后求得基于最大后验概率的估计值,即通过对单个低时间分辨率视频重建来得到高时间分辨率视频,从而有效解决由于相机曝光时间过长所造成的"运动模糊"和相机帧率不足引起的"运动混叠"现象。通过理论分析与实验,证明了所提方法的有效性。

基于多帧视频序列的盲超分辨率影像重建

提出了一种基于多帧序列的盲超分辨率算法和实现框架以解决影像分辨率较低问题。该算法首先对获得的视频序列低分辨率影像进行预处理,然后估计各帧间的相对运动,最后在不知道监控系统的降质模型及相关参数的情况下,逐步投影迭代来重建高分辨率影像。运用该算法对实际监控影像进行了重建实验,通过主观感受和多种客观评价指标多角度对算法进行了评估。结果表明,重建影像空间分辨率得到明显提高,边缘高频信息得到恢复,证明该算法稳健有效。

一种稳健的多视频时空超分辨率重建算法

为了提高视频序列的时间分辨率和空间分辨率,该文提出了一种基于一阶范数和时空总变分正则化方法的时空超分辨率视频重建算法。该算法利用同一场景的多个具有子像素空间位移偏差和子帧率时间偏差的低分辨率视频序列,重建得到一个高时空分辨率视频序列。在求解过程中不需要直接构造大型矩阵,大大降低了对内存的要求。实验结果表明该算法是有效的,且对成像模型估计误差具有一定的鲁棒性。

压缩视频超分辨率重建技术

超分辨率图像重建就是由低分辨率图像序列来估计高分辨率图像,而压缩视频的重建正成为当前研究的热点。本文首先分析了压缩视频重建的基础,建立了高、低分辨率图像间的关系,给出了量化噪声和运动矢量的模型;接着对目前最具有代表性的最大后验概率(MAP)算法、凸集投影(POCS)算法和迭代反向投影(IBP)算法进行了详细的阐述,并分别给出了实验结果;然后分析了运算的复杂度,介绍了几种实时化方法;最后针对目前存在的问题进行了展望,指出降质模型、运动估计、重建算法和实时应用将是今后研究的重点。

改进SA方法的卫星视频图像超分辨率重建

为了提高卫星视频图像的质量,针对SA方法中无法实现小数倍超分重建和"黑色格网"问题,提出了改进的SA超分辨率重建方法。对于小数倍超分问题,首先建立参考帧低分辨率图像坐标系,以超分倍数构建参考帧高分格网,按表达的物方元素一致的原则,把所有低分辨率图像和高分辨率图像的坐标系统一在一个参考坐标系下;对于"黑色格网"改善问题,在使用运动估计参数时,为了减少由于运动补偿造成的误差,取消传统SA方法中四舍五入的运动参数补偿方法,改为以待求点为中心确定容许误差,通过容许误差选择参估点,用参估点计算高分辨率网格像素,以减少"黑色格网"现象。利用仿真和真实的卫星视频数据实验验证了该方法的有效性。

多尺度自适应配准的视频超分辨率算法

为了提升制约视频超分辨率重建质量的多帧配准精度,提出了一种基于图像块多尺度自适应配准的视频超分辨率算法.依据图像帧的块内容自适应选择配准尺度,运动边缘信息采用高精度配准,然后将运动向量补偿到多帧图像超分辨率重建代价函数中,利用最大后验概率算法迭代优化高分辨率视频帧.仿真表明:多尺度自适应配准算法不仅提高了配准精度,还提升了视频超分辨率重建图像帧的主客观质量,证明了多尺度自适应配准在视频超分辨率重建中的有效性.