胶片与视频分辨率的比较

在选择高速电影摄影机还是高速摄像机时,有的人在量化视频影像和胶片影像之间的差异上,存在着一定的困难。对于特定的高速用途,在决定是使用电影摄影机还是使用摄像机时,有三个重要的比较因素,胶片与视频的空间频率是其中之一,除此之外,还有瞬时分辨率和亮度分辨率这两个因素。空间分辨率对于胶片,空间分辨率通常表述为每毫米线对数(1p/mm);对摄像机的CCD传感器,则表述为每帧像素数。一个线对由一条黑线和一条邻近的白线组成。

基于帧间跨越光流的视频超分辨率重建网络

面对运动幅度较大的复杂场景,当前的视频超分辨率(VSR)算法在处理长序列时无法充分利用不同距离的帧间信息,难以精确地恢复遮挡、边界和多细节区域。为解决上述问题,提出一种基于帧间跨越光流机制的VSR模型。首先,通过密集残差块(RDB)提取低分辨率视频帧(LR)的浅层特征;其次,通过光流空间金字塔网络(SPyNet)以不同时间长度的跨越光流对视频帧进行运动估计和运动补偿,并通过RDB对帧间信息进行深层特征提取与矫正;最后,融合浅层特征与深层特征,并通过上采样得到高分辨率视频帧(HR)。在REDS4公开数据集上的实验结果表明,所提模型与经典的非显式运动补偿的动态上采样滤波器视频超分辨率网络(DUF-VSR)相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别提升了1.07 dB和0.06。验证了所提模型可有效提高视频图像重建的质量。

一种基于通道注意力机制的交通监控视频超分辨率算法

为提升交通监控视频的显示质量,进而提高监控视频车牌识别成功率,提出一种基于通道注意力机制(Channel-wise Attention,CA)和BasicVSR模型的监控视频超分辨率模型。在BasicVSR模型中引入CA,使模型能学习不同通道之间的非线性依赖关系,从而有效提升监控视频超分辨率图像的质量。在某交通监控场景下开展车牌识别试验,对该CA-BasicVSR模型的有效性进行验证,结果表明:在交通监控画面还原任务中,该模型对画面还原的峰值信噪比相比EDVR-L模型和BasicVSR模型能分别提高约1.3 dB和0.3 dB;在车牌识别任务中,使用该模型处理的交通监控视频画面作为输入,相比原始低分辨率的视频画面,能提高车牌识别的成功率。

多阶段帧对齐的视频超分辨率重建网络

视频超分辨率(Video-Super Resolution,VSR)旨在将低分辨率视频帧序列重建为高分辨率视频帧序列。相较于图像超分辨率,VSR由于增加了时间维度的信息,因此通常需要依赖邻近帧高度相关信息实现当前帧的重建。如何对齐相邻帧,并获取帧间高度相关信息,是VSR任务关注的重点问题。本文将VSR任务分为去模糊、对齐、重建三个阶段。在去模糊阶段,将当前帧与相邻帧进行预对齐,获取与当前帧高度相关的特征信息,通过强化当前帧的细节以便实现初始阶段更多特征信息的提取。在对齐阶段,通过对输入特征进行二次对齐操作,利用相邻帧中高度相关信息进一步强化当前帧中特征信息。在重建阶段,通过聚合原始低分辨率帧以在网络末端提供更多特征信息。本文利用多层感知机(Multi-Layer Perceptron,MLP)代替传统卷积操作构造特征提取模块,同时对生成的特征信息进行二次对齐,以细化图像特征获得更优的视频帧重建效果。实验结果表明,本文提出的算法在多种公开数据集上的视频帧序列重建精度更高的同时,也取得了更少的网络参数量和更连贯的视频序列重建表现。

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。

改进BasicVSR的水下视频超分辨率重构

由于水下环境复杂多变,水流湍急、相机抖动、悬浮颗粒的遮挡以及光的吸收和传播等导致光学设备获取的水下视频出现运动模糊、颜色失真和对比度低等问题。针对这些问题提出一种改进BasicVSR的水下视频超分辨率算法以提高重构图像的细节信息,同时改善水下图像偏蓝和偏绿的现象。首先,利用卷积神经网络拟合水下图像退化模型中的参数,进而得到水下图像特征;其次,利用原始输入的低分辨率视频帧计算得到前后帧之间的光流值;最后,利用光流信息对特征图进行双向传播,最终得到重构之后的每一帧图像。实验结果表明,经文中算法处理后的水下图像更符合人眼视觉特征,并且图像质量评价指标上相比其他算法有显著提高,更好的满足水下视觉高级任务对水下视频质量的要求。

面向UHDTV的多分辨率视频显示质量评估研究

超高清电视(UHDTV,Ultra High Definition TV)凭借其超高的屏幕分辨率可以更细腻地展现视频的内容,受到越来越多用户的青睐,然而目前超高清节目源发展有限,通常只能将低于超高清电视屏幕分辨率的视频经过插值后播放,这样处理可能会对用户主观体验带来一定的影响。如何准确评估UHDTV多分辨率视频源对视频显示质量的影响,对UHDTV业务的部署和优化起到指导性的作用。本文通过主观实验,利用SSIM算法预测视频源编码质量,并进一步分析视频源分辨率对UHDTV视频显示质量的影响,提出一种面向UHDTV的视频显示质量评估模型。实验结果表明,相比SSIM、VIFp和MOVIE三种经典的视频质量评估算法,本文模型所得视频显示质量和主观质量之间的皮尔森系数分别提高1.13%、1.89%和2.31%,斯皮尔曼等级相关系数分别提高1.35%、1.53%和2.24%,RMSE降低35.05%、36.94%和39.71%。所提模型可以更加准确地评价UHDTV视频显示质量。

多尺度自适应配准的视频超分辨率算法

为了提升制约视频超分辨率重建质量的多帧配准精度,提出了一种基于图像块多尺度自适应配准的视频超分辨率算法.依据图像帧的块内容自适应选择配准尺度,运动边缘信息采用高精度配准,然后将运动向量补偿到多帧图像超分辨率重建代价函数中,利用最大后验概率算法迭代优化高分辨率视频帧.仿真表明:多尺度自适应配准算法不仅提高了配准精度,还提升了视频超分辨率重建图像帧的主客观质量,证明了多尺度自适应配准在视频超分辨率重建中的有效性.

多视频超分辨率的时间重建倍数

多视频超分辨率时间重建技术可以消除视频中的运动模糊和运动混叠现象。进行多视频时间重建时,重建倍数过小不能有效地减小运动模糊和运动混叠现象;而重建倍数过大会产生严重的时间振铃现象和运动物体位置的跳变。本文对如何在重建过程中确定最优的时间重建倍数进行了研究。通常情况下,在决定多视频时间重建倍数时只考虑输入视频的个数;但在实际重建过程中,除了输入视频个数的因素,时间重建倍数还与各个输入视频在时间上能提供的冗余信息量有关。文中从多个低分辨率输入视频配准后的位置关系入手,通过对曝光区间的分析,提出了确定多视频时间重建倍数的计算方法。最后对提出的方法进行了理论分析与实验,证明了所提方法的有效性。

一种稳健的多视频时空超分辨率重建算法

为了提高视频序列的时间分辨率和空间分辨率,该文提出了一种基于一阶范数和时空总变分正则化方法的时空超分辨率视频重建算法。该算法利用同一场景的多个具有子像素空间位移偏差和子帧率时间偏差的低分辨率视频序列,重建得到一个高时空分辨率视频序列。在求解过程中不需要直接构造大型矩阵,大大降低了对内存的要求。实验结果表明该算法是有效的,且对成像模型估计误差具有一定的鲁棒性。

基于非局部均值和总变分最小化的单视频超分辨率算法

传统的基于重建的单视频超分辨率方法能够获得较好的重建效果。然而,已有算法没有充分利用视频内的帧间、帧内相关性,重建效果仍有待提升。针对这一问题,提出了一种新的单视频超分辨率算法。为充分利用帧内相关性,采用非局部均值模型表征帧内非局部结构特性,采用总变分模型表征帧内局部结构特性;为了探索帧间相关性,采用光流法进行帧间预测。最后,为了求解所建立的优化问题,提出了基于split-Bregman方法的快速迭代算法。实验结果表明,与同类算法相比,所提算法在主、客观质量上均有相应的提升。

一种改进的视频超分辨率重建方法

针对目前无人机摄像、照相数据的特点,提出一种基于低分辨率视频重建高分辨率视频的改进方法;采用高斯金字塔光流算法对低分辨率视频及高分辨率图像进行运动估计利用小波频带分解方法提取图像的高频细节,并对视频进行运动补偿,采用凸集投影方法对补偿后视频进行迭代优化;并通过MATLAB仿真实现了以上算法,实验结果证明本文算法重建质量更好、处理速度更快。

应用空时相关性的单视频超分辨率算法

已有的单视频超分辨率算法大多基于精确的运动估计,当运动估计不准确时,超分辨率结果中将出现失真现象。针对这一问题,提出一种新的单视频超分辨率算法。通过三维非局部均值约束模型表征视频内的空时相关性,同时采用总变分模型表征视频帧内局部相似性。最后,为了求解所建立的最优化问题,提出了基于split-Bregman方法的快速迭代算法。实验结果表明,与同类算法相比,提出的算法获得了最佳客观及主观结果。

光流估计补偿结合生成对抗网络提高视频超分辨率感知质量

视频超分辨率(VSR)的任务是利用序列视频帧具有的时间连续性和空间相似性提高视频的分辨率。主流的VSR方法利用像素损失优化网络,导致生成的超分辨率(SR)重建结果边缘模糊、细节平滑。为此,提出了一个新的引入时空特征补偿和多特征鉴别器的端到端的VSR网络框架MC-PETGAN。该框架包括光流估计补偿网络和多特征鉴别生成对抗网络。光流估计补偿网络利用相邻视频帧之间的短时连续和内容相似性特征为多特征鉴别生成对抗网络提供有效丰富的细节信息;生成器与包括像素、边缘和纹理鉴别器的多特征鉴别器的对抗训练促使SR帧与高分辨率(HR)帧的像素、边缘和纹理趋于一致。大量公共数据集和监控视频数据的实验结果表明,该文方法能够有效提高视频SR结果的像素精度,并恢复出清晰的边缘和纹理,而且视觉感受愉快,感知指标有竞争力。

高分辨率视频数字记录设备

介绍了高分辨率视频数字记录设备的设计与实现,给出了该设备的技术指标并分析了应用前景。

基于低秩及全变分的视频超分辨率重建

视频序列沿着时间轴展开所形成的二维矩阵具有低秩性,由此提出了一种利用该性质并结合全变分约束的视频超分辨率重建算法。该方法使用保真项以及上述两约束条件构造视频超分辨率重建的优化函数,然后采用变量分裂法求解该优化问题。实验结果表明,相比于两步迭代(two-step iterative shrinkage/thresholding,Tw IST)、3D核回归(3D kernel regression,3DKR)等方法,此算法能得到更好的峰值信噪比和结构相似度,即使在模糊和噪声的影响下,该算法也具有良好的性能,能较好地重建出视频图像。

用AD9884A实现高分辨率视频采样

高分辨率视频的数字化对采样的频率和精确度要求很高,本文介绍了一种基于AD9884A芯片的高分辨率视频采样技术,同时给出了高频率信号的PCB布线和电阻匹配设计。

多阶导数自适应视频超分辨率重建

传统视频超分辨率重建算法在去除噪声的同时,很难有效保持图像边缘细节信息。针对该问题,构建了一种结合多阶导数数据项和自适应正则化项的视频超分辨率重建算法。在正则化重建模型的基础上,该算法对数据项进行改进,引入能更好描述噪声统计特性的噪声多阶导数,并利用去噪效果较好的全变分(TV)和非局部均值(NLM)正则化项对视频超分辨率重建过程进行约束。此外,为了更好地保持图像细节信息,采用区域空间自适应曲率差分算法提取结构信息,从而对正则化系数进行自适应加权。实验结果表明:在噪声方差为3时,与核回归算法和聚类算法相比,该算法重建视频主观效果边缘更加锐化,局部结构更加正确、清晰;重建视频的均方误差(MSE)平均下降幅度分别为25.75%和22.50%;峰值信噪比(PSNR)分别平均提升了1.35 d B和1.14 d B。所提算法能够在去除噪声的同时有效保持图像的细节特征。

视频超分辨率重建及其刑侦应用

概要阐述视频超分辨率重建研究的必要性及其方法,分析多视超分辨率重建的序列建模方法,研析帧间运动配准算法及迭代反投影重建算法,提出视频超分辨率重建对于刑事侦查研究工作的前沿理论导引的迫切性和使命责任。

一种多尺度三维卷积的视频超分辨率方法

视频超分辨率技术可由低分辨率视频获得高分辨率视频,有效提升视频的显示效果。与单幅图像超分辨率不同,如何利用相邻视频帧之间的信息在视频超分辨率中则显得十分重要。为改善视频超分辨率重建的性能,充分利用视频帧的时间-空间相关性,提出一种基于多尺度三维卷积的视频超分辨率模型。该模型输入连续的多帧视频图像,输出中间帧的超分辨率重建结果,包括多尺度特征提取、特征融合以及高分辨率重建3个模块。首先,使用多尺度的三维卷积进行初步特征提取;然后,使用三维卷积残差结构进行特征融合,并将特征图进行通道分离,在融合不同尺度的特征时,有效地减少了网络的参数量;最后,使用多个残差密集连接块和亚像素卷积进行高分辨率重建,并结合全局残差连接得到重建的高分辨率视频图像。Vid4数据集上3倍和4倍超分辨率放大的实验结果表明,与其他已有方法相比,该方法可有效提升峰值信噪比和结构相似性性能,取得较好的视觉效果。