An Efficient Video Inpainting Approach Using Deep Belief Network

The video inpainting process helps in several video editing and restoration processes like unwanted object removal,scratch or damage rebuilding,and retargeting.It intends to fill spatio-temporal holes with reasonable content in the video.Inspite of the recent advancements of deep learning for image inpainting,it is challenging to outspread the techniques into the videos owing to the extra time dimensions.In this view,this paper presents an efficient video inpainting approach using beetle antenna search with deep belief network(VIA-BASDBN).The proposed VIA-BASDBN technique initially converts the videos into a set of frames and they are again split into a region of 5*5 blocks.In addition,the VIABASDBN technique involves the design of optimal DBN model,which receives input features from Local Binary Patterns(LBP)to categorize the blocks into smooth or structured regions.Furthermore,the weight vectors of the DBN model are optimally chosen by the use of BAS technique.Finally,the inpainting of the smooth and structured regions takes place using the mean and patch matching approaches respectively.The patch matching process depends upon the minimal Euclidean distance among the extracted SIFT features of the actual and references patches.In order to examine the effective outcome of the VIA-BASDBN technique,a series of simulations take place and the results denoted the promising performance.

INPAINTING ALGORITHM FOR KINECT DEPTH MAP BASED ON FOREGROUND SEGMENTATION

The depth information of the scene indicates the distance between the object and the camera,and depth extraction is a key technology in 3D video system.The emergence of Kinect makes the high resolution depth map capturing possible.However,the depth map captured by Kinect can not be directly used due to the existing holes and noises,which needs to be repaired.We propose a texture combined inpainting algorithm in this paper.Firstly,the foreground is segmented combined with the color characteristics of the texture image to repair the foreground of the depth map.Secondly,region growing is used to determine the match region of the hole in the depth map,and to accurately position the match region according to the texture information.Then the match region is weighted to fill the hole.Finally,a Gaussian filter is used to remove the noise in the depth map.Experimental results show that the proposed method can effectively repair the holes existing in the original depth map and get an accurate and smooth depth map,which can be used to render a virtual image with good quality.

基于深度学习的视频修复方法综述

视频作为常见的媒体信息之一,目前已在各个领域得到广泛应用。尤其是以抖音等为代表的短视频软件的兴起,使得与视频相关的技术不断迭代更新。其中,视频修复技术是视频处理研究中的一个热点。视频修复技术是利用视频帧内的像素信息和帧间的时域参考信息对视频帧受损的区域进行内容推理并修复,在补全缺损视频、物体移除及视频伪造检测等场景中具有广泛应用前景。该技术可追溯到二十世纪末的老电影修复技术,该任务通常由专业的技术团队逐帧修复完成。而随着数字技术的发展,近年来已有一些人工智能技术用于视频修复,让老电影重获新生。目前,视频修复技术可分为传统方法和基于深度学习的两类方法。其中,传统方法由于缺少对高层语义信息的理解,在场景复杂、缺失区域较大的情况下修复效果不佳;而基于深度学习的方法随着算法框架的优化和图形处理器性能的提升展现了出色的效果,对修复结果的语义结构准确性和时间一致性都有明显的提升。本文在简要回顾传统视频修复方法的基础上,重点分析四类基于深度学习视频修复方法的网络结构、参数模型、性能表现与优缺点;介绍视频修复领域中常用的数据集和评价指标;最后,对视频修复领域现存的问题进行总结并展望未来可能的研究方向。

基于多注意力机制的纹理感知视频修复方法

针对现有视频修复方法无法有效利用远处空间内容信息而导致修复结果中存在结构和纹理不合理的问题,提出了一种基于多注意力机制的纹理感知视频修复方法。该方法设计了由多头时空注意力和单图局部注意力构成的多注意力机制以保证全局结构并增强局部纹理,其中多头时空注意力关注整体时空信息,单图局部注意力通过局部窗口的自注意力机制精炼提取局部信息。另外,采用可即插即用的快速傅里叶卷积层残差块代替前馈网络中的普通卷积,将感受野扩展为整个图像,进一步增强了模型对图像纹理和结构的全局信息的获取能力。快速傅里叶卷积层残差块和单图局部注意力相辅相成,共同提升局部纹理的修复质量。在YouTube-VOS和DAVIS数据集上的实验结果表明,虽然提出的方法修复结果的客观质量评价仅次于最优方法Fuseformer,但其参数量和运行时间分别下降了54.8%和21.5%,而且能够生成视觉上更逼真、语义上更合理的修复内容。

伪时空图卷积网络修复姿态引导的Transformer行人视频修复方法

为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序列,针对其因存在遮挡情况导致未识别出和未准确识别部分关节点的问题,提出了一种伪时空图卷积网络模型对缺失姿态进行修复,得到一个相对准确的姿态序列;基于修复后的姿态,提出了基于姿态序列引导的Transformer行人视频修复模型.在Human3.6M数据集上进行了测试,所提出的方法在4个指标PSNR,RMSE,SSIM,LPIPS上均比对比方法有提升,特别是RMSE指标提升了9.50%,LPIPS指标提升了21.67%.

深度视频修复篡改的被动取证研究

深度视频修复技术就是利用深度学习技术,对视频中的缺失区域进行补全或移除特定目标对象。它也可用于合成篡改视频,其篡改后的视频很难通过肉眼辨别真假,尤其是一些恶意修复的视频在社交媒体上传播时,容易造成负面的社会舆论。目前,针对深度视频修复篡改的被动检测技术起步较晚,尽管它已经得到一些关注,但在研究的深度和广度上还远远不够。因此,本文提出一种基于级联Conv GRU和八方向局部注意力的被动取证技术,从时空域角度实现对深度修复篡改区域的定位检测。首先,为了提取修复区域的更多特征,RGB帧和错误级分析帧ELA平行输入编码器中,通过通道特征级融合,生成不同尺度的多模态特征。其次,在解码器部分,使用编码器生成的多尺度特征与串联的Conv GRU进行通道级融合来捕捉视频帧间的时域不连续性。最后,在编码器的最后一级RGB特征后,引入八方向局部注意力模块,该模块通过八个方向来关注像素的邻域信息,捕捉修复区域像素间的异常。实验中,本文使用了VI、OP、DSTT和FGVC四种最新的深度视频修复方法与已有的深度视频修复篡改检测方法HPF和VIDNet进行了对比,性能优于HPF且在编码器参数仅VIDNet的五分之一的情况下获得与VIDNet可比的性能。结果表明,本文所提方法利用多尺度双模态特征和引入的八方向局部注意力模块来关注像素间的相关性,使用Conv GRU捕捉时域异常,实现像素级的篡改区域定位,获得精准的定位效果。

基于Real ESRGAN的视频修复系统研究

图像修复和视频修复是计算机视觉的一项重要任务,其中图像修复又是视频修复的基础。为此,如何有效提升图像质量是实现视频质量提升的关键。传统的图像修复算法主要以样本信息为基础,通过对样本内容的扩撒来实现对破损区域的修复;由于这种方式对于图像样本有一定要求,从而制约传统图像修复技术的发展。为此,以生成新图像内容为基础的神经网络如GAN的出现,为图像修复技术转向深度学习提供方向。该课题主要以Real ESRGAN网络的图像修复技术为基础,通过对音频视频数据的隔离处理以及相同帧数据的优化和标记,构建视频修复处理流程。通过对随机视频样本的测试,并通过对单帧图片质量和视频数据流畅性与协调性的评估,该视频处理方法表现出较好的系统性能。

Temporally Consistent Depth Map Estimation for 3D Video Generation and Coding

In this paper, we propose a new algorithm for temporally consistent depth map estimation to generate three-dimensional video. The proposed algorithm adaptively computes the matching cost using a temporal weighting function, which is obtained by block-based moving object detection and motion estimation with variable block sizes. Experimental results show that the proposed algorithm improves the temporal consistency of the depth video and reduces by about 38% both the flickering artefact in the synthesized view and the number of coding bits for depth video coding.

Exemplar-based video inpainting with large patches

Inpainting is the process of reconstructing damaged regions of images and video frames.This study deals with weaknesses of the current video inpainting techniques,when an object is totally damaged,and a framework for video inpainting is proposed.Using this framework,the moving object is separated from the background.A large mosaic image is constructed using the moving object and then a patch-based method with large patches is used to fill holes.In each frame,the inpainted foreground is obtained by placing the object in its location.Missing areas of the stationary background are also filled separately and the final video is produced by composing the inpainted background and object frames.Results for three video sequences with an occluded object show that this approach represents the object in the missing region better than other approaches.

Kinect深度图像快速修复算法

深度提取是基于"纹理+深度"自由立体视频系统的关键技术,而立体视频实际应用系统需要高效快速的深度图提取.提出一种针对Kinect提取深度图的快速修复算法.首先,对Kinect提取的彩色纹理图和深度图进行对齐裁剪,并采用背景填充算法对裁剪后的深度图进行初步修复;然后,对初步修复后的深度图进行基于颜色匹配的快速修复,得到质量较好的可用深度图.实验结果表明,本算法能有效修复原始深度图中由于遮挡而引起的空洞,获取的深度图整体平滑度好、边缘清晰;在普通PC机上达到25～30帧/s的处理帧率,实现了深度图的实时提取.

改进的斑点检测算法

为了最大化斑点检测中正确检测率与错误检测率之间的比值,改进了简单排序差分算法(SROD)的斑点判别准则,并提出新的斑点检测方法。针对同一帧图像中不同的斑点区域,使用自适应阈值迭代算法,使得每个斑点区域能够自动收敛到合适的阈值,同时采用纹理匹配方法克服了在斑点区域由于运动估计不准确而导致的偏差。通过对人工随机添加斑点的图像序列进行测试,实验结果表明,改进的方法比原有算法取得了更好的检测效果。

基于纹理合成的视频去抖动

视频去抖动是视频增强技术的一个重要应用,通过纠正视频帧的位置使视频运动变得平稳。随之而来的问题是如何修复视频帧留下的空缺以保持视频的连续性。在对图像修复技术进行研究的基础上,提出了利用改进的纹理合成技术进行去抖动视频修复的方法。实验给出的视频去抖动效果证明了该方法的有效性。

基于分组鲁棒主成分分析的老电影修复

以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域分组的方式在最粗糙层构造观测矩阵,依次执行基于交替线性法的RPCA变换后,根据帧间误差信息得到大面积破损位置;利用上采样方式构造初步修复结果序列、破损掩模序列以及最近邻偏移矩阵集合,继而对原始序列进行修改,重复时空域分组RPCA变换,实现对老电影视频序列的修复.实验结果证明,该方法能够同时修复画面中的不同损伤,并取得良好的效果.

基于三维泊松方程的数字视频修复

提出了一种基于三维泊松方程的数字视频修复算法.首先提取视频帧的梯度场,然后使用基于块的修复方法对梯度进行信息填充,最后在梯度场中建立视频受损区域的三维泊松方程并求解,实现对视频像素的修复.实验结果表明,基于三维泊松方程的视频修复方法具有良好的时空连续性,能保证视频画面色调、明暗的一致性,使修复痕迹更平滑,画面更自然.

基于优选特征轨迹的全分辨率视频稳定

该文提出一种基于优选特征轨迹的视频稳定算法。首先,采用改进的Harris角点检测算子提取特征点,通过K-Means聚类算法剔除前景特征点。然后,利用帧间特征点的空间运动一致性减少错误匹配和时间运动相似性实现长时间跟踪,从而获取有效特征轨迹。最后,建立同时包含特征轨迹平滑度与视频质量退化程度的目标函数计算视频序列的几何变换集以平滑特征轨迹获取稳定视频。针对图像扭曲产生的空白区,由当前帧定义区与参考帧的光流作引导来腐蚀,并通过图像拼接填充仍属于空白区的像素。经仿真验证,该文方法稳定的视频,空白区面积仅为Matsushita方法的33%左右,对动态复杂场景和多个大运动前景均具有较高的有效性并可生成内容完整的视频,既提高了视频的视觉效果,又减轻了费时的边界修复任务。

基于Navier-Stokes方程的视频去隔行方法

随着技术的发展,常需将已有的隔行视频转换成高质量的逐行视频。本文提出一种基于Navier-Stokes(N-S)方程的视频去隔行方法。将基于N-S方程的图像修复模型应用到视频空间,由理想三维流体方程,建立视频的局部约束条件;然后,根据其各向异性特征,导出单个像素点的修复方程;最后,通过对隔行视频间隔区域的逐点修复,实现视频去隔行。实验表明,本文方法能够较好的抑制运动虚像和边沿锯齿。

3-D整体变分视频去隔行方法

提出了一种基于3D整体变分模型的视频去隔行方法。首先根据整体变分修复模型,建立3D灰度空间的光滑性能量函数,形成对隔行区域插值的约束;然后利用变分法将最小化能量函数的问题,转化为对Euler-La-grange方程的求解;最后根据隔行视频的特性,给出了一种非迭代的离散实现方法。实验结果表明,和常见的几种去隔行方法相比,本文方法能够较好地抑制边沿锯齿和运动虚像。

一种用于视频修复的块匹配方法

视频修复最主要的工作之一是对缺失图像块的匹配替代块的搜索。针对传统块匹配算法具有易陷入局部最优的固有缺陷的不足,提出一种新的块匹配搜索算法。该方法结合新的三步搜索方法和简单高效的三步搜索方法的优点,在简单有效的搜索方法确定了四分之一选区后,在该四分之一选区内加上相应的小步长临域搜索点,以提高对于小范围运动的匹配效果。仿真实验结果表明该方法能够更准确、更高效地搜索匹配块,对于视频修复具有非常重要的意义。

基于时空几何流的Bandelet稀疏正则化在视频修复中的应用

针对现有的大多视频修复方法为了满足视觉一致性而需要额外处理过程的问题,提出了一种基于时空几何流的Bandelet稀疏正则化方法。首先,利用Bandelet变换提取视频时空几何流特征以重建丢失的数据;然后,通过基于Bandelet块融合增强的优先级样本方法生成初步修复结果;最后,运用稀疏正则化完成剩余的修复任务。实验结果表明,相比其他几种较好的视频修复算法,该方法取得了更好的修复质量,并在均方差(MSE)衡量和时空最明显失真模型(STMAD)的时间一致性方面取得了更好的性能。

一种快速消除失真的虚拟视点合成方法

基于深度图的绘制(DIBR)技术是合成虚拟视点图像的有效方法,但是合成的图像往往存在失真,最主要的问题是包含"伪影"和大小不等的空洞。针对"伪影"问题,先对参考视点图像进行色彩校正,并综合基于深度的彩色图融合和彩色图直接融合两种方式融合图像,以减弱"伪影"效应;针对映射后出现的小空洞,采用反向映射到参考图像的方式进行填充;针对大的空洞,采用图像修复的方式,结合深度图更好地填补空洞,但是图像修复是一个耗时的过程,为此将图像修复算法并行化,利用统一计算设备架构(CUDA)并行计算,来加速空洞填补过程。实验结果表明,针对"伪影"问题的处理及基于图像修复的空洞填补可以有效地提高虚拟视点图像合成质量,同时基于CUDA实现的并行图像修复算法也大幅降低了空洞填补时间。