Spatial and Contextual Path Network for Image Inpainting

Image inpainting is a kind of use known area of information technology to repair the loss or damage to the area.Image feature extraction is the core of image restoration.Getting enough space for information and a larger receptive field is very important to realize high-precision image inpainting.However,in the process of feature extraction,it is difficult to meet the two requirements of obtaining sufficient spatial information and large receptive fields at the same time.In order to obtain more spatial information and a larger receptive field at the same time,we put forward a kind of image restoration based on space path and context path network.For the space path,we stack three convolution layers for 1/8 of the figure,the figure retained the rich spatial details.For the context path,we use the global average pooling layer,where the accept field is the maximum of the backbone network,and the pooling module can provide global context information for the maximum accept field.In order to better integrate the features extracted from the spatial and contextual paths,we study the fusion module of the two paths.Features fusionmodule first path output of the space and context path,and then through themass normalization to balance the scale of the characteristics,finally the characteristics of the pool will be connected into a feature vector and calculate the weight vector.Features of images in order to extract context information,we add attention to the context path refinement module.Attention modules respectively from channel dimension and space dimension to weighted images,in order to obtain more effective information.Experiments show that our method is better than the existing technology in the quality and quantity of themethod,and further to expand our network to other inpainting networks,in order to achieve consistent performance improvements.

Multi-Layer Deep Sparse Representation for Biological Slice Image Inpainting

Biological slices are an effective tool for studying the physiological structure and evolutionmechanism of biological systems.However,due to the complexity of preparation technology and the presence of many uncontrollable factors during the preparation processing,leads to problems such as difficulty in preparing slice images and breakage of slice images.Therefore,we proposed a biological slice image small-scale corruption inpainting algorithm with interpretability based on multi-layer deep sparse representation,achieving the high-fidelity reconstruction of slice images.We further discussed the relationship between deep convolutional neural networks and sparse representation,ensuring the high-fidelity characteristic of the algorithm first.A novel deep wavelet dictionary is proposed that can better obtain image prior and possess learnable feature.And multi-layer deep sparse representation is used to implement dictionary learning,acquiring better signal expression.Compared with methods such as NLABH,Shearlet,Partial Differential Equation(PDE),K-Singular Value Decomposition(K-SVD),Convolutional Sparse Coding,and Deep Image Prior,the proposed algorithm has better subjective reconstruction and objective evaluation with small-scale image data,which realized high-fidelity inpainting,under the condition of small-scale image data.And theOn2-level time complexitymakes the proposed algorithm practical.The proposed algorithm can be effectively extended to other cross-sectional image inpainting problems,such as magnetic resonance images,and computed tomography images.

A 360-Degree Panoramic Image Inpainting Network Using a Cube Map

Inpainting has been continuously studied in the field of computer vision.As artificial intelligence technology developed,deep learning technology was introduced in inpainting research,helping to improve performance.Currently,the input target of an inpainting algorithm using deep learning has been studied from a single image to a video.However,deep learning-based inpainting technology for panoramic images has not been actively studied.We propose a 360-degree panoramic image inpainting method using generative adversarial networks(GANs).The proposed network inputs a 360-degree equirectangular format panoramic image converts it into a cube map format,which has relatively little distortion and uses it as a training network.Since the cube map format is used,the correlation of the six sides of the cube map should be considered.Therefore,all faces of the cube map are used as input for the whole discriminative network,and each face of the cube map is used as input for the slice discriminative network to determine the authenticity of the generated image.The proposed network performed qualitatively better than existing single-image inpainting algorithms and baseline algorithms.

Image Inpainting Detection Based on High-Pass Filter Attention Network

Image inpainting based on deep learning has been greatly improved.The original purpose of image inpainting was to repair some broken photos, suchas inpainting artifacts. However, it may also be used for malicious operations,such as destroying evidence. Therefore, detection and localization of imageinpainting operations are essential. Recent research shows that high-pass filteringfull convolutional network (HPFCN) is applied to image inpainting detection andachieves good results. However, those methods did not consider the spatial location and channel information of the feature map. To solve these shortcomings, weintroduce the squeezed excitation blocks (SE) and propose a high-pass filter attention full convolutional network (HPACN). In feature extraction, we apply concurrent spatial and channel attention (scSE) to enhance feature extraction and obtainmore information. Channel attention (cSE) is introduced in upsampling toenhance detection and localization. The experimental results show that the proposed method can achieve improvement on ImageNet.

An Efficient Video Inpainting Approach Using Deep Belief Network

The video inpainting process helps in several video editing and restoration processes like unwanted object removal,scratch or damage rebuilding,and retargeting.It intends to fill spatio-temporal holes with reasonable content in the video.Inspite of the recent advancements of deep learning for image inpainting,it is challenging to outspread the techniques into the videos owing to the extra time dimensions.In this view,this paper presents an efficient video inpainting approach using beetle antenna search with deep belief network(VIA-BASDBN).The proposed VIA-BASDBN technique initially converts the videos into a set of frames and they are again split into a region of 5*5 blocks.In addition,the VIABASDBN technique involves the design of optimal DBN model,which receives input features from Local Binary Patterns(LBP)to categorize the blocks into smooth or structured regions.Furthermore,the weight vectors of the DBN model are optimally chosen by the use of BAS technique.Finally,the inpainting of the smooth and structured regions takes place using the mean and patch matching approaches respectively.The patch matching process depends upon the minimal Euclidean distance among the extracted SIFT features of the actual and references patches.In order to examine the effective outcome of the VIA-BASDBN technique,a series of simulations take place and the results denoted the promising performance.

边缘对抗结合层次门控卷积的人脸修复研究

针对目前人脸缺损图像修复存在边缘模糊和失真等问题,提出了一种两阶段层次门控卷积网络(Hierarchical gated convolutional network,HGCN),并将其与边缘对抗网络相结合用于人脸图像修复。首先,采用边缘对抗网络生成边缘图像。其次,将边缘图、掩模和缺损图像作为输入,训练HGCN的GAN模型以修复缺损人脸图像。HGCN网络采用门控卷积取代传统卷积,并引入了扩张卷积,网络的主体由粗修复模块和精修复模块组成。在粗修复模块中,编码器和解码器网络结构用于粗修复;在精细修复模块中,引入注意力机制来增强特征提取能力,进一步细化修复结果。实验使用Celeba-HQ数据集和NVIDIA不规则掩码数据集作为训练数据集,采用门控卷积网络和注意力机制网络作为实验对比模型,PSNR、 SSIM和MAE作为实验评估指标。实验结果表明,对于缺损区域小于20%的人脸图像,所提出的网络在上述三个指标上优于两种比较网络,而对于缺失区域大于20%的图像,所提出的网络与两种比较方法性能指标接近。在视觉效果方面,所提出的方法在细节上也优于两种对比网络。因而,所提出的网络可以明显提高图像修复效果,尤其是对图像细节的修复效果。

基于上下文特征提取的边缘生成三阶段图像修复算法

对于具有较大不规则缺失区域的图像修复问题,现有的基于深度学习的图像修复方法通常会生成具有模糊纹理和扭曲结构的内容。针对这个问题,将修复问题分解为基于上下文特征的结构预测和图像补全三阶段模型。第一阶段,通过空洞卷积编-解码网络,利用周围图像特征来对缺失部分进行初步修复;第二阶段,将第一阶段粗修复结果进行边缘提取后,输入到一个自注意力机制编-解码网络来预测缺失区域的纹理结构;第三阶段,将前两个阶段的输出一起输入到一个改进的U-net精修复网络中,得到结构清晰、纹理细节丰富的图像。在公开数据集上将所提算法与现有经典算法进行对比,实验表明,所提方法在主观视觉和客观评价方面优于现有方法。

伪时空图卷积网络修复姿态引导的Transformer行人视频修复方法

为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序列,针对其因存在遮挡情况导致未识别出和未准确识别部分关节点的问题,提出了一种伪时空图卷积网络模型对缺失姿态进行修复,得到一个相对准确的姿态序列;基于修复后的姿态,提出了基于姿态序列引导的Transformer行人视频修复模型.在Human3.6M数据集上进行了测试,所提出的方法在4个指标PSNR,RMSE,SSIM,LPIPS上均比对比方法有提升,特别是RMSE指标提升了9.50%,LPIPS指标提升了21.67%.

基于快速傅里叶卷积与特征修剪坐标注意力的壁画修复

针对现存古代壁画长时间自然风化引起的不同程度的裂缝、脱落等病害,人工修复成本过高,而目前已有的壁画修复方法大多都存在框架复杂、耗费算力大,并且修复色彩不够准确和质量不够高等问题,提出了一种以快速傅里叶卷积和坐标注意力为框架的生成对抗网络用于修复工作。该方法将待修复壁画图像和掩码输入该网络,经编码器后传入用于特征推理的残差模块以推理出待修复区域的合理内容;训练过程中由特定的用于修复任务的鉴别器进行对抗训练,最终达到修复效果。所提模型中的特征推理部分为一个包含门控残差连接、6个快速傅里叶卷积模块和改进的特征修剪坐标注意力模块的残差块,具有较大的感受野和提取丰富特征的能力,可解决当前方法所存在的修复结果不佳的问题。在自制数据集下进行实验,与现有几种经典的修复方法进行对比的结果表明,所提算法不仅结构简单,还有着更优秀的修复能力,可应用于古代壁画修复工作,可节省大量的人工成本。

基于密集连接注意力块的双生成器图像修复算法

针对图像修复痕迹明显、模型训练不稳定等问题,设计一种结合密集连接注意力块的图像修复算法。在生成器中引入精修复和粗修复二阶段修复网络,并在精修复网络中使用4个通道注意力块设计的密集连接注意力块;同时,增设VGG16特征提取模型,引入WGAN-GP作为判别器损失函数,以多损失融合的方式提高图像的修复效果。在CelebA数据集上验证模型的修复效果,该算法在主客观指标上均优于DCGAN、CE和DD这3种主流算法。

生成对抗网络在图像修复中的应用综述

随着生成对抗网络的迅猛发展,许多基于传统方法难以较好解决的图像修复问题获得了新的研究途径。生成对抗网络凭借强大的生成能力,能从受损图像中恢复出完好的图像,故而在图像修复中得到较为广泛的应用。总结了近年来利用生成对抗网络修复受损图像问题的相关理论与研究,以受损图像的类别及其所适配的修复方法为主要划分依据,将图像修复的应用划分为图像补全、图像去模糊、图像去噪三个主要方面。针对每一方面,通过技术原理、应用对象等维度对图像修复的应用进一步细分。对于图像补全领域,从使用条件引导与潜在编码等角度探讨了基于生成对抗网络的不同图像补全方法;对于图像去模糊领域,阐释了运动模糊图像与静态模糊图像的本质不同及其修复方法;对于图像去噪领域,归纳了不同类别图像的个性化去噪方法。同时,对于每一类应用,分析了所采用的具体生成对抗网络模型的特点及其贡献。最后,总结了生成对抗网络应用于图像修复的优势与不足,并对未来应用场景进行了展望。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

多尺度信息融合的生成对抗网络壁画修复

针对现有壁画修复算法因缺乏对于图像远距离特征的捕获能力而导致修复结果结构紊乱,以及缺失边缘颜色不一致问题,提出一种多尺度信息融合的生成对抗网络壁画修复算法。首先,将多分支扩张卷积架构引入生成网络,各个子扩张卷积的卷积核以不同扩张率局部扩大感受野,提取图像的局部特征;其次结合快速傅里叶卷积基于全局感受野提取特征,实现壁画图像局部到全局的特征提取;最后引入自注意力与PatchGAN鉴别器以解决缺失边缘颜色不一致问题。根据自制壁画数据集进行模型的训练和测试,并与多组修复算法进行修复对比,实验结果表明,相较于对比算法,所提算法在峰值信噪比(PSNR)平均提升4.42dB,结构相似性(SSIM)平均提升4.4%,学习感知图像块相似度(LPIPS)平均提升11.3%。实验证明所提算法能够有效修复破损壁画,修复后的壁画有较好的结构和纹理信息,为真实壁画的修复工作提供了支撑。

基于生成对抗网络的面部图像修复算法研究

为了解决目前基于生成对抗网络的图像修复算法在修复大范围面部图像时修复效果不好,特征提取不充分的问题,提出了基于注意力机制的生成对抗网络修复模型。引入自注意力机制模块来感受图像全局特征用来生成图像缺失区域,能够更好地修复图像的大范围缺失。同时改进了判别器,引入感知损失,提高了修复图像的结构相似度。在CelebA数据集上的实验结果表明,该算法在各项评价指标上均优于现有主流算法,其PSNR损失提高了0.81%~1.94%,SSIM提高了1.06%~2.49%,MSE降低了0.12%~0.35%。

基于优化感受野策略的图像修复方法

当前流行的基于深度神经网络的图像修复方法,通常使用大感受野的特征提取器,在修复局部图案和纹理时,会产生伪影或扭曲的纹理,从而无法恢复图像的整体语义和视觉结构。为了解决这个问题,提出了一种基于优化感受野策略的图像修复方法(optimized receptive field,ORFNet),将粗糙修复与精细修复相结合。首先,使用具有大感受野的生成对抗网络获得初始的粗略修复结果;然后,使用具有小感受野的模型来细化局部纹理细节;最后,使用基于注意力机制的编码器-解码器网络进行全局精炼修复。在CelebA、Paris StreetView和Places2数据集上进行验证,结果表明,ORFNet与现有具有代表性的修复方法进行对比,PSNR和SSIM分别平均提升1.98 dB和2.49%,LPIPS平均下降2.4%。实验证明,所提图像修复方法在不同感受野的引导下,在修复指标上表现更好,在视觉上也更加真实自然,验证了该修复方法的有效性。

基于Real ESRGAN的视频修复系统研究

图像修复和视频修复是计算机视觉的一项重要任务,其中图像修复又是视频修复的基础。为此,如何有效提升图像质量是实现视频质量提升的关键。传统的图像修复算法主要以样本信息为基础,通过对样本内容的扩撒来实现对破损区域的修复;由于这种方式对于图像样本有一定要求,从而制约传统图像修复技术的发展。为此,以生成新图像内容为基础的神经网络如GAN的出现,为图像修复技术转向深度学习提供方向。该课题主要以Real ESRGAN网络的图像修复技术为基础,通过对音频视频数据的隔离处理以及相同帧数据的优化和标记,构建视频修复处理流程。通过对随机视频样本的测试,并通过对单帧图片质量和视频数据流畅性与协调性的评估,该视频处理方法表现出较好的系统性能。

基于生成对抗门控卷积网络的文档图像印章消除

发票和文档上的印章严重影响文字识别的准确率,因此印章消除技术在文档识别和文档增强的预处理过程中发挥着重要作用。然而,现有的阈值分割方法和基于深度学习的方法存在印章消除不全以及会修改背景像素等问题。文中提出了一个两阶段式印章消除网络SealErase。第一阶段是一个用于生成包含印章位置信息的二值化掩膜的U型分割网络,第二阶段是一个用于进行精细化印章消除的修复网络。由于目前缺乏公开的用于印章消除的成对数据集,现有的方法无法设计像素级的评价指标来衡量生成图像的质量。并且,利用配对的训练集训练神经网络可以有效提高网络的性能。为此,文中兼顾真实场景的泛化性以及对噪声的鲁棒性构建了一个包含8000个样本的高仿真的印章消除数据集。其中的印章分为两种:真实文档图像中的印章和合成的印章。为了客观地评价SealErase的性能,文中设计了基于图像生成质量和被印章遮盖的字符识别准确率的综合评价指标用于评估SealErase网络的消除性能。在构建的印章消除数据集上对比了现有的印章消除模型,实验结果表明,SealErase网络在图像生成质量的评价指标中的峰值信噪比相比最先进的方法提升了26.79%,平均结构相似性指标提升了4.48%。经过SealErase网络进行印章消除后,被印章遮盖的字符识别准确率提高了38.86%。SealErase在真实场景下同样可以有效消除印章并保留被遮盖的文字。

一种面向图像修复的改进生成对抗网络

为解决图像修复后存在的模糊、边界突出等问题,提出了一种基于生成对抗网络的图像修复模型.首先,使用UNet结构改造Context Encoder(CE)模型的生成器部分;其次,在生成器下采样模块中使用多路分支残差模块,以提高模型的特征提取能力;最后,损失函数中引入了全局一致损失和TV Loss,联合对抗损失和局部损失,从而提高图像的修复效果.生成器网络和判别器网络交替、对抗训练,直至得出稳定的、生成效果较好的生成器模型以完成图像修复.修复模型在CelebA数据集上进行了测试,结果表明修复效果较好,SSIM和PSNR两项指标均有明显提升.

一种基于深度残差网络的图像修复算法设计与实现

随着数字图像在人们日常生活中使用越来越多,针对破损图像缺失区域的数字图像修复问题,本文提出一种基于深度残差网络的图像修复模型。该模型总体架构基于编码-解码结构,编码器采用不同深度的残差网络,解码器分别使用反卷积网络结构和上采样-卷积结构。通过实验探讨在本模型中不同结构的解码器、编码器以及不同的损失函数对图像修复效果的影响。实验结果表明:本文提出的基于深度残差网络的图像修复模型,采用修改后的Resnet 34-layer作为编码器,反卷积网络作为解码器,L1 Loss作为损失函数,能够达到较好的图像修复效果。

结合空间语义注意力的二段式遥感图像修复网络

高分辨率遥感图像的缺失区域中地物种类复杂多样、空间异质性高,导致图像修复结果中存在纹理模糊和结构扭曲的问题,且在边界和复杂纹理区域尤为突出。因此提出一种结合空间语义注意力的二段式遥感图像修复网络。该网络由粗修复网络和精修复网络串联而成,旨在使用粗略修复网络提供的先验信息,引导精修复网络对缺失区域的复原。在粗修复网络中,构建多级损失结构以强化网络训练的稳定性;在精修复网络中,提出一种新的空间语义注意力机制,并依据网络特征的分布特点,区别性将空间语义注意力嵌入在编码器和解码器中,以确保局部特征的连续性和全局语义信息的相关性。实验结果表明,所提方法相比于现有其他算法可以进一步提升图像修复效果。