多耦合反馈网络的图像融合和超分辨率方法

人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制,高动态范围的图像往往通过低动态范围图像的多曝光融合(MEF)而获得,高分辨率图像往往通过低分辨率图像的超分辨率(SR)而获得。MEF和SR通常被作为两个独立的内容进行研究。为了解决当前模型不能同时实现高动态范围和高分辨率的问题,通过对现有方法进行研究,提出了一种基于多耦合反馈网络MCF-Net及其方法。模型包括:N个子网和输出模块;在方法中,将N张下采样图片I_(lr)^(i),I_(lr)^(m),I_(lr)^(-i)分别输入至N个子网,提取的低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i);根据低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i)提取对应图像的超分辨率特征G_(0)^(i),G_(0)^(m),G_(0)^(-i);得到融合高分辨率特征G_(t)^(i),G_(t)^(m),G_(t)^(-i)并输入至下个MCFB中,直至第T个MCFB得到融合高分辨率特征G_(T)^(i),G_(T)^(m),G_(T)^(-i);获取对应的融合超分辨率图像I_(t)^(i),I_(t)^(m),I_(t)^(-i);融合N个子网中第T个重建模块REC输出的I_(T)^(i),I_(T)^(m),I_(T)^(-i)得到高动态范围、超分辨率图像I_(out)。在SICE数据集上实验并验证了性能,与现有的33种方法进行对比,结果显示以下各评价指标都有明显的提高,其中结构相似性(SSIM)达到0.833 2,峰值信噪比(PSNR)达到22.07 dB,多曝光融合相似性(MEF-SSIM)达到0.937 8。

基于迁移学习的GOCI超分辨率重建与海洋漂浮藻类探测

遥感技术是进行海洋漂浮藻类目标识别与变化监测的重要手段。GOCI遥感卫星影像具有高时间分辨率、低空间分辨率的特点,其低空间分辨率影响了海洋漂浮藻类遥感探测的效果。本研究通过对具有较高空间分辨率的Sentinel-2遥感卫星影像结构特征的迁移学习,应用ESRGAN超分辨率重建技术,将GOCI影像的空间分辨率提升至125 m;在此基础上,构建了基于超分辨率重建GOCI遥感影像的U-Net深度学习语义分割网络,实现了海洋漂浮藻类的较高精度探测。实验结果表明:超分辨率重建的GOCI影像显著提升了影像的空间细节清晰度,基于此实现的海洋漂浮藻类探测结果取得了较高的精度,其中面积相对误差下降了51.87%,F1值提高了2.41%。本研究是应用GOCI遥感影像进行海洋漂浮藻类高精度探测的一次成功实践,为实现海洋目标的动态精细化监测提供有益的参考。

二阶逐层特征融合网络的图像超分辨重建

针对一些超分辨网络忽略了对网络各层次特征的复用以及融合的问题,构建了具有较强特征复用和融合能力的二阶逐层特征融合超分辨网络,以获得具有高分辨率、高保真度的重建图像。网络的核心是逐层特征融合模块,该模块通过特征融合操作增强特征的重用。此外,还提出了二阶特征融合机制,该机制在网络的局部和全局层次上采用逐层特征融合方法进行特征融合。实验结果表明该网络的重建图像在线条和轮廓上更清晰,并且在峰值信噪比和结构相似度上也取得了更好的结果。例如当缩放尺度因子为2时,各测试集上的峰值信噪比/结构相似度依次为38.20 dB/0.9612、33.81 dB/0.9195、32.28 dB/0.9010、32.65 dB/0.9324、39.11 dB/0.9779,相比其他模型有一定提升,从客观标准和主观角度证明了二阶逐层特征融合超分辨网络具有一定的优越性。

基于混合时空卷积的轻量级视频超分辨率重建

针对三维卷积神经网络在视频超分辨率任务上具有较高的计算复杂度以及提取时空特征有限的问题,本文设计了一种基于混合时空卷积的轻量级视频超分辨率重建网络。首先,提出了一个基于混合时空卷积的模块,实现了网络时空特征提取能力的提升以及计算复杂度的降低;其次,提出了一个基于相似性的选择性特征融合模块,进一步增强了相关特征的提取能力;最后,设计了一种基于注意力机制的运动补偿模块,在一定程度上减轻了错误的特征融合的影响。实验结果表明:所提网络可以在视频超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集SPMCS-11上4倍超分辨率达到8 frame/s。所提网络满足了边缘设备推理运行中快速、准确等要求。

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题,提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法.首先提出了一个全局层注意力机制(global layer attention,GLA),利用层注意力机制加权融合不同层级的全局特征,建模低分辨率与高分辨率图像特征间的长期依赖关系.同时,设计了跨尺度局部注意力机制(cross-scale local attention,CSLA),在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁,并融合不同尺度的补丁特征,以优化模型对图像细节信息的恢复能力.最后,提出一种局部信息感知损失函数来指导图像的重建过程,进一步提高了重建图像的视觉质量和细节保留能力.在UC-Merced数据集上的实验结果表明,本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法,并在视觉效果方面展现出更高的质量和更好的细节保留能力.

基于双分支融合网络的图像超分辨率重建与增强

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。

用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于并行反向投影的图像超分辨率

基于反向投影的残差特征提取与融合,可有效提升深度网络的特征提取能力,从而有益于改善图像的超分辨率重构性能.在此基础上提出了一种改进的采用并行反向投影策略的图像超分辨率深度网络,通过并行增强处于不同频段的高频特征,得到超分辨率性能的进一步提升.具体进行浅层特征提取后,网络经过多级的双路并行的反向投影特征增强模块.每一级模块中包含两个通路,分别采用顺序相反的上下采样,可同时得到处于不同频段的残差特征信息.通过对多级残差特征的融合,图像的高频特征得到不断的增强.同时网络引入了多尺度特征提取与通道注意力机制,以改进特征表达和学习能力.在多个公开的数据集上的大量实验结果表明,该方法可以有效提升超分辨率性能,并且在减少模型复杂度方面有一定的成效.

基于ESRGCNN的单帧红外图像超分辨率重建算法

红外图像的超分辨率重建算法研究是近年来图像处理算法领域的研究重点,现有的具有较强学习能力的卷积神经网络(Convolutional Neural Networks,CNNs)在改善图像超分辨率重建效果的同时会增加计算成本,而后续提出的具有浅层结构的增强组卷积神经网络超分辨率重建方法(Enhanced Super-Resolution Group Convolutional Neural Network,ESRGCNN)在可见光图像的超分辨率重建中不仅节省成本且效率高。所以针对红外图像分辨率差、对比度低等不足,将经过预处理的红外图片通过高频纹理细节提取、重建等操作后得到的高分辨率纹理细节图与经过ESRGCNN网络得到红外图像的高频细节层、基层分别进行权重构建、CLAHE处理后进行加权融合得到最终的超分辨率红外图像。通过在红外数据集CVC-14进行大量对比实验,表明所提出的优化算法在三种倍率重建图像的PSNR优于经典算法约13.7%~32.4%,其重建效果的SSIM优于经典算法约13.9%~32.4%。

基于Swin Transformer的双流遥感图像时空融合超分辨率重建

遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息,生成同时具有高时序密度的高分辨率遥感图像,它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展,研究者们提出了一系列基于CNN的时空融合方法,然而由于卷积的局限性,这些方法在全局信息提取方面仍然存在不足。受Swin Transformer全局能力的启发,提出一种基于Swin Transformer的超分辨重建模型。在特征提取阶段,引入双流结构,将特征提取网络分为两个部分,分别提取时间信息与空间信息,并通过Swin Transformer的全局能力提升模型性能。在特征融合阶段,引入结合通道注意力与空间注意力的卷积块注意力模块(CBAM),用于增强重要特征,提升图像重建精度。在Coleambally灌溉区(CIA)与Gwydir下游流域(LGC)数据集上将该模型与多种时空融合超分辨率重建模型进行对比实验,结果表明该模型在各项评价指标上均取得了最优的结果,具有更出色的性能和更强的泛化能力。

适用于图像超分辨率的多路径融合增强网络

卷积神经网络(Convolutional Neural Network,CNN)在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络(Multi-path Fusion Enhancement Network,MFEN)。具体来说,提出了一个新颖的融合注意力增强模块(Fusion Attention Enhancement Block,FAEB)作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成:主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块(Self-Adaptive Attention Module,SAAM)来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,从而实现更全面、更精准的特征学习。大量实验表明,该多路径融合增强网络在基准测试集上具有更高的准确性。

基于超分网络的低分辨率图像表情识别方法

针对低分辨率人脸图像特征可辨识度不足的问题,提出在表情识别前先使用超分网络对图像进行预处理,以提高识别准确率。超分网络以EDSR为基础,进行了如下改进:结合多尺度卷积和通道注意力机制设计了一种自适应输入处理模块,以避免初步信息处理和通道拓展时发生重要特征信息丢失;使用非对称卷积对特征提取基础模块中的3×3卷积进行替换,增强网络对面部纹理特征的提取能力和对干扰特征的区分能力。开展了相关实验,结果显示分辨率大小分别为32×32、28×28、24×24、20×20的四个低分辨率人脸测试集经过改进后的超分网络重构后,在EfficientNetV2和RegNet两种常用表情识别网络上的平均识别准确率分别提高了15.73%、10.93%。该方法显著提高了低分辨率图像表情识别的准确率。

高清几何缓存多尺度特征融合的渲染超分方法

人们对图像显示设备高分辨率和逼真视觉感知的需求随着现代信息技术的发展日益增长,这对计算机软硬件提出了更高要求,也为渲染技术在性能与工作负载上带来更多挑战.利用深度神经网络等机器学习技术对渲染图像进行质量改进和性能提升成为了计算机图形学热门的研究方向,其中通过网络推理将低分辨率图像进行上采样获得更加清晰的高分辨率图像是提升图像生成性能并保证高清细节的一个重要途径.而渲染引擎在渲染流程中产生的几何缓存(geometry buffer,G-buffer)包含较多的语义信息,能够帮助网络有效地学习场景信息与特征,从而提升上采样结果的质量.设计一个基于深度神经网络的低分辨率渲染内容的超分方法.除了当前帧的颜色图像,其使用高分辨率的几何缓存来辅助计算并重建超分后的内容细节.所提方法引入一种新的策略来融合高清缓存与低清图像的特征信息,在特定的融合模块中对不同种特征信息进行多尺度融合.实验验证所提出的融合策略和模块的有效性,并且,在和其他图像超分辨率方法的对比中,所提方法体现出明显的优势,尤其是在高清细节保持方面.

全局-局部注意力引导的红外图像恢复算法

针对真实世界的红外图像恢复算法中存在的图像模糊、纹理失真、参数过大等问题,提出了一种用于真实红外图像的全局-局部注意力引导的超分辨率重建算法。首先,设计了一种跨尺度的全局局部特征融合模块,利用多尺度卷积和Transformer并行融合不同尺度的信息,并通过可学习因子引导全局和局部信息的有效融合。其次,提出了一种新颖的退化算法,即域随机化退化算法,以适应真实红外场景图像的退化域。最后,设计了一种新的混合损失函数,利用权重学习和正则化惩罚来增强网络的恢复能力,同时加快收敛速度。在经典退化图像和真实场景红外图像上的测试结果表明,与现有方法相比,该算法恢复的图像纹理更逼真,边界伪影更少,同时参数总数最多可减少20%。

融合GNSS和加速度计的超高层建筑动态形变分析

针对全球卫星导航系统(GNSS)在超高层建筑形变监测中存在的多路径误差严重、监测精度不可靠等问题,本文通过构建可调节Q因子小波变换的系统趋势分离与滤波去噪模型,构建基于Kalman滤波、RTS平滑的数据融合算法,从而进行GNSS与加速度计数据融合;利用可调因子Gabor小波变换实现融合位移中动态形变信息的提取,并与加速度计数据二次频域积分后的动态位移进行对比,验证融合模型的有效性。模拟试验结果表明,本文构建的融合位移算法可有效还原真实数据,融合位移数据的均方根误差为0.0885 mm,互相关系数为0.9934,信噪比为17.53。通过超高层实测数据进一步验证,本文方法实现了GNSS和加速度计数据的消噪与融合,能够提取融合数据中的动态形变信息,提高了形变监测的精度,为超高层建筑动态形变分析提供了有效方法。

基于层次特征复用的视频超分辨率重建

当前的深度卷积神经网络方法,在视频超分辨率任务上实现的性能提升相对于图像超分辨率任务略低,部分原因是它们对层次结构特征中的某些关键帧间信息的利用不够充分.为此,提出一个称作层次特征复用网络(Hierarchical feature reuse network,HFRNet)的结构,用以解决上述问题.该网络保留运动补偿帧的低频内容,并采用密集层次特征块(Dense hierarchical feature block,DHFB)自适应地融合其内部每个残差块的特征,之后用长距离特征复用融合多个DHFB间的特征,从而促进高频细节信息的恢复.实验结果表明,提出的方法在定量和定性指标上均优于当前的方法.

多尺度特征提取残差网络的超分辨率图像重建算法

为了改善超分辨率图像重建算法存在的图像低频信息提取不足、边缘轮廓模糊、风格信息丢失等问题,提出一种全新的多尺度特征提取残差网络,在生成器网络结构中叠加使用残差特征聚合模块与多尺度感受野模块;采取浅层特征与深层特征接替训练,辅助网络对低频、高频信息的提取与融合;新添风格损失函数以约束风格信息,确保图像纹理、色彩、亮度等风格信息的有效传递。在自然景物占多数且细节信息多样的BSD100数据集上,其4倍图像重建的峰值信噪比(peak signal to noise ratio, PSNR)达到31.81 dB、结构相似性(structural similarity, SSIM)达到0.87,相比原始的超分辨率生成对抗(super-resolution generative adversarial network, SRGAN)算法,PSNR提高了3.47 dB,SSIM提高了0.04。实验结果表明,所提算法能够深层次学习自然景物图像在纹理细节、色彩亮度等方面的特征信息,实现多层网络结构对特征信息的连续性记忆性学习、提取与传递,使得重建图像质量更高。

基于深层特征差异性网络的图像超分辨率算法

传统深层神经网络通常以跳跃连接等方式堆叠深层特征,这种方式容易造成信息冗余。为了提高深层特征信息的利用率,该文提出一种深层特征差异性网络(DFDN),并将其应用于单幅图像超分辨率重建。首先,提出相互投影融合模块(MPFB)提取多尺度深层特征差异性信息并融合,以减少网络传输中上下文信息的损失。第二,提出了差异性特征注意力机制,在扩大网络感受野的同时进一步学习深层特征的差异。第三,以递归的形式连接各模块,增加网络的深度,实现特征复用。将DIV2K数据集作为训练数据集,用4个超分辨率基准数据集对预训练的模型进行测试,并通过与流行算法比较重建的图像获得结果。广泛的实验表明,与现有算法相比,所提算法可以学习到更丰富的纹理信息,并且在主观视觉效果和量化评价指标上都取得最好的排名,再次证明了其鲁棒性和优越性。

基于蓝图分离卷积的轻量化矿井图像超分辨率重建方法

煤矿井下复杂受限空间中,人造光源照明不均匀、工作面尘雾浓度大及复杂电磁干扰等环境因素都会严重影响井下监控视频的高清成像。针对受复杂环境影响下的矿井图像出现分辨率较低、模糊不清的问题以及目前图像超分辨率重建方法多以牺牲网络深度和宽度为代价来提高图像重建效果,从而导致算法的复杂度大幅增加、网络模型的内存占用率变大、难以应用到实际边缘移动设备中的问题,提出了一种基于蓝图分离卷积的轻量化矿井图像超分辨率重建方法。首先,该方法使用高效率的蓝图分离卷积替换残差块中的标准卷积,设计出一种轻量残差注意力模块,接着引入坐标注意力机制并添加跳跃连接对残差块进行改进,使模型保持较低参数量和计算量的同时也具备良好的特征提取能力。其次设计了一种增强层次特征融合模块,对网络中的不同层次特征以先局部再全局的方式融合,进一步促进网络中的信息流动,增强模型的特征利用率。最后在网络末端添加像素注意力机制,用于增强网络对信息特征的关注度,提高模型的特征表达能力,为图像重建模块提供更丰富的细节特征。实验结果表明,基于蓝图分离卷积的轻量化超分辨率重建网络所重建后的图像质量不仅在客观指标和视觉感受上均优于其他对比算法,而且能够在模型性能和复杂度之间取得更好的权衡。当缩放因子为4时,相比于轻量级算法AWSRN-M,参数量相当的情况下,在煤矿井下测试集上客观指标PSNR平均值提升了0.1772 dB,SSIM平均值提升了0.0107,浮点运算量减少了66.9%。结果证明了所提方法可以有效提取不同层次的细节特征信息,实现浅层特征和深层特征的深度融合,且更加高效地重建出纹理细节清晰的高分辨率图像。

基于彩色图像高频信息引导的深度图超分辨率重建算法研究

深度图像信息是三维场景信息的重要组成部分,然而,由于采集设备的局限性和成像环境的多样性,深度传感器获取的深度图像往往分辨率较低、高频信息较少,限制了其在各种计算机视觉任务中的进一步应用。深度图超分辨率试图提高深度图的分辨率,是一项实用而有价值的任务。同一场景下的RGB图像分辨率高,纹理信息丰富,部分深度图超分辨率算法通过引入来自同一场景下的RGB图像提供指导信息,实现了算法性能的显著提升。然而,由于RGB图像和深度图之间的模态不一致,如何充分、有效地利用RGB信息辅助深度图像进行图像超分辨率重建仍然极具挑战。为此,提出了一种基于彩色图像高频信息引导的深度图超分辨率重建算法。具体地,设计了一个高频特征提取模块来自适应地学习彩色图像中的高频信息,以指导深度图边缘的重建。另外,设计了一个特征自注意力模块来获取特征之间的全局依赖,同时提取更深层次的特征,以帮助深度图细节信息的恢复。经过跨模态融合,重组深度图像特征和彩色图像引导特征,并使用多尺度特征融合模块融合不同尺度特征之间的空间结构信息,获取包含多级感受野的重建信息。最后,通过深度重建模块,恢复相应的高分辨率深度图。公开数据集上的实验结果表明所提方法在定量和定性两方面均优于对比方法,验证了所提方法的有效性。