用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于多路特征渐进融合和注意力机制的轻量级图像超分辨率重建

为进一步探索在计算和存储资源受限设备上应用超分辨率方法的可能性,本研究聚焦于深度卷积神经网络技术在单图像超分辨率中的应用,特别是如何在不显著增加网络规模的情况下,提升网络的性能。本文提出一种新的基于多路特征渐进融合和注意力机制的轻量级单图像超分辨率方法(multi-path feature fusion and attention mechanism,MPFFA)。MPFFA包括一个多路特征渐进融合块(multi-path feature progressive fusion,FPF),可以通过前面的特征,多路渐进地引导和校准后面特征的学习;还包括一个多路特征注意力机制(multi-path feature attention mechanism,FAM),通过加权拼接多路特征通道,可以提高特征信息的利用率和特征表达能力。实验结果表明:MPFFA显著优于当前其他代表性的方法,在模型复杂度和性能间达到了更好的平衡。本文提出的模型能够更好地应用于计算和资源受限的设备上。

基于分层特征提取和多尺度特征融合的高分辨率遥感影像水体提取深度学习算法

高精度的水体提取有助于水资源监测和管理。目前基于遥感影像的水体提取方法缺乏对于边界质量的重视,造成边界划分不准确,细节保留度低的问题。为了提升遥感影像水体提取的边界与细节的精度,提出了一种基于多尺度特征融合的高分辨率遥感影像水体提取深度学习算法,包括分层特征提取模块与融合多尺度特征的堆叠连接解码器模块。分层特征提取模块中,引入了通道注意力结构,用于整合高分辨率遥感影像中水体的形状、纹理和色调信息,以便更好地理解水体的形状和边界。在融合多尺度特征的堆叠连接解码器模块中,进行了多层次语义信息的堆叠连接,并加强了特征提取,同时捕捉了广泛的背景信息和细微的细节信息,以实现更好的水体提取效果。在自行标注的数据集与公开数据集上的试验结果表明,模型的准确率达到了98.37%和91.23%,与现有的语义分割模型相比,提取的水体边缘更加完整,同时保留细节的能力更强。提出的模型提升了水体提取的精度和泛化能力,为高分辨率遥感影像水体提取提供了参考。

基于层次特征复用的视频超分辨率重建

当前的深度卷积神经网络方法,在视频超分辨率任务上实现的性能提升相对于图像超分辨率任务略低,部分原因是它们对层次结构特征中的某些关键帧间信息的利用不够充分.为此,提出一个称作层次特征复用网络(Hierarchical feature reuse network,HFRNet)的结构,用以解决上述问题.该网络保留运动补偿帧的低频内容,并采用密集层次特征块(Dense hierarchical feature block,DHFB)自适应地融合其内部每个残差块的特征,之后用长距离特征复用融合多个DHFB间的特征,从而促进高频细节信息的恢复.实验结果表明,提出的方法在定量和定性指标上均优于当前的方法.

多尺度注意力特征融合的单图像超分辨率研究

高分辨率意味着图像具有高像素密度,可以提供更多的细节,这些细节往往在应用中起到关键作用。基于生成对抗网络的图像超分辨率由于具有生成丰富细节的潜力,近年来受到越来越多的关注。针对现有的网络模型忽略从特征中学习本质纹理特征和感受野有限的问题,基于Real-ESRGAN和多尺度注意力特征融合,对网络进行优化,将残差稠密块替换成大核分解和多尺度学习相结合模块与全局学习与下采样模块的双分支结构方法,提出一种多尺度注意力融合的单图像超分辨率重建算法,增强每个局部与全局令牌对之间的交互,从而形成更丰富和信息量更大的表示。对数据集进行2,3,4倍超分辨率重建实验,通过峰值信噪比(PSNR)、结构相似性(SSIM)对重建结果进行评价,与SRCNN、SRGAN、ACMF、MSRDN、WYD、LBW、YJX、Real-ESRGAN等方法进行对比。结果表明,该算法优于其他模型,且具有更好的直观视觉效果。

多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别

在结合脑电(EEG)信号与人脸图像的双模态情感识别领域中,通常存在两个挑战性问题:(1)如何从EEG信号中以端到端方式学习到更具显著性的情感语义特征;(2)如何充分利用双模态信息,捕捉双模态特征中情感语义的一致性与互补性。为此,提出了多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别模型。一方面,为从EEG信号中获得更具显著性的情感语义特征,设计了多层次时空特征自适应集成模块。该模块首先通过双流结构捕捉EEG信号的时空特征,再通过特征相似度加权并集成各层次的特征,最后利用门控机制自适应地学习各层次相对重要的情感特征。另一方面,为挖掘EEG信号与人脸图像之间的情感语义一致性与互补性,设计了特有-共享特征融合模块,通过特有特征的学习和共享特征的学习来联合学习情感语义特征,并结合损失函数实现各模态特有语义信息和模态间共享语义信息的自动提取。在DEAP和MAHNOB-HCI两种数据集上,采用跨实验验证和5折交叉验证两种实验手段验证了提出模型的性能。实验结果表明,该模型取得了具有竞争力的结果,为基于EEG信号与人脸图像的双模态情感识别提供了一种有效的解决方案。

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。

基于特征增强及多层次融合的火灾火焰检测

为提升火灾火焰识别检测方法性能,将传统图像处理与神经网络结合,提出1种基于特征增强及多层次融合的轻量级火灾火焰检测模型。模型利用多种色彩空间转换算法增强火焰特征信息,并设计双阶段多层次特征提取融合结构,配合空间注意力机制对火焰信息由粗到精进行提取;同时,针对火灾火焰特点,引入由浅到深逐步融合的自适应多尺度融合结构,提升对不同阶段火灾目标的检测精度。研究结果表明:本文模型可有效提升火灾火焰的检测效果,且具有更高的稳定性和鲁棒性,可准确高效地实现火灾火焰检测。研究结果可为现有火灾检测设备提供更准确的识别结果,从而更好地预防火灾事故发生。

基于双分支融合网络的图像超分辨率重建与增强

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。

适用于图像超分辨率的多路径融合增强网络

卷积神经网络(Convolutional Neural Network,CNN)在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络(Multi-path Fusion Enhancement Network,MFEN)。具体来说,提出了一个新颖的融合注意力增强模块(Fusion Attention Enhancement Block,FAEB)作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成:主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块(Self-Adaptive Attention Module,SAAM)来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,从而实现更全面、更精准的特征学习。大量实验表明,该多路径融合增强网络在基准测试集上具有更高的准确性。

融合全局多层次特征的跨尺度河流精准识别方法

高分辨率遥感影像中河流自动化精准识别,在河湖环境监测和流域变化研究等方面具有重要意义和研究价值。然而,因河流在影像中面积占比较小,易造成数据集正负样本不平衡。此外,河流具有形态多变和尺度变换复杂等特点,导致河流识别易出现边界不连续和格网效应等问题。基于此,提出一种融合全局多层次特征的跨尺度河流精准识别方法。首先,选取全球具有明显特征的曲流河和辫状河,创建多特征河流数据集,以此增加数据多样性。其次,以轻量级语义分割模型Segformer为主干网络搭建R-Seg模型,设计全局多层次特征提取GASPP模块,通过各阶段与Transformer级联提取多尺度特征,使得模型能更好捕捉河流影像上下文特征信息,减少信息损失并放大全局维度交互特征。最后,提出基于掩膜加权投票的跨尺度河流影像预测方法,通过对大场景河流影像进行滑窗裁剪,将各单元预测块与特定掩膜加权相乘得到子预测结果,并按照重叠投票方式依次拼接组成最终结果,实现不同尺度河流影像精准识别。实验证明,在所构建包含曲流河和辫状河的多特征数据集中,通过与其他方法对比可发现:在定性方面,R-Seg整体网络结构既能确保主干河流的识别精度,又能缓解细小河流断流现象,有效平滑河流边界,对500×500小尺度河流影像识别具有较好的鲁棒性;此外,采用掩膜加权投票方法,能有效减少格网效应造成的单元图块边缘缺失问题,充分利用单元图块预测结果,提升对更大场景遥感影像的适应能力和河流预测精度,实现不同尺度河流影像精准识别。从定量角度,方法各类精度评价指标相对最优,总体精度可达99.49%;其次,对单张影像识别时间不到1 s,效率可满足大多数实际要求。此外,相比于纯粹重叠预测策略,掩膜加权投票预测策略的河流识别总体精度高约0.28%~6.93%;通过调整重叠度参数可发现,重叠度与精度并非正相关,大约在12.5%精度能达到相对最优。方法通过设计R-Seg网络模型和提出掩膜加权投票预测方法,能一定程度上减少河流边界识别不连续和格网效应等问题,有效提升不同场景下遥感影像河流识别精度,具有较好的鲁棒性和目视效果,识别结果对河流地质勘探及流域变化等有重要应用价值。

多尺度特征提取残差网络的超分辨率图像重建算法

为了改善超分辨率图像重建算法存在的图像低频信息提取不足、边缘轮廓模糊、风格信息丢失等问题,提出一种全新的多尺度特征提取残差网络,在生成器网络结构中叠加使用残差特征聚合模块与多尺度感受野模块;采取浅层特征与深层特征接替训练,辅助网络对低频、高频信息的提取与融合;新添风格损失函数以约束风格信息,确保图像纹理、色彩、亮度等风格信息的有效传递。在自然景物占多数且细节信息多样的BSD100数据集上,其4倍图像重建的峰值信噪比(peak signal to noise ratio, PSNR)达到31.81 dB、结构相似性(structural similarity, SSIM)达到0.87,相比原始的超分辨率生成对抗(super-resolution generative adversarial network, SRGAN)算法,PSNR提高了3.47 dB,SSIM提高了0.04。实验结果表明,所提算法能够深层次学习自然景物图像在纹理细节、色彩亮度等方面的特征信息,实现多层网络结构对特征信息的连续性记忆性学习、提取与传递,使得重建图像质量更高。

基于特征融合的图像超分辨率

近年深度卷积神经网络在图像超分辨率领域取得了巨大成功。然而多数基于深度卷积神经的超分辨率模型不能很好地利用来自低分辨率图像的各级特征,从而导致相对较差的性能。本文采用全局特征融合的方法,对全局多层次特征进行联合学习,充分利用各卷积通道特征,通过全局跳跃连接,使网络更注重高频信息的学习,并采用亚像素卷积实现上采样重建,取得了更好的效果。

融合多层次特征的DeepLabv3+轻量级图像分割算法

基于深度学习的图像语义分割模型通常参数量大,复杂度高,难以部署到移动平台。针对以上问题,对DeepLabv3+算法进行改进,提出一种改进的轻量级图像分割算法。模型的骨干网络使用轻量级MoblieNetv2网络,并获取四个不同层次的输入特征,得到四种不同的语义信息;提出CAFF(coordinate attention feature fusion)模块,融合中间两个层次特征并加入位置信息;改进空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块,提出CS_ASPP(channel strip_atrous spatial pyramid pooling)模块,在不同膨胀率的空洞卷积后引入CAM(channel attention module)机制,同时并联带状池化(strip pooling,SP)获取上下文信息,并在特征融合后引入SAM(spatial attention module)机制提升分割精度。在PASCAL VOC 2012数据集上进行实验,平均交并比(mIoU)达到了79.14%。实验结果表明,该模型更加精准,且在参数量、分割速度以及分割效果之间达到了较好的平衡。

基于深层特征差异性网络的图像超分辨率算法

传统深层神经网络通常以跳跃连接等方式堆叠深层特征,这种方式容易造成信息冗余。为了提高深层特征信息的利用率,该文提出一种深层特征差异性网络(DFDN),并将其应用于单幅图像超分辨率重建。首先,提出相互投影融合模块(MPFB)提取多尺度深层特征差异性信息并融合,以减少网络传输中上下文信息的损失。第二,提出了差异性特征注意力机制,在扩大网络感受野的同时进一步学习深层特征的差异。第三,以递归的形式连接各模块,增加网络的深度,实现特征复用。将DIV2K数据集作为训练数据集,用4个超分辨率基准数据集对预训练的模型进行测试,并通过与流行算法比较重建的图像获得结果。广泛的实验表明,与现有算法相比,所提算法可以学习到更丰富的纹理信息,并且在主观视觉效果和量化评价指标上都取得最好的排名,再次证明了其鲁棒性和优越性。

基于注意力机制的多尺度融合图像超分辨率重建

针对图像超分辨率重建算法在信息恢复过程中存在特征提取不充分、重建高频细节能力不足等问题,在SRGAN的基础上提出了一种基于注意力机制的多尺度融合图像超分辨率重建算法(SRGAN-MCA)。首先,构建了一种基于坐标注意力机制的多尺度密集残差注意力模块来提取不同尺度的特征信息,以解决图像超分辨率重建非线性映射过程中特征提取不充分的问题;其次,通过在网络判别器中嵌入谱归一化来约束判别器的Lipschitz常数,以增强网络训练的稳定性;最后添加了Charbonnier损失函数对SRGAN-MCA进行训练优化,以实现更高质量重建。在Set5、Set14、BSD100数据集上的实验结果表明,与SRGAN相比,2倍和4倍放大重建图像的峰值信噪比(PSNR)平均提高了0.35 dB、0.47 dB,结构相似性(SSIM)平均提高了0.0054、0.016。

融合多分辨率特征的点云分类与分割网络

针对现有网络难以有效学习点云局部几何信息的问题,提出一种融合点云多分辨率特征的图卷积网络。首先,通过k-最近邻算法对点云构建局部图结构,以更好地表示点云的局部几何结构。其次,基于最远点采样算法提出一个并行通道分支,该分支通过对点云进行下采样来获得不同分辨率的点云,然后对其进行分组处理;为克服点云的稀疏特性,提出一种几何映射模块对分组点云执行正态化操作。最后,提出一种特征融合模块对图特征和多分辨率特征进行聚合,以更有效地获得全局特征。实验使用ModelNet40、ScanObjectNN和ShapeNet Part数据集进行评估,结果表明,提出的网络具有良好的分类与分割性能。

基于多分辨率特征融合的任意尺度图像超分辨率重建

传统深度学习的图像超分辨率重建网络仅在固定分辨率上提取特征,存在无法综合高级语义信息、只能以特定尺度因子重建图像、泛化能力较弱、网络参数量较大等问题。提出一种基于多分辨率特征融合的任意尺度图像超分辨率重建算法MFSR。在多分辨率特征融合编码阶段设计多分辨率特征提取模块以提取不同分辨率特征,通过构建双重注意力模块增强网络特征提取能力,使不同分辨率特征之间进行充分交互,以获取信息丰富的融合特征图。在图像重建阶段利用多层感知机对融合特征图进行解码,实现任意尺度的图像超分辨率重建。实验结果表明,在Set5数据集上分别以尺度因子2、3、4、6、8进行测试,所提算法的峰值信噪比分别为38.62、34.70、32.41、28.96、26.62 dB,模型参数量为0.72×106,在大幅减少参数量的同时能保持重建质量,可以实现任意尺度的图像超分辨率重建,性能优于SRCNN、VDSR、EDSR等主流算法。

多尺度残差反馈融合网络的单幅图像超分辨率重建

单幅超分辨率重建可以根据一张或多张低分辨率图像生成高分辨率图像。本文提出了一种基于神经卷积网络的单幅图像超分辨率重建算法,以恢复信息丰富的高分辨率图像。该网络由一系列具有低分辨率图像特征的递归密集连接和级联,能够生成强大的特征表示,并充分捕捉多尺度上下文信息。此外,本文设计了一种多级特征融合模块,不仅可以减少深层学习过程中损失的空间信息,还能有效缓解图像伪影问题。通过在Set5等常用数据集上的对比实验结果表明,本文算法均优于同类算法。

多维注意力机制与选择性特征融合的图像超分辨率重建

针对图像超分辨率重建过程中提取低分辨率特征效果较差,大量高频信息丢失导致的边缘模糊和伪影问题,提出了融合多维注意力机制与选择性特征融合作为图像特征提取模块的图像超分辨率重建方法。网络由若干个基本块和残差操作构建模型的特征提取结构,其核心是一种提取图像特征的异构组卷积块,该模块的对称组卷积块以并行的方式进行卷积提取不同通道间的内部信息特征并进行选择性特征融合,互补卷积块通过全维度动态卷积从空域、输入输出维度和核维度捕捉遗漏的上下文信息,对称组卷积块和互补卷积块连接后的特征采用特征增强残差块去除冗余造成干扰的无用信息。模型通过5种消融实验证明其设计的合理性,在Set5,Set14,BSDS100和Urban100测试集上与其他主流的超分辨率重建方法进行对比,峰值信噪比(PSNR)和结构相似性(SSIM)定量数据均有提升,尤其在放大因子为3的Set5数据集上比次优算法CARN-M均提升0.06 dB,结果表明提出模型具有更优的性能指标和更好的视觉效果。