基于深度学习的复合超分辨率重建算法在膝关节MRI中的临床应用价值

目的:探讨临床环境中通过优化扫描参数结合基于深度学习的复合超分辨率重建算法在提升膝关节MRI扫描效率和图像质量的可行性。方法:前瞻性搜集110例行膝关节MRI平扫的患者,先后进行常规(常规组)与复合超分辨率重建算法扫描(复合组),采用双盲法比较两组主客观图像质量。结果:相较常规组,复合组PD和T1序列的骨髓、软骨、半月板、韧带、肌肉、脂肪、关节液的SNR分别提升89.3%、52.5%、65.3%、73.8%、60.3%、103.9%、58.9%和78.0%、172.9%、78.0%、72.5%、75.4%、63.4%、97.0%。相较常规组,复合组PD和T1序列的软骨-关节液、软骨-骨髓、半月板-关节液、韧带-关节液、骨髓-关节液、脂肪-关节液、肌肉-关节液的CNR分别提升119.5%、83.3%、116.2%、109.2%、109.2%、99.3%、116.8%和61.7%、23.1%、78.7%、32.5%、161.7%、44.9%、39.2%。复合组的峰值信噪比(PSNR)相较常规组显著提高(P<0.05),结构相似度(SSIM)均>0.999。主观图像质量评价中复合组病灶边缘区分度、运动伪影和综合诊断度的主观评分显著高于常规组(P<0.05),两组病灶辨别度的主观评分差异无统计学意义(P>0.05)。结论:合理优化扫描参数并结合基于深度学习的复合超分辨率重建算法可在提升扫描效率的同时显著提高膝关节MRI的图像质量和综合诊断效果。

基于ViT-CNN特征增强的图像超分辨率

卷积神经网络(CNN)可以提取图像的局部相关特征,视觉Transformer(ViT)则侧重于捕获图像的远距离依赖关系,二者有效结合能够改进图像的重构质量.研究了一种基于ViT-CNN特征增强的图像超分辨率(SR)网络.具体来说,网络包含了基于ViT的SR分支与基于CNN的梯度分支,SR分支主要用于提取图像特征域中的全局相关性,而梯度分支则专注于图像梯度域中的局部依赖关系.通过对两种信息的融合与渐进增强,获得高倍放大的重构图像.此外,在网络的学习阶段引入了梯度损失及渐进训练策略,有效降低了网络的训练难度并增强了训练的稳定性.在多个公开数据集上的大量实验结果验证了所提方法在改善重构系统性能方面的有效性.

采用感受野优化与渐进特征融合的图像超分辨率算法

针对现有基于深度学习的超分辨率方法存在参数冗余以及难以学习到全局上下文信息、重建图像高频特征能力欠佳的问题,提出一种基于感受野优化与渐进特征融合的超分辨率网络(RPSRnet),其在单幅图像重建方面实现了较高的性能。该网络采用像素注意力机制与大感受野卷积相结合的方式,设计两条渐进路径将输入表征为不同层次的特征抽象,增强网络捕获上下文信息的能力,同时减少了网络参数冗余。通过分层卷积和多重感受野分支,在保持轻量卷积的前提下,于分层的多路径上学习不同尺度的融合特征,增强网络重建边缘细节和复杂纹理特征的能力。实验结果表明:相比于先进算法,所提算法在基准测试集Set5上的峰值信噪比达到32.47 dB,在测试集Set14上达到28.81 dB,优于现有的先进算法,且网络参数更少,实现了9%的参数缩减,从而验证了算法的有效性。

基于偏微分方程的盲去模糊超分辨率重建算法及实验

提出一种基于偏微分方程的图像盲去模糊超分辨率重建算法,旨在未知模糊核的情况下,将含噪声的低分辨率模糊图像重建为清晰的高分辨率图像.首先,针对图像退化过程构建变分问题,并借助变分方法推导出偏微分方程模型.其次,结合交替方向法和数值差分方法,通过设计时空全离散数值格式求解未知的模糊核和清晰的图像.再次,通过一系列数值实验,分析参数选择对图像重建效果的影响,确定合适的参数设置.最后,针对若干遥感图像进行实验,实验结果证明了所给模型的有效性与可靠性.

基于非局部挖掘再现网络的自监督无人机航拍图像超分辨率重建

近年来,深度卷积神经网络在无人机航拍图像超分辨率任务中应用,使得无人机航拍图像超分辨率的性能取得了巨大的提升。然而,基于卷积神经网络的超分辨率方法依赖于特定的训练数据集,这种数据集通常是通过固定双三次采用内核对图像进行下采样构建的。当处理后的图像不满足这种“理想”情况时,其性能将急剧下降。因此,本文提出一种基于非局部挖掘再现网络的自监督无人机航拍图像超分辨率重建方法(NLMRN)。NLMRN只需要一张输入图像,无需对外部数据集进行预训练。它利用无人机航拍图像内部信息的非局部再现性,对输入图像本身进行下采样,以获得较低分辨率的图像并进行训练。为了更好地学习非局部重复特征,使用非局部上下文挖掘块(NLCM)建立非局部区域间的关系,并选择全局特征图的子集补充每个特定位置,以获得精确细节和纹理的重建。NLCM有效弥补了卷积运算一次只能处理一个局部邻域的不足。通过大量的试验验证,NLMRN在处理“非理想”条件下的无人机航拍图像时,明显优于其他先进的超分辨率方法。

基于特征金字塔的轻量化图像超分辨率算法

近年来,深度学习技术推动了图像超分辨率领域的进展。然而,现有的网络计算资源消耗量大,无法在移动端设备上进行应用。针对这一问题,提出了一种基于特征金字塔的轻量化图像超分辨率算法。在设计的特征金字塔提取模块中,采用通道分离和交叉融合的操作,提高特征的表达能力,更全面地捕捉不同特征间的关联。此外,设计了一种双分支的通道注意力机制,引导两个特征自适应性融合,同时引入残差结构让模型训练更加稳定。在Manga109数据集的2倍尺度的实验中,相比于SRCNN算法和IDN算法,提出的方法峰值信噪比(PSNR)分别提高了1.35 dB和0.18 dB,参数量相比IDN减少了43.76%。

基于动态注意力融合网络的轻量化图像超分辨率重建方法

近年来,基于卷积神经网络的单图像超分辨率重建技术取得了很大发展,但巨大的计算成本限制了其实用性。基于特征复用提出了一种轻量化的动态注意力融合网络(Dynamic Attention Fusion Network,DAFN)。其中,动态注意力融合模块(Dynamic Attention Fusion Block,DAFB)通过密集连接复用前面块的输出特征,用少量堆叠块捕获足够多信息。在几个基准数据集上的实验结果表明,所提动态注意力融合网络(DAFN)在不同数据集的多个尺度因子下均取得优于其他轻量级网络的超分辨率重建结果,很好地权衡了性能和参数量。

基于多头注意力的场景文本图像超分辨率网络

场景文本图像超分辨率(STISR)技术旨在提高低分辨率文本图像中的分辨率和可读性,是下游文本识别任务的基础性工作。利用深度卷积神经网络完成STISR的现有方法缺乏对文本图像全局信息的考虑,导致恢复结果不稳定,在处理视觉相似的低分辨率文本图像时尤其明显。针对上述问题,提出一种新的场景文本图像超分辨率网络(MASRN),它包含一个文本先验(TP)模块和一个混合骨干网络。TP模块首先通过提取文本图像的语义特征来生成文本先验信息,接着由卷积模块和多头注意力融合模块组成的混合骨干网络将文本先验信息与多尺度图像特征融合。在TextZoom数据集上的实验结果表明,所提的MASRN能够恢复出更高质量的文本图像,有效提升了下游文本识别任务的精度。

基于超分辨率重建算法的二氧化碳浓度场研究

针对目前激光吸收光谱技术在非均匀分布烟道条件下获取CO_(2)初始信号进行浓度场重建时存在的计算时间长、重建精度低等问题,提出了一种基于超分辨率算法的CO_(2)浓度场重建方法,并对EO算法进行了优化改进。改进后的EO算法在CO_(2)浓度分布的计算中显著提升了迭代速度和搜寻精度;在超分辨率温度场重建算法方面,加入了输入补偿机制并优化了密集连接网络。经过实验对比验证,改进的CO_(2)浓度重建算法有效提高了重建精度,平均ARE与RMSE值分别达到了0.053733和0.054。

结合超分辨率重建技术的遥感语义分割方法

针对遥感数据空间分辨率低、制作高精度样本标签难度大、样本数量不足等问题,提出了一种基于迁移学习思想结合超分辨率重建技术的遥感图像语义分割方法。将该方法应用于沛县建筑物提取中,结果表明提取的平均交并比可达72.4%,比不做任何处理提升了22.3%,说明该方法具有较高的分割精度、效率和可用性,为遥感图像目标提取提供了一种新的思路和解决方案,具有实际应用价值和研究意义。

基于对称视觉注意力网络的高效图像超分辨率重建

高效超分辨率的研究重点是改进深度小核卷积来降低模型复杂度、提升效率,但较小的感受野会限制网络细节重建能力,大核卷积虽能提供更大的感受野、提升图像重建质量,但计算成本过高。为了减少模型参数数量并实现高效超分辨率重建,提出一种对称视觉注意力网络SVAN。首先将大核卷积分解为3种不同的轻量高效卷积,在卷积组合中借助不同卷积的感受野尺寸形成瓶颈结构,并与注意力机制结合成瓶颈注意力模块来增强网络对特征的关注能力;其次,将瓶颈注意力模块对称排布构成对称大核注意力块,以进一步提升网络提取深层特征的能力。实验表明,所提模型相较于其他轻量化超分辨率方法定量指标提升明显,重建的图像纹理细节更丰富,参数量仅为183 K,是一个具有竞争力的轻量化高质量超分辨模型,为高效超分辨率提供了新的解决思路。

南海神狐海域天然气水合物微观赋存特征的超分辨率CT图像识别

南海神狐海域是我国天然气水合物资源勘探开发的主要目标区之一,2017和2020年先后两次现场试验性开采证实了水合物资源的利用前景。目前,对该地区含水合物储层的精细评价还有待进一步提升,水合物在沉积物孔隙空间中的微观赋存形态是其中的重要影响因素。针对水合物微观赋存形态CT图像表征存在的分辨率不足的问题,建立了一种基于自监督学习的数字图像超分辨率重建算法,实现了CT扫描图像空间分辨率的2倍和4倍提升。在此基础上,对南海神狐海域含水合物沉积物孔隙结构演化规律和水合物微观赋存特征进行了形态表征。由于南海沉积物中存在大量有孔虫壳体,水合物主要占据有孔虫壳体内部空间并堵塞了空隙间的连通喉道,显著降低了沉积物的气、水渗透能力;然而,水合物未能全部占据整个孔隙空间,仍然会有少量的气体和水残留,气体则主要分布于水合物颗粒内部,而水则主要分布在水合物颗粒表面,上述实验结果对地震、测井等现场勘探数据解释具有一定的指导意义。

基于空间非一致模糊核标定的红外图像超分辨率重建方法

近年来,红外成像系统在工业、安防、遥感等领域获得了广泛的应用,但由于制造工艺及成本制约,红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法,获得了广泛研究,并在仿真图像上取得了显著进展,但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的,然而实际红外光学系统不可避免地存在像差、热离焦等,由此造成的图像模糊的模糊核并非空间一致的。针对这一问题,提出了一种非盲模糊核估计方法,通过采集特定的靶标图像,并设计模糊核估计网络,求解空间非一致模糊核;设计基于图像分块的超分辨率重建方法,将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建,再通过子块合并和重叠区域图像融合,得到最终的高分辨率图像。实验结果表明,光学系统自身引起了模糊核随空间位置缓慢变化,在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。

轻量级重参数化的遥感图像超分辨率重建网络设计

针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高,本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先,采用重参数化方法设计了一种残差局部特征模块,以有效地提取图像局部特征;同时考虑到图像内部出现的相似特征,设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力,并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能;最后,在上采样模块前使用多层特征融合模块聚合所有的深度特征,以产生更全面的特征表示。在UC Merced遥感数据集上进行测试,该算法在遥感图像3倍超分辨率下的参数量为539 K,峰值信噪比为30.01 dB,结构相似性为0.8449,模型的推理时间为0.010 s;而HSENet算法的参数量为5470 K,峰值信噪比为30.00 dB,结构相似性为0.8420,模型的推理时间为0.059 s。实验结果表明,该算法相比HSENet算法,参数量更少,运行速度较快,且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试,该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势,表明该算法的泛化能力较强。

基于改进边缘注意力生成对抗网络的电力设备热成像超分辨率重建

针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关系,并将两组依赖关系进行融合,以加大全局信息的提取程度。然后针对参数修正线性单元激活函数(parametric rectified linear unit, PReLU)对网络中神经元进行无差别激活,导致网络特征表达能力受限问题。采用改进β-ACONC自适应控制激活函数替代PRe LU函数,在辨识有效特征的基础上,对神经元进行选择性激活,以强化有效特征、弱化无效特征,提升网络的自适应激活能力和特征表达能力。最后对所提改进边缘注意力生成对抗网络模型(edge-attention generative adversarial network, EA-GAN)进行实验验证。结果表明,与Bi Cubic双三次插值模型和原EA-GAN模型边缘注意力生成对抗网络模型相比,所提改进模型网络性能最好,重建图像质量最高,客观评价指标峰值信噪比(peaksignal-to-noiseratio, PSNR)均值、结构相似性(structural similarity,SSIM)均值和均方误差损失(mean square error loss, MSE-loss)均值最优,在电力设备红外图像重建领域普适性较高,具有一定的工程应用价值。

基于空间特征交叉融合的轻量级图像超分辨率重建

近几年,深度学习技术显著提高了单幅图像超分辨率重建(Single Image Super-resolution Reconstruction,SISR)的性能,但基于深度学习技术的SISR算法存在模型参数量大、网络结构复杂、资源消耗多等问题。为解决这些问题,提出一种基于空间特征交叉融合的轻量级图像超分辨率重建算法,该算法使用多个局部特征融合模块和特征交叉增强模块组成非线性映射单元,通过残差学习逐步聚合图像特征,提取更加精准的残差信息。同时采用对称结构将特征映射到两个分支,通过执行特征交叉,对应元素相乘提取高频成分,细化特征,增加网络非线性。在每个特征交叉增强模块中使用异构卷积代替标准卷积拆分和融合两条分支,有效地降低网络的参数量,使网络在参数量和性能之间达到相对平衡。通过一个多级集成模块增强不同阶段特征的相关性。在基准数据集上的实验结果表明,新的重建算法在降低模型参数量的同时,峰值信噪比和结构相似度均取得了较好的结果,而且重建图像的边缘结构完整,整体轮廓清晰,细节更加丰富。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于混合时空卷积的轻量级视频超分辨率重建

针对三维卷积神经网络在视频超分辨率任务上具有较高的计算复杂度以及提取时空特征有限的问题,本文设计了一种基于混合时空卷积的轻量级视频超分辨率重建网络。首先,提出了一个基于混合时空卷积的模块,实现了网络时空特征提取能力的提升以及计算复杂度的降低;其次,提出了一个基于相似性的选择性特征融合模块,进一步增强了相关特征的提取能力;最后,设计了一种基于注意力机制的运动补偿模块,在一定程度上减轻了错误的特征融合的影响。实验结果表明:所提网络可以在视频超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集SPMCS-11上4倍超分辨率达到8 frame/s。所提网络满足了边缘设备推理运行中快速、准确等要求。

基于超分辨率生成对抗网络的玉米病害分类识别方法

深度学习在玉米病害识别领域应用广泛并取得了较好的效果,但存在低分辨率条件下训练效果差的问题,本文提出一种基于超分辨率生成对抗网络的玉米病害分类识别模型。为了实现低分辨率玉米病斑图像到高分辨率图像的恢复,提出基于双注意力机制的增强型超分辨率生成对抗网络模型,该模型生成的高分辨率重建图像与其他超分辨率图像重建模型相比,峰值信噪比(Peak signal-to-noise ratio,PSNR)和结构相似性指数(Structural similarity index measure,SSIM)平均提升2.1 dB和0.049;与4种不同的分类网络的结合,准确率均高于低分辨率图像,平均提升28.1个百分点。在模型对比及消融可视化实验中,模型识别玉米病斑准确率平均超出其它模型1.3个百分点,精确率达到97.8%。实验结果表明,双注意力机制的加入和损失函数的改变增加了模型对高频特征的恢复能力和稳健性,提高了玉米叶片病斑分类识别率,可为农作物定点监测或无人机田间监测中低分辨率叶片病害图像的精准识别提供参考。