基于定位数据的全景超分辨图像交互可视化框架

超分辨定位成像和全景数字病理结合,为研究人员观察整个样本的亚细胞结构提供了有力工具,同时也带来了全景超分辨图像海量数据可视化的挑战.然而,现有的超分辨图像可视化方法无法处理大规模定位数据、不能提供高分辨全景图像和无法交互可视化全景图像.针对以上问题,提出了一个基于定位数据的全景超分辨图像交互可视化框架,称为PNanoViewer,旨在普通计算机上实现大规模定位数据的快速交互可视化.该框架基于随机采样策略构建定位数据的多分辨率层级结构,以交互方式可视化多尺度全景超分辨图像;同时采用分块策略和多线程并行策略,分批次处理大规模定位数据,既防止内存溢出又加快了处理速度.从数千万到数亿个定位点数据集上的实验结果表明,PNanoViewer框架能够可视化任意规模的定位数据.将该框架与目前3种流行的超分辨图像可视化方法PALMsiever,ThunderSTORM,QCSTORM从数据量、分辨率和速度3个方面进行对比,PNanoViewer都具有明显优势.同时也为大规模定位数据的可视化提供了一个有益的探索.

一种基于神经网络的超分辨图像重构方法

针对在航空航天遥感领域中使用CCD相机对景物进行成像时 ,由于像元尺寸的限制导致图像分辨率低的问题 ,提出了采用人工神经网络映射图像重构过程非线性特性的方法 .在相机参数已知的情况下 ,用后向误差传播 (BP)神经网络融合从不同角度对同一景物重复拍照得到的多帧低分辨率图像的冗余信息 ,重构得到较高分辨率的图像 .在模拟成像仿真实验中得到了分辨率提高 4倍、信噪比接近

超分辨图像质量评价综述

全面综述了超分辨图像质量评价的研究进展。超分辨图像质量评价是以人眼的主观质量评价结果为依据,利用算法模型对重建的超分辨图像进行评价。该评价方法对超分辨重建算法的优化和模型参数的选择具有重要的指导意义。首先对超分辨图像的主观评价方法进行阐述;其次对现有超分辨图像客观评价方法按照全参考型、部分参考型和无参考型进行了分类阐述,特别详细介绍了几种具有代表性的无参考质量评价的主要思想;接着从定量和定性两方面分别介绍了评价超分辨图像质量评价方法有效性的指标,并对评价算法的主要实验方法进行了简要阐述;最后对超分辨图像质量评价方法未来的发展趋势进行了展望。

基于稀疏表示的无参考型超分辨图像质量评价方法

针对无参考型超分辨图像质量评价(no-reference super-resolution image quality assessment,NR-SRIQA)与人眼主观感知一致性的问题,提出一种基于稀疏表示的NR-SRIQA方法。该方法将超分辨图像的视觉感知特征和对应的平均主观分数(mean opinion score,MOS)进行组合构造超完备字典,测试超分辨图像的视觉感知特征,将其表示为该字典中基原子的稀疏线性组合,利用获得的稀疏表示系数加权相关字典原子的质量分数,实现对超分辨图像质量的预测。实验结果表明:相比于其他主流方法,所提出的质量评价方法能获得与主观感知质量更好的一致性。

基于SVM多分类的超分辨图像细粒度分类方法

为提高超分辨图像的检索和识别能力,需要对图像细粒度进行分类处理,提出基于支持向量机(Support Vector Machine,SVM)多分类的超分辨图像细粒度分类算法。采用融合滤波方法处理,实现图像预处理,考虑超分辨率图像具有的仿射区域不变性能提取细粒度多特征,并进行多特征块稀疏匹配,最后将匹配结果输入到支持向量机多分类模型中,实现超分辨图像细粒度分类。仿真结果表明,采用该方法进行超分辨图像细粒度分类的准确性较高,分辨力较好,提高了超分辨图像的检索能力。

基于超分辨图像复原的核孔膜孔径测量

文章介绍了一种核孔膜的光学显微测量方法,并阐述了PMLE算法的基本原理,利用matlab编程对该算法的有效性进行了验证。最后,利用超分辨图像复原理论对6μm核孔膜的测量结果进行了处理,较为准确地测量了核孔直径。文章解决了测量中的一些实际问题,具有一定的应用前景和价值。

基于超分辨图像复原的显微圆孔孔径测量方法

为提高圆孔的光学显微测量准确性,研究了基于超分辨图像复原的显微圆孔孔径测量方法。该方法通过超分辨图像复原处理圆孔显微图像,提高了传统光学显微系统对圆孔成像的分辨率,确定了以超分辨复原图像灰度值为0.399作为圆孔物理边缘判据,实现对圆孔边缘的准确探测。理论分析表明该方法可准确测量微米级及以上直径圆孔。核孔膜孔径测量实验中,由二值化图像得到孔径测量结果为6.35μm(测量不确定度为0.08μm),与扫描电镜测量结果6.268μm(测量不确定度为0.083μm)相符,测量误差仅0.08μm。该技术有助于实现对圆孔形状的快速、准确在线测量。

应用多层感知机回归的无参考型超分辨图像质量评价

为解决传统超分辨图像质量评价(super-resolution image quality assessment,SRIQA)指标与人类主观感知一致性较差的问题,应用多层感知机(multi-layer perceptron,MLP)构建一种无参考型超分辨图像质量评价方法。该方法利用预训练好的VGG16网络提取超分辨图像的感知质量特征,并通过MLP建立超分辨图像的感知质量特征与对应主观质量分数之间的回归模型。实验结果表明:所提出的算法在公开的超分辨图像数据集上的皮尔逊线性相关系数(pearson linear correlation coefficient,PLCC)、斯皮尔曼秩序相关系数(spearman rank order correlation coefficient,SROCC)超过0.95,明显优于现有其他图像质量评价方法,且与人类主观感知具有更高的一致性。

基于多任务学习的无参考超分辨图像质量评估

图像超分辨率重建旨在从低分辨率图像中恢复其对应的高分辨率图像,是计算机视觉中的经典问题。为改进传统超分辨图像质量评价方法与人眼感知不一致的问题,提出一种基于多任务学习的超分辨图像质量评估网络。网络采用多任务学习的方式,分别学习图像的局部频率特征与质量分数,其中局部频率特征用来辅助网络进行图像质量分数的回归,提高分数预测的准确性和泛化能力。另外,在网络中加入协调注意力模块,进一步增强了模型的预测能力。实验结果表明,所提出的算法在QADS数据集上的SROCC、PLCC等指标优于目前先进的无参考超分辨图像质量评价方法。

基于多频特征和纹理增强的轻量化图像超分辨率重建

现有基于卷积神经网络主要关注图像重构的精度,忽略了过度参数化、特征提取不充分以及计算资源浪费等问题。针对上述问题,提出了一种轻量级多频率特征提取网络(MFEN),设计了轻量化晶格信息交互结构,利用通道分割和多模式卷积组合减少参数量;通过分离图像的低频、中频以及高频率信息后进行特征异构提取,提高网络的表达能力和特征区分性,使其更注重纹理细节特征的复原,并合理分配计算资源。此外,在网络内部融合局部二值模式(LBP)算法用于增强网络对纹理感知的敏感度,旨在进一步提高网络对细节的提取能力。经验证,该方法在复杂度和性能之间取得了良好的权衡,即实现轻量有效提取图像特征的同时重建出高分辨率图像。在Set5数据集上的2倍放大实验结果最终表明,相比较于基于卷积神经网络的图像超分辨率经典算法(SRCNN)和较新算法(MADNet),所提方法的峰值信噪比(PSNR)分别提升了1.31 dB和0.12 dB,参数量相比MADNet减少了55%。

基于并行反向投影的图像超分辨率

基于反向投影的残差特征提取与融合,可有效提升深度网络的特征提取能力,从而有益于改善图像的超分辨率重构性能.在此基础上提出了一种改进的采用并行反向投影策略的图像超分辨率深度网络,通过并行增强处于不同频段的高频特征,得到超分辨率性能的进一步提升.具体进行浅层特征提取后,网络经过多级的双路并行的反向投影特征增强模块.每一级模块中包含两个通路,分别采用顺序相反的上下采样,可同时得到处于不同频段的残差特征信息.通过对多级残差特征的融合,图像的高频特征得到不断的增强.同时网络引入了多尺度特征提取与通道注意力机制,以改进特征表达和学习能力.在多个公开的数据集上的大量实验结果表明,该方法可以有效提升超分辨率性能,并且在减少模型复杂度方面有一定的成效.

结合多尺度多注意力的遥感图像超分辨率重构

视觉Transformer在改进图像超分辨率性能方面展现了良好的潜能.然而,遥感图像中不同目标表现的尺度多样性限制了其超分辨率的图像质量.为此,研究了一种结合多尺度多注意力的Transformer遥感图像超分辨率网络,旨在增强其特征学习能力,从而有效提升遥感图像的超分辨率性能.具体来说,输入特征首先通过多级下采样,得到多个尺度的特征;然后,逐级将低维特征通过一种交替密集注意力与稀疏注意力的Transformer网络进行变换,并将输出结果升维后与高维特征融合.密集注意力与稀疏注意力的结合可同时兼顾对局部相关性和全局相关性的有效提取,而多通路多尺度变换能够增强对图像小目标的建模能力.基于两个开源的遥感数据集的大量实验结果,验证了该方法的有效性.

多耦合反馈网络的图像融合和超分辨率方法

人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制,高动态范围的图像往往通过低动态范围图像的多曝光融合(MEF)而获得,高分辨率图像往往通过低分辨率图像的超分辨率(SR)而获得。MEF和SR通常被作为两个独立的内容进行研究。为了解决当前模型不能同时实现高动态范围和高分辨率的问题,通过对现有方法进行研究,提出了一种基于多耦合反馈网络MCF-Net及其方法。模型包括:N个子网和输出模块;在方法中,将N张下采样图片I_(lr)^(i),I_(lr)^(m),I_(lr)^(-i)分别输入至N个子网,提取的低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i);根据低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i)提取对应图像的超分辨率特征G_(0)^(i),G_(0)^(m),G_(0)^(-i);得到融合高分辨率特征G_(t)^(i),G_(t)^(m),G_(t)^(-i)并输入至下个MCFB中,直至第T个MCFB得到融合高分辨率特征G_(T)^(i),G_(T)^(m),G_(T)^(-i);获取对应的融合超分辨率图像I_(t)^(i),I_(t)^(m),I_(t)^(-i);融合N个子网中第T个重建模块REC输出的I_(T)^(i),I_(T)^(m),I_(T)^(-i)得到高动态范围、超分辨率图像I_(out)。在SICE数据集上实验并验证了性能,与现有的33种方法进行对比,结果显示以下各评价指标都有明显的提高,其中结构相似性(SSIM)达到0.833 2,峰值信噪比(PSNR)达到22.07 dB,多曝光融合相似性(MEF-SSIM)达到0.937 8。

金字塔方差池化网络的图像超分辨率重建

为减少高频信息丢失对图像重建造成的影响,进一步增强对特征信息的挖掘,以金字塔方差池化模块为核心构建了一个生成网络。首先,该网络利用不同级别的方差池化挖掘低分辨率图像蕴含的特征信息,并结合金字塔结构获取不同尺度与不同子区域的上下文信息,从而进一步丰富特征信息量;然后,利用密集连接结构增强特征信息之间的关联性,以提高网络的表达能力;最后,引入组归一化操作来加强网络的收敛性。实验结果表明,该模型与其他方法在Set5、Set14、DIV2K100公开测试集上进行比较,在放大倍数因子为4时,峰值信噪比平均提高了0.509 dB,结构相似性平均提高了0.016。所提模型不仅在峰值信噪比和结构相似性上有一定的提高,其重建图像在视觉效果上也拥有更多的真实细节。

基于像素对比学习的图像超分辨率算法

目前,深度卷积神经网络(Convolutional neural network,CNN)已主导了单图像超分辨率(Single image superresolution,SISR)技术的研究,并取得了很大进展.但是,SISR仍是一个开放性问题,重建的超分辨率(Super-resolution,SR)图像往往会出现模糊、纹理细节丢失和失真等问题.提出一个新的逐像素对比损失,在一个局部区域中,使SR图像的像素尽可能靠近对应的原高分辨率(High-resolution,HR)图像的像素,并远离局部区域中的其他像素,可改进SR图像的保真度和视觉质量.提出一个组合对比损失的渐进残差特征融合网络(Progressive residual feature fusion network,PRFFN).主要贡献有:1)提出一个通用的基于对比学习的逐像素损失函数,能够改进SR图像的保真度和视觉质量;2)提出一个轻量的多尺度残差通道注意力块(Multi-scale residual channel attention block,MRCAB),可以更好地提取和利用多尺度特征信息;3)提出一个空间注意力融合块(Spatial attention fuse block,SAFB),可以更好地利用邻近空间特征的相关性.实验结果表明,PRFFN显著优于其他代表性方法.

基于对比学习的深度残差网络图像超分辨率方法

传统的基于对比学习的图像超分辨率方法,一般将原始图像作为正样本,将退化图像或其他类图像作为负样本,存在对纹理细节恢复差的问题。本文提出基于对比学习的深度残差网络图像超分辨率(depth residual image super-resolution based on contrast learning,CEDSR)方法,针对残差超分辨率模型,采用对高分辨率图像锐化后的图像作为正样本,对高分辨率图像轻微模糊的图像作为负样本,利用正负样本下的对比损失提升对纹理细节的恢复增强。增强锐化后的正样本图像携带更丰富的纹理信息,基于不同函数生成的模糊负样本图像刻画了纹理模糊特征,正负样本构建的对比损失有利于图像超分辨率图像对纹理细节的恢复。本文模型在4个标准数据集DIV2K、Set14、BSDS100和Urban100上与经典算法进行实验对比,定性和定量实验结果均表明本文模型可以获得效果更好的超分辨率图像。

结合非对称卷积与特征蒸馏的图像超分辨率重建网络

为了进一步提高单幅图像超分辨率(single image super-resolution,SISR)轻量化网络的图像重建效果,基于轻量化网络RFDN,提出一种结合非对称卷积与特征蒸馏的图像超分辨率重建网络(asymmetric convolution distillation network,ACDN)。首先利用非对称卷积构建特征提取模块,在残差块中并联2个不同卷积核的非对称卷积,增强网络对特征的提取能力;其次利用均衡注意力机制与非对称卷积改进特征蒸馏模块,强化网络对高频信息的获取;最后在重建模块中加入均衡注意力机制进一步提高网络的最终重建性能。实验结果表明:与RLFN、SMSR等先进轻量化网络相比,提出的ACDN网络能在5个标准数据集上重建出纹理细节更丰富的高质量图像,重建图像的峰值信噪比和结构相似性指标均有提升,并在网络模型的参数量和性能上达到了更好的平衡。

轻量级图像超分辨率研究综述

基于深度学习的图像超分辨率(super-resolution,SR)受到广泛关注,其目的是提高图像的分辨率,以便对图像做进一步的处理,如目标检测、图像分类和人脸识别等。图像SR领域相关研究近年来取得了迅猛发展,但有关轻量级SR模型的相关综述还不多见。对基于深度学习的轻量级SR方法研究现状和损失函数进行了分析,并对目前轻量级SR方法进行了新的分类,分别为传统卷积方法和注意力机制方法。系统梳理了图像轻量级SR方法的发展历程和最新进展,指出了每一种方法存在的优势和缺陷。最后对当前轻量级SR技术存在的问题进行了分析,并给出了轻量级图像SR方法未来的研究方向。

用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于Transformer-CNN的轻量级图像超分辨率重建网络

针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部−全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU(Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR(Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。