基于多尺度局域加权方差的多聚焦融合方法

针对在用短波红外显微镜观测目标时,目标的尺寸往往会受到镜头景深限制的问题,提出一种多聚焦融合的方法,可有效扩展显微镜成像的景深。通过改变物距获得大量不同聚焦平面的图像,利用多尺度和局域加权方差来量化区域清晰度,获得焦平面掩膜,之后采用形态学方法优化掩膜边界,最终加权融合焦平面区域得到细节完备的目标整体图。实验中利用景深为10μm左右的显微镜镜头得到了纵向尺寸为几百微米目标的高质量图像。实验结果表明所提方法相较其他方法在对焦平面边界,细节的保留方面有一定优势。

结合多聚焦融合和DSGEF双阶段网络重建太阳斑点图

太阳斑点图具有对比度较低、米粒结构相似、帧间差异较小的特点,现有重建网络在进行单帧去模糊时存在高频特征不足、局部细节难以恢复等问题。结合图像多聚焦融合,构建梯度增强与FPN双阶段网络实现太阳斑点图的高分辨率重建。首先,利用序列图像帧间相似信息互补特性,使用块聚焦图像融合算法,弥补图像丢失的高频细节;其次,以生成对抗网络GAN为框架,设计了一个双阶段重建网络DSGEF,联合梯度分支与结构特征分支增强高频细节,再利用FPN网络进行多尺度特征重建,改善米粒边缘清晰度;最后,引入一个包含对抗损失、像素损失和感知损失的联合损失函数,用于引导网络DSGEF进行训练,实现高分辨率太阳斑点图的重建。实验结果表明,该方法与现有深度学习方法相比,峰值信噪比(PSNR)和结构相似性(SSIM)指标均有明显提高,能够满足太阳观测图像高分辨率重建要求。

VAE-Fuse:一种无监督的多聚焦融合模型

在多聚焦图像融合问题中,为了尽可能多地保留原始图像信息并提升图像融合的质量,首先结合变分自编码器结构及无参考图像清晰度评价指标中的灰度方差乘积函数,设计了一种基于无监督学习的双阶段图像融合网络;然后在训练阶段,提出使用多尺度结构相似度作为损失函数并引入了总偏差损失对图像中存在的噪声进行抑制;接着构建了一种基于变分自编码器结构的编码器-解码器网络进行原始图像的重构任务训练;再次在融合阶段,使用训练好的编码器对待融合图像进行特征编码后,使用改进的灰度方差乘积函数方法进行清晰像素的判别任务;最后通过数学形态学优化处理后生成最终的决策图,采用加权融合策略完成图像的最终融合。实验结果表明,此方法虽然采用了更少的模型参数,但是在编码解码过程中保留了更多的原始图像信息,在像素判别过程中优于传统的基于空间频率的判别方法。在与多种具有代表性的图像融合方法相比中,所提出的方法在主观和客观评价方面均取得了先进的融合性能。

基于MDLatLRR和KPCA的光场图像全聚焦融合

为了提升光场成像的空间分辨率,结合光场图像数字重聚焦与多聚焦图像融合,提出了一种基于多尺度潜在低秩分解和核主成分分析的光场图像全聚焦融合算法。首先,对光场图像进行数字重聚焦得到重聚焦图像,然后对各重聚焦图像进行多尺度分解提取出基础层和显著层,对基础层、显著层分别采用局部梯度差值加权算法和多尺度梯度域显著性提取算法计算相应的特征系数;其次,联立基础层和各显著层的特征系数矩阵,然后用核主成分分析进行降维融合得到融合特征系数矩阵,使得经融合特征系数生成的聚焦决策图能充分考虑基础层和显著层的特征信息;最后,用聚焦决策图引导重聚焦图像进行全聚焦融合。实验结果表明,该算法与传统方法相比在视觉效果和边缘信息丰富度上具有更优表现,所生成的光场全聚焦图像具有更高的分辨率和更好的视觉效果。

基于平稳小波和脉冲耦合神经网络的金属断口多聚焦融合分析方法

为了提高金属断口融合的主观、客观效果,提出一种二维平稳小波与脉冲耦合神经网络(PCNN)结合的方法,对金属断口的多聚焦图像进行融合,用以获得金属材料在断裂过程中的多种信息。利用二维平稳小波具有平移不变性的特点,分解断口图像,低频域进行多尺度、双通道的PCNN融合,高频域采用张量的奇异值分解法融合,最后进行二维平稳小波逆变换,得到融合图像,融合后图像突出了断口形貌中的细节信息,使得断口形貌特征表达更为全面。提出的融合方法,改进了传统方法测量单一、易丢失细节的不足,克服了断口图像分析仪景深受限的缺点,具有一定的实用性。

基于目标图像先验信息的无监督多聚焦图像融合

多聚焦图像融合(MFIF)是从不同源图像中获取聚焦区域,以形成全清晰图像的一种图像增强方法。针对目前MFIF方法主要存在的两个方面问题,即传统的空间域方法在其融合边界存在较强的散焦扩散效应(DSE)以及伪影等问题;深度学习方法缺乏还原光场相机生成的数据集,并且因需要大量手动调参而存在训练过程耗时过多等问题,提出了一种基于目标图像先验信息的无监督多聚焦图像融合方法。首先,将源图像本身的内部先验信息和由空间域方法生成的初始融合图像所具有的外部先验信息分别用于G-Net和FNet输入,其中,G-Net和F-Net都是由U-Net组成的深度图像先验(DIP)网络;然后,引入一种由空间域方法生成的参考掩膜辅助G-Net生成引导决策图;最后,该决策图联合初始融合图像对F-Net进行优化,并生成最终的融合图像。验证实验基于具有真实参考图像的Lytro数据集和融合边界具有强DSE的MFFW数据集,并选用了5个广泛应用的客观指标进行性能评价。实验结果表明,该方法有效地减少了优化迭代次数,在主观和客观性能评价上优于8种目前最先进的MFIF方法,尤其在融合边界具有强DSE的数据集上表现得更有优势。

基于Transformer和生成对抗网络的多聚焦图像融合

针对多聚焦图像融合任务中聚焦与离焦边界区域处理不平滑的问题,基于Transformer的全局特征提取能力,提出了一种包含双判别器的生成对抗网络方案.生成器以端到端的形式完成多聚焦图像融合任务,借助Transformer获取全局依赖性和低频空间细节,通过跨域的交叉注意力机制帮助生成器模型的双分支达到信息交互的效果,获取另一通道上的冗余信息和互补信息.该模型在学习过程中结合图像的全局信息进行参数更新,从而克服上述问题,且尽可能保留多聚焦图像中聚焦区域的有效信息.通过对比实验表明,所提方法可行且具备竞争力.

船舶多聚焦图像的融合方法研究

受到环境因素以及抖动等原因,船舶相机获取的图片存在模糊的现象,通过对多张图片进行融合可以有效解决这个问题。本文提出一种基于深度学习和多聚焦图像的融合方法,详细分析了多聚焦图像融合的过程,阐述了基于SIFT变换的特征提取原理,提出基于CNN的多聚焦图像融合训练阶段网络框架和图像融合网络框架,并进行实证研究,结果表明本文提出的多聚焦图像融合方法可以实现多张图片的有效融合,并在空间尺度上实现了坐标统一,输出图片具有较高的清晰度。

基于纹理特征提取的多聚焦图像融合方法

针对多聚焦图像融合过程中可能出现的问题,如细节丢失、边缘伪影和区块效应等,提出了一种基于纹理特征提取的多聚焦图像融合方法。通过纹理特征提取算法获取图像纹理细节,用引导滤波对细节进行增强和细化处理。对滤波后特征图采用像素极大值策略生成初始决策图,利用小区域去噪方法得到准确的决策图。结合原始图像与最终决策图进行图像融合,生成全聚焦图像。结果表明,该方法融合的图像质量有显著提升,与其他方法相比,均方误差评价值降低了约37.14%,同时,基于归一化互信息度量、基于Tsallis熵度量和基于非线性相关信息熵度量的评价参数值分别提升了约26.1%、6.18%和13.2%。此外,该方法还可以充分保留图像细节信息且没有区块效应和边缘模糊的现象,具有较强的实际应用价值。

基于NSST的改进双通道PCNN多聚焦RGB图像融合

针对光学成像设备景深有限、图像部分失焦的问题,提出一种基于非下剪切波变换(NSST)的改进双通道脉冲神经耦合网络(PCNN)融合算法。首先,该算法采用Lab颜色空间分割RGB图像的亮度分量和色度分量间的关联性得到亮度和色度通道子图;然后,亮度通道子图使用NSST重构,色度通道子图使用能量匹配融合;针对融合时阈值设置和点火量化产生的误差,提出改进双通道PCNN模型融合,并结合对比敏感度函数(CSF)自适应设定PCNN参数;最后,亮度和色度重构图通过逆Lab得到最终融合图。实验结果证实,该算法可有效减小失真,抑制伪影并保留边缘轮廓信息,提升全场景清晰度。

岩石薄片多聚焦图像融合的深度学习算法研究

本文提出了一种基于无监督的深度学习算法,以解决在显微镜下采集产生的岩石薄片图像的多聚焦融合问题。为了提取图像的深层特征,使用无监督方法训练了一个编解码神经网络,用于提取不同聚焦图像的深度特征,得到特征图;然后利用特征图的空间频率计算出二值决策图;由于细微的决策偏差,二值决策图中可能存在孔洞、毛刺干扰,于是对决策图进行形态学处理和滤波。最后通过处理后的决策图得到融合图像。实验得到该方法的数据评价指标Q_(G)、Q_(Y)、Q_(CB)的值分别为0.7477、0.9874、0.7969,同时主观效果上也好于其他方法;实验证明了在显微镜岩石薄片图像和通用图像的多聚焦融合应用中,该方法能取得良好的效果。

基于超像素和引导波的多聚焦图像融合

针对多聚焦图像融合中存在的聚焦区域误判、纹理不清晰和伪影等问题,提出一种结合超像素和引导波的非下采样剪切波变换(Non-subsampled shearlet transform,NSST)融合方法。首先,在高频融合中使用三重引导滤波达到识别聚焦区域和光滑聚焦边界的效果,并通过中值去噪增强图像的抗噪性。其次,对基于超像素融合的低频子带进行伽马校正提升图像的对比度,保证图像纹理的连续性,超像素融合还可以保持区域色度一致性。最后,重构的亮度和色度子图通过逆Lab变换进行融合。在7组实验中,本算法的空间频率(Spatial frequency,SF)、标准差(Standard deviation,SD)、边缘强度(Edge intensity,EI)和视觉信息保真度(Visual information fidelity,VIF)都远大于对比算法的相应值,表明本算法能很好地保留纹理轮廓信息,提升图像对比度和清晰度。

小波域多聚焦图像融合算法

研究了小波域多聚焦图像融合方法中滤波器、分解层数、融合规则的选取问题,提出一种基于小波变换的简单融合规则。利用小波变换将图像分解成最低频逼近和不同尺度、不同方向的高频细节信息,最低频逼近反映图像的平均信息,细节包含图像的边缘。根据多聚焦图像中细节信息互补的特点,对多个待融合图像简单地取模值较大的小波系数,得到了很好的融合图像。详细讨论了不同的小波滤波器、分解深度、融合算子对融合结果的影响。对小波域图像融合算法与其它一些多分辨图像融合算法:如Laplace塔、比率塔、对比度塔、梯度塔等进行比较,得到了一些定性结论,对该领域的研究和实验有一定的指导意义。

基于复数小波域的多聚焦图像融合

提出了一种基于Q-shift双树复数小波变换的图像融合方法,该方法利用Q-shift双树复数小波变换对图像进行分解,根据低、高频系数相关性的特点,采用邻域梯度取大和"合成图像模值取大"相结合的融合方法对低、高频系数分别进行融合,并对高频融合结果进行"一致性"校验。实验表明,本文算法具有优于基于小波变换方法的性能。由于Q-shift双树复数小波近似的平移不变性和良好的方向选择性,因此能够有效地避免空间域融合算法存在的对比度低、块效应等问题以及基于小波变换融合算法存在的"伪影"和"振铃效应"。

稀疏表示和非下采样Shearlet变换相结合的多聚焦图像融合

针对多聚焦图像融合过程中源图像未精确配准带来的伪吉布斯现象,提出一种稀疏表示和非下采样Shearlet变换相结合的图像融合方法.该方法首先利用非下采样Shearlet变换对源图像进行多尺度分解,低频系数采用稀疏表示进行融合,为了提高算法效率和更好地逼近低频系数,将初始融合的低频子图直接作为训练样本自适应构造过完备字典,高频系数采用改进拉普拉斯能量和取大的融合规则,然后重构低高频融合系数得到最终的融合图像.通过和多种融合方法进行对比实验,本文方法融合结果无论从主观视觉还是客观评价上都能得到很好的效果.

基于自适应稀疏表示的多聚焦图像融合

提出了一种基于自适应稀疏表示的多聚焦图像融合算法,该算法根据图像的结构特征将子块分为相似模型、平滑模型和细节模型.三种模型采取不同的处理,相似模型直接放入融合图像,平滑模型和细节模型分别采用加权平均法和稀疏表示法进行融合,从而减少了稀疏编码的图像块数,以提高融合效率.实验结果表明,该方法在保证融合图像主观效果和客观性能指标均优的的情况下,有效缩短了运算时间.

多聚焦图像融合中小波基函数选取的研究

在基于小波变换的多聚焦图像融合算法中,小波基的选取是一个问题。分别从基于像素的融合算法和基于区域的融合算法两个方面,选取不同的小波基,做了大量的实验。考虑到评价参量的典型性和算法的复杂度,选取熵、均值、标准差、可见度,平均交叉熵5个参量对实验结果进行评价分析。

基于离散小波框架变换的彩色多聚焦图像融合算法

提出了一种基于离散小波框架变换的彩色多聚焦图像融合算法。首先求取各彩色多聚焦图像的灰度分量,再对各灰度分量进行离散小波框架变换,根据离散小波框架变换系数求取各图像中像素的清晰度指标,然后根据各图像中像素的清晰度指标对属于清晰区域的像素进行组合,从而得到融合后的图像。试验结果表明本文所提出的算法能够较好地解决彩色多聚焦图像融合问题。

基于区域分割和非下采样Contourlet变换的多聚焦图像融合算法

针对基于神经网络分割算法计算复杂、运算量大等问题,提出一种根据单焦距图像聚焦区域和失焦区域局部相对清晰度的不同进行区域分割的多聚焦图像融合算法。该算法有效结合了非下采样Contourlet变换(NSCT)在图像分解中的多尺度、方向性、各向异性和平移不变性等特点,利用各方向高频分量的聚类来对低频分量进行分割、融合。实验表明该算法是一种有效的多聚焦图像融合方法。

基于冗余小波变换与引导滤波的多聚焦图像融合

针对传统多尺度变换在多聚焦图像融合中存在的边缘晕圈问题,提出了一种基于冗余小波变换与引导滤波的多聚焦图像融合算法。首先,利用冗余小波变换对图像进行多尺度分解,将源图像分解为一个相似平面和一系列小波平面,该多尺度分解能够有效地提取源图像中的细节信息;然后,对相似平面和小波平面分别采用引导滤波的加权融合规则来构造加权映射,从而得到相似平面和小波平面的加权融合系数;最后,进行冗余小波逆变换,即可得到融合结果图。实验结果表明,与传统融合算法相比,所提算法能够更好地体现图像边缘的细节特征,取得了较好的融合效果。