基于视觉显著性与残差网络的红外-可见光图像融合方法

深度学习用于红外-可见光图像融合,若只提取深度特征而不进行特征处理,会导致在某些方面融合性能下降.针对这一问题,提出一种基于深度特征和零相位分量分析的融合框架.首先,将源图像分解成低频部分和高频部分;然后,利用显著性检测将低频子带部分融合.其次,使用残差网络提取高频子带的深度特征,通过零相位成分分析法和l1正则化对深度特征进行归一化处理,得到初始权重值,而最终权重值是与初始权重值相关联的Softmax得到的,利用最终权重值融合高频子带.最后,采用加权平均法重构融合后的图像.实验结果表明,与现有的融合方法相比,该算法在客观评价和视觉质量方面都取得了较好的效果.

结合多尺度局部极值分解和SCM模型的医学图像融合方法

根据不同的成像原理,医学图像有多种不同的图像类型。针对CT-MRI图像融合中容易造成细节和对比度信息丢失等问题,提出一种基于多尺度局部极值分解方法(LES)和双通道脉冲发放皮层模型(DCSCM)的图像融合方法。利用多尺度局部极值分解方法将源图像分解为一系列不同尺度的平滑图像和细节图像;使用最大值法分别提取两个系列平滑图像的最大值,使用稀疏表示方法进行平滑图像的融合;对两个系列的细节图像取均值,使用DCSCM模型对细节图像进行融合;通过融合后的平滑图像和细节图像重构出最终的融合图像。对多组医学图像进行实验仿真和主客观分析,多组实验结果表明,该方法在主观视觉方面和客观评价指标的定量分析方面都取得了优异的效果。

低秩表示和字典学习的红外与可见光图像融合算法

针对目前红外与可见光融合算法在保留可见光图像中的背景信息时无法同时有效地提取红外图像信息,提出了一种基于低秩表示和字典学习的红外与可见光的图像融合算法.首先,采用低秩表示对红外图像和可见光图像进行分解,分别获得源图像的低秩和稀疏成分,其中稀疏成分可以很好地表示源图像的边缘细节特征.其次,用OMP算法的字典学习方法和稀疏系数的最大范数规则,而最大范数规则在对图像背景恢复的同时能够提取目标信息.再次,对分解得到的2个分量进行融合.最后,利用融合稀疏系数和自适应字典重建融合图像.实验结果表明,本融合算法可以突出红外对象信息,同时能够保留可见光图像中的背景信息,达到良好的视觉效果.