三尺度分解和稀疏表示的红外和可见光图像融合

为提高对含噪声源图像的处理效果,以及提高融合图像的对比度、结构信息等,提出一种基于三尺度分解和稀疏表示的红外和可见光图像融合算法。首先,为增强对噪声的去除效果,并且维持源图像的结构和边缘特性,利用滚动引导滤波器对源图像进行分解,将源图像分解为基础层和细节层;其次,为充分利用基础分量中的细节和能量,同时降低模型的复杂性,构造结构-纹理分解模型,将基础层再次分解为基础结构层和基础纹理层。然后分析三个分量的不同特点,使用不同的融合规则对三个分量分别进行融合,针对细节分量,其含有主要的噪声成分,但含噪声程度又不一样,因此根据图像含噪声的程度自适应确定稀疏融合去噪参数,从而同时实现对细节分量的融合和去噪,并且能够有效地提高计算效率;针对基础结构分量,其包含的细节特征较少,直接采用基于视觉显著图的加权平均技术进行预融合;针对基础纹理分量,由于其包含了视觉上重要的信息或图像特征,如边缘、直线和轮廓等活动信息,能够反映出原始基础图像的主要细节,因此采用主成分分析方法进行预融合,最终通过重构细节、基础结构和基础纹理层来得到融合图像。为验证所提方法的有效性,选取了多组红外和可见光图像进行试验,并与近期的五种方法CNN、FPDE、ResNet、IFEVIP、TIF进行了对比,采用主观和客观的形式对结果进行分析。实验结果表明,同其他图像融合算法进行对比分析,该方法能够兼顾含噪声和无噪声图像的融合,在有无噪声的情况下均能够将源图像的细节、亮度和结构保留到融合图像中,而且能有效地消除噪声。

多源图像融合及效果评价综述

多源图像融合在各种视觉领域中应用广泛,它将多个图像的特征信息整合集中到一幅图像上。过去的几十年中,多源图像融合方法日益增多,但依然不能完全满足需求。为了设计出在准确性、鲁棒性和效率等方面具有优异性能的融合方法,需要对经典和最新技术进行全面系统的回顾和分析,以寻找新的突破口。遵循多源图像融合的流程,介绍图像融合的分类、框架以及一些方法技术,并以不同的视角提出一种新的图像融合方法分类体系;对融合评价方法进行了全面概括;最后,介绍图像融合的几种应用场合,并对多源图像融合未来的发展趋势进行展望。