VSM指导下MSDNet轻量型融合网络建模与仿真

轻量级的图像融合算法对于人眼观察和机器识别有着重要的意义.通过对视觉显著性在红外与可见光图像融合过程中的重要性研究,在SDNet融合网络的基础上,优化并设计了一种视觉显著图(visual saliency map,VSM)指导下的MSDNet轻量型融合网络.首先,通过对SDNet的结构以及通道数进行了缩减以加快训练及推理速度,并利用结构参数化与反参数化技术增强轻量化模型的学习能力;然后,针对模型的训练,使用了基于显著值图VSM指导的损失函数,实现模型的自监督训练;最后,在训练结束时,将图像重建分支删除,根据卷积参数融合得到最终的轻量化模型.实验表明,该轻量化网络能够在保证图像融合质量的基础上,极大地提高了融合的速率,使其在移动端的移植成为可能.