结合语义分割与跨模态差分特征补偿的红外与可见光图像融合方法

针对现有红外与可见光图像融合模型在深层特征提取时细节信息丢失、显著目标轮廓模糊的问题,提出一种结合语义分割与跨模态差分特征补偿(CMDFC)的红外与可见光图像融合方法。通过具有卷积注意力机制(CBAM)的跨模态差分特征补偿模块,叠加不同模态的互补特征信息至原始特征中进行深层特征提取,引入语义分割网络对融合图像进行像素级别的分类操作构造语义损失来约束融合网络,并使用解码器重构融合图像。在公开数据集上进行融合实验的结果表明,相较于对照模型中的最优指标,所选的5种指标均有不同程度的提高,其中互信息(MI)和视觉信息保真度(VIF)分别提高了4.41%和4.25%,说明本文所提出的模型生成的融合图像更清晰,与源图像相关性更强,该方法有效缓解了红外与可见光图像融合过程中特征细节信息丢失的问题,增强了生成图像的视觉效果和对比度。

基于差异特征补偿Transformer的遥感图像变化检测

遥感图像变化检测(remote sensing image change detection.RSICD)的目标是检测双时图像之间发生变化的区域.为了准确获取感兴趣的差异特征图,本文提出了差异特征补偿Transformer(differential feature compensation Transformer,DFCT)模型来解决RSICD问题,设计了差异特征补偿分支来有效地学习差异特征.为了更好地连接高级和低级特征,引入了特征融合模块.具体而言,首先使用共享骨干网络来提取给定图像对的特征图.然后,将共享骨干网络输出的特征映射为新的表征集,连接起来输入到Transformer编码器以获得每个时态的细粒度特征图.最后特征融合模块利用差异特征补偿分支补充双增强特征的粗粒度特征信息,将该特征与分支得到的差异补偿特征进行融合.最后,通过预测头获得精确的变化图.该方法在3个数据集上的F1分数分别达到了93.46%,92.25%和96.27%,交并比分别达到了87.71%,85.62%和92.82%,与其余10种当前主流方法相比均为最优,实验结果证明了该方法的有效性.