基于多任务卷积神经网络的红外与可见光多分辨率图像融合

红外与可见光图像融合一直是图像领域研究的热点,融合技术能弥补单一传感器的不足,为图像理解与分析提供良好的成像基础。因生产工艺以及成本的限制,红外探测器的分辨率远低于可见光探测器,并在一定程度上因源图像分辨率的差异阻碍了实际应用。针对红外与可见光图像分辨率不一致的问题,提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架,应用于多分辨率图像融合。在网络结构方面,首先设计了双通道网络分别提取红外与可见光特征,使算法不受源图像分辨率的限制;其次提出了特征上采样模块,先用双线性插值方法增加像素个数,再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系,无需重新训练模型即可实现任意尺度的红外图像上采样;接着将线性注意力引入网络,学习特征空间位置间的非线性关系,抑制无关信息并增强网络对全局信息的表达。在损失函数方面,提出了梯度损失,保留红外与可见光图像中绝对值较大的滤波器响应值,并计算该值与重建的融合图像响应值的Frobenius范数,无需理想的融合图像作为真值监督网络学习就能生成融合图像;此外,在梯度损失、像素损失的共同作用下对多任务模型进行优化,可以同时重建融合图像和高分辨率红外图像。算法在RoadScene数据集上进行训练,与其他4种相关算法在TNO数据集上进行对比,主观性能上该方法可以输入任意分辨率的源图像,融合图像红外目标突出、可见光细节纹理丰富,在源图像分辨率相差较大时能重建特征清晰的高分辨率红外图像,模型泛化性能强;客观性能上在信息熵、差异相关性总量、空间频率等多个评价指标上表现优异,结果表明重建的融合图像信息丰富、信息转化率高、清晰度高,验证了算法的有效性。

二尺度分解和显著性提取的红外与可见光图像融合

为增强红外与可见光图像融合可视性,克服红外与可见光图像融合结果中细节丢失、目标不显著和对比度低等问题,提出一种基于二尺度分解和显著性提取的红外与可见光图像融合方法。首先,以人类视觉感知理论为基础,针对人眼对图像不同区域敏感性不同特性,在跨模态融合任务中需要对源图像进行不同层次分解,避免高频分量和低频分量混合减少光晕效应,采用二尺度分解方法对源红外与可见光图像进行分解,分别获取各自的基本层和细节层,该分解方法能够很好的表达图像并具有很好的实时性;然后,针对基本层的融合提出一种基于视觉显著图(VSM)的加权平均融合规则,VSM方法能够很好提取源图像中的显著结构和目标。采用基于VSM的加权平均融合规则对基本层融合,能够有效避免直接使用加权平均策略而导致对比度损失,使融合图像可视性更好;针对细节层的融合,采用Kirsch算子对源图像分别提取得到显著图,然后通过VGG-19网络对显著图进行特征提取获取权值图,并与细节层进行融合,得到融合的细节层;Kirsch算子能在八个方向上快速提取图像边缘,显著图中将包含更多边缘信息和更少噪声,且VGG-19网络能够提取到图像更深层特征信息,获取的权值图中将包含更多有用信息;最后,将融合后的基本层和细节层图像进行叠加,获取最终融合结果。在实验部分,选取了四组典型的红外与可见光图像来进行测试,并与其他六种目前主流方法进行对比。结果表明,该方法在主观质量上具有高对比度、目标突出、细节信息丰富和图像边缘特征保持较好等优势。在信息熵、互信息、标准差、多尺度结构相似度测量和差异相关和等客观指标上也展现出比较好的结果。

基于分数阶微分视频融合的森林烟火检测算法

森林火灾检测是国内外林业应用研究的重要课题之一。及时准确地检测到森林火灾,对于森林健康及环境安全意义重大。现有的利用视频技术检测森林火灾的方法大多针对单一波段,如可见光波段或红外波段的视频信息进行分析,然而在实际应用过程中,由于森林环境复杂,基于单一波段视频信息检测火灾的结果欠佳。现阶段,基于多个波段的森林火灾检测方法非常少。本文综合利用红外及可见光视频特征,提出了一种基于分数阶微分视频融合的森林烟火检测算法,将分数阶微分理论引入红外视频和可见光视频融合中,利用分数阶微分算子对两个波段视频进行融合,然后利用背景去除法检测融合视频中的异常帧,且对异常帧图像及其与背景帧的差分图像分别进行图像分割,最终得到检测出的森林烟火区域。采用空间频率、平均梯度、森林火灾检测准确率和森林火灾检测时间误差度4个测度对本文算法和基于区域能量融合算法、基于窗口方差融合算法、基于HSI变换融合算法进行定量分析和比较。结果表明,本文算法的融合视频的融合效果最佳,并且森林火灾检测准确率和森林火灾检测时间误差均明显优于其他3种算法,说明本文提出的算法具有较好的有效性和准确性,为森林火灾检测提供了有利的新途径。

基于预处理的金字塔图像融合算法

针对经典金字塔融合算法在重构过程中由噪声叠加引起的黑斑问题,提出了一种新的基于分层预处理的红外与可见光图像融合算法.该算法对金字塔分解的各层图像进行预处理,优化各分解层图像质量后再将各自对应层融合.采用该算法融合的图像质量能降低直接对源图像进行融合时融合规则的复杂度及融合后改善图像质量处理的难度,仿真结果验证了该算法的有效性.与经典金字塔算法、同类金字塔改进算法相比,该算法包含的信息量更多.

改进YOLOv5的光伏组件热斑及遮挡物检测

针对光伏组件热斑若未及时发现处理,会严重影响光伏组件及阵列正常运行的问题,为了有效检测光伏阵列热斑,提出一种基于YOLOv5框架的深度学习热斑检测方法.首先,采用像素加权平均法融合红外和可见光图像作为检测对象,实现同时对光伏组件热斑和遮挡物的检测,并初步分析热斑成因.其次,改进模型框架,在轻量级网络MobileNetV3-large的基础上,融合坐标注意力机制,设计更轻量、更高效的MobileNetCA作为特征提取网络.然后,针对训练中正负样本数量极不平衡的情况,更换损失函数为变焦距损失函数,达到训练中突出正例的效果.同时,改进模型anchor box目标框生成算法,使生成的目标框与实际标注框更一致.实验结果表明,改进后的模型mAP为88.9%,较原YOLOv5s模型提升了3.8%,且模型参数量仅为原模型的48.6%.