夜视环境下红外与可见光图像真彩色快速融合方法研究

为解决红外图像和可见光图像在夜视环境下成像效果不理想的问题,搭建一种由红外相机与RGB相机组合而成的具有结构简单、实时性高等特点的双目异型成像系统。利用双线程方式实时采集红外与可见光图像,针对非局部均值滤波(Non-Local Mean,NLM)提出了一种基于熵的自适应h求解方法,能够较好的消除红外图像的噪声;之后将红外图像与可见光图像的特征点匹配后,引入基于斜率一致性的方法进行图像配准,最后采用改进基础图像融合规则的双尺度融合算法(Two-scale Image Fusion,TIF)以及多种融合算法将红外与可见光图像进行融合,获得目标明显、信息丰富且真实色彩的(Infrared Radiation and RGB,IR-RGB)融合图像。TIF算法能够高效快速地将红外图像与可见光图像融合,在保留了可见光图像对周围环境的真实颜色信息特征的同时,又保留了红外图像温度提取的特点。分析数据可知,TIF算法的IR-RGB图像的熵值提升了约5.14%;其边缘强度均达到最大39.991、22.433、52.880;相比普通的像素级融合规则,该方法的运行速度提升了10倍的量级。该研究在夜视环境下通过红外与可见光的实时成像在目标识别和监测等实际应用中具有非常重要的意义。

基于图像融合和改进CornerNet-Squeeze的煤矿井下行人检测方法

在煤矿井下无人驾驶和安防监控等领域,对行人目标的检测至关重要,但受井下光线昏暗、光照不均、背景复杂、行人目标小且密集等特殊工况环境的影响,图像中的行人目标存在边缘细节特征少、信噪比低、与背景相似度高等问题,难以有效识别遮挡多尺度下的行人目标。针对上述问题,提出了一种基于图像融合和改进CornerNet-Squeeze的煤矿井下行人目标检测方法。采用双尺度图像融合(TIF)算法将红外相机和深度相机采集的图像进行像素级融合,再进行形态学处理,减少背景干扰。在CornerNet-Squeeze网络基础上,将八度卷积(OctConv)引入沙漏型主干网络,处理图像特征中高低频信息,增强图像边缘特征,提高多尺度行人检测能力。实验结果表明:①在深度图像、红外图像、融合图像3种数据集上,改进CornerNet-Squeeze模型在保持原算法实时性的同时,有效提升了井下行人检测精度。②采用融合图像数据集训练的模型检测精度较红外图像和深度图像数据集训练的模型高,可见融合图像能充分发挥深度图像和红外图像的优势,有助于提高模型检测精度。③在不同程度遮挡和多尺度行人目标6种场景下,改进CornerNet-Squeeze训练的模型的行人漏检率最低。④与YOLOv4相比,在COCO2014行人数据集上改进CornerNet-Squeeze算法的平均精度提高了1.1%,检测速度提高了6.7%。⑤改进CornerNet-Squeeze能够有效检测出图像中远处小目标,对小目标的检测能力提升明显。