以图像为主的多模态感知与多源融合技术发展及应用综述

不同模态的表现方式不同,描述目标的角度也会不同。多模态感知与多源融合技术是将两种或两种以上的模态组合起来,融合不同传感器、不同平台收集到的数据、特征信息,兼顾不同图像的优势,在遥感监测、军事安防、自动驾驶等领域有着广泛的运用。介绍了热成像、高光谱成像、偏振成像、合成孔径雷达(SAR)、激光雷达(LiDAR)等多模态感知技术,总结了不同成像方式的特点与联系,简述了多源融合相关概念及其技术发展历程,重点分析了不同模态下图像融合案例,在此基础上归纳多模态感知和多源融合技术的发展趋势,最后基于融合算法、系统整体性、评价指标总结出进一步发展方向。

面向水域场景的热成像人员识别算法研究

针对水域场景夜间能见度极低,难以实现人员目标检测与定位的问题,结合红外热成像技术与深度学习目标检测算法,研究了一种黑暗环境下水域人员目标检测方法。经过多场景实地采集,自主构建了一套热成像水域场景下的人员目标数据集IR-YZ。在对比经典目标检测方法在IR-YZ数据集上的性能的基础上,针对热成像特点与水域环境特点,提出了一种增强型轻量级水上目标检测网络IWPT-YOLO(infrared water person target-YOLO)。实验结果表明,IWPT-YOLO算法具有精确、快速、简洁等优势,其模型大小为93 MB,平均精度mAP达到了85.34%,检测速度达到了20.975 FPS,比经典算法YOLOv3网络与SSD网络在模型大小、平均精度与检测速度上均有提高,验证了IWPT-YOLO算法对水域场景下的热成像人员目标具有更好的检测性能,更明显的优势。