基于多阶段交叉信息融合的多光谱行人检测

针对多光谱行人检测中双模态特征融合不充分、特征融合质量低的问题,提出一种基于多阶段交叉信息融合的多光谱行人检测算法。算法首先通过双流骨干网络分别对可见光图像和红外图像进行特征提取;设计交叉信息融合模块并多阶段嵌入双流骨干网络中引导双模态特征融合,实现双模态特征信息的充分融合;引入条件卷积对融合后的特征信息进行动态处理,改善融合信息的质量,最终提升算法的检测性能。实验结果表明,算法的漏检率仅为10.41%,较原算法降低了10%,显著提升了算法的检测性能。

深度学习在多光谱行人检测中的研究现状与应用前景

行人检测是计算机视觉领域重要的研究方向之一。随着深度学习的快速发展,基于可见光图像的行人检测技术的性能有了明显的提升,但在夜间或恶劣天气条件下检测性能急剧下降。基于可见光和热红外图像融合的行人检测可以有效解决全时段行人检测的问题,而多光谱行人检测的性能取决于可见光和热红外两种模态融合的机制。本文以基于深度学习的多光谱行人检测技术为研究对象,首先介绍了多光谱行人检测的基本深度学习模型,其次从特征级融合、决策级融合和模态迁移融合三个方面具体分析了深度学习在多光谱行人检测中的研究现状,最后分析了深度学习在多光谱行人检测中的应用前景。

用于多光谱行人检测的改进光照权重融合方法

着卷积神经网络的发展,基于多光谱图像的行人检测研究取得了巨大进步,且应用广泛.最近研究表明,融合由多光谱相机(可见光和热成像相机)捕获的图像信息可以使行人在强光和弱光条件下的检测都变得鲁棒.然而,如何根据光照条件有效地融合图像信息仍缺乏进一步的研究.本文提出了一种多层次特征提取方法,旨在从不同特征层提取有用信息.同时,还提出一种置信度融合机制,测量多光谱图像的光照情况.采用一个融合函数对双流网络输出的分类结果和RPN输出的分类结果进行融合,提高行人检测的性能.通过实验将所提出的多光谱光照感知检测R-CNN(MIAD-RCNN)与现有的多光谱行人检测器进行比较,该方法在全天候均具有较低的漏检率和较快的速度.

基于差分特征注意力机制的无锚框多光谱行人检测算法

针对多光谱行人检测系统存在特征融合质量低、模型超参数多且锚框匹配算法复杂等问题,提出了一种基于差分特征注意力机制的无锚框多光谱行人检测算法。该算法首先采用差分特征感知融合方法挖掘多模态特征间的互补信息来优化通道特征;然后利用具有高效无锚框机制的CenterNet检测框架大大降低了模型计算复杂度,从而提升检测速度;最后引入差分特征注意力机制,改善特征融合质量,进一步提升检测精度。在KAIST、CVC14和FLIR这3个公开数据集上的实验结果表明,提出的算法和其他先进方法相比,能够同时有效提升检测精度和速度,具有较好的实际应用前景。

基于密集连接SSD算法的多光谱行人检测

行人检测在计算机视觉领域是一个热门的研究方向,在自动驾驶和视频监控等应用中广泛使用。为满足全时段行人实时检测的需求,提出一种基于密集连接的SSD算法。该方法以原始SSD算法为基础网络架构,将模型中的附加特征提取层改为密集跳层连接的结构,并引入特征融合结构来融合红外和可见光图像的特征。在KAIST数据集上的实验结果表明,相比于经典的SSD算法,该算法模型更小、精度更高,且满足实时检测的需求,适合部署在资源受限的移动终端设备上。

基于特征选择方法的无锚框多光谱行人检测

为解决低分辨率及遮挡行人目标难以检测的问题,提出一种基于特征选择的无锚框多光谱行人检测方法。该方法以双通道CenterNet网络为基础网络架构,将特征选择注意网络应用于两个卷积模块之间,对语义信息及细节特征进行筛选,最终获取更有利于检测低分辨率及遮挡行人目标的信息。实验结果表明,相比于传统的通道融合多光谱行人检测算法,该方法降低了3%的行人检测漏检率,对于较小的行人目标以及严重遮挡的行人目标分别降低了15%、9%的漏检率,具有一定的应用价值。