基于光照感知权重融合的多模态行人检测算法

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题,提出一种基于光照感知权重融合的多模态行人目标检测算法。首先,使用引入高效通道注意力(ECA)机制模块的ResNet50作为特征提取网络,分别提取两个模态的特征;其次,对现有光照加权感知融合策略进行改进,通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重,并进行加权融合得到融合特征,从而降低算法的检测漏检率;最后,将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络,完成行人目标检测。实验结果表明,所提算法在KAIST数据集下具有良好的检测性能,在全天候下对行人目标的检测漏检率为11.16%。

艾比湖卤虫滞育诱导的临界光周期和感知光照度的研究

卤虫具有滞育模式（卵生）和非滞育模式（卵胎生）两种繁殖模式,而光周期可能是影响其繁殖模式的重要的环境因子,因此明确其临界光周期和感知光照度对于有效地调控卤虫滞育、繁殖等将具有重要实践意义。本研究在实验室条件下研究了艾比湖卤虫的临界光周期和感知光照度,结果表明,在常规养殖盐度（80）和温度（25℃）条件下,艾比湖卤虫的光反应曲线与典型的长日照反应型滞育昆虫类似,在非极端光周期下,艾比湖卤虫的临界光暗时长为（8.38±0.37）h,相应的临界日长为15.62h;在极端光周期下,24h光暗时长,滞育率为（32.42±6.70）%,极显著低于邻近长光暗时长滞育率（P〈0.01）;0h光暗时长,滞育率为（19.01±5.98）%,较邻近短光暗时长滞育率略高,但差异不显著（P〉0.05）。感知光照度试验表明,艾比湖卤虫感知光照度可能处于10-50lx。本研究为卤虫的滞育诱导和繁殖模式的光控化养殖提供了重要的科学基础。

用于多光谱行人检测的改进光照权重融合方法

着卷积神经网络的发展,基于多光谱图像的行人检测研究取得了巨大进步,且应用广泛.最近研究表明,融合由多光谱相机(可见光和热成像相机)捕获的图像信息可以使行人在强光和弱光条件下的检测都变得鲁棒.然而,如何根据光照条件有效地融合图像信息仍缺乏进一步的研究.本文提出了一种多层次特征提取方法,旨在从不同特征层提取有用信息.同时,还提出一种置信度融合机制,测量多光谱图像的光照情况.采用一个融合函数对双流网络输出的分类结果和RPN输出的分类结果进行融合,提高行人检测的性能.通过实验将所提出的多光谱光照感知检测R-CNN(MIAD-RCNN)与现有的多光谱行人检测器进行比较,该方法在全天候均具有较低的漏检率和较快的速度.

可见光与红外双模态图像融合行人检测

由于传统融合检测方法未能较好地解决双模态融合中冗余信息带来的误检、漏检问题。为了更有效地利用双模态信息,提出一种光照感知和卷积块注意模块相结合的双模态特征融合行人检测网络(IWFC-Net)。首先根据可见光图像提取光照感知值,将其作为融合权重指导双模态图像特征融合;然后加强融合特征进行卷积块注意力机制加强,强化特征表示;最后将加强后的融合特征送入YOLO目标检测层进行多尺度行人预测,得到多尺度行人检测结果。在KAIST、LLVIP多光谱数据集上的实验结果表明,所提方法既能有效融合双模图像互补信息提升目标检测精度,又能显著降低冗余信息造成的漏检和误检率,还能达到35 FPS左右的检测速度,以期为行人检测提供新的解决方法。