深度学习与图像融合的行人检测算法研究

为解决智能辅助驾驶技术中可见光摄像机受光照和气候影响而导致行人目标识别困难的问题。通过研究图像融合技术,结合深度卷积神经网络,实现并改进了一种道路行人目标检测算法。方法是利用多源传感器图像融合技术,采用可见光相机与红外热成像相机融合的策略,以Faster RCNN算法为基础,从改进网络结构、特征融合、优化模型训练等方面展开研究,对复杂环境下的行人检测与定位跟踪展开研究,提出一种基于图像融合技术和改进的深度卷积神经网络的道路行人目标检测算法。实验结果表明,该算法对复杂气候环境下行人目标检测提高了检测效率和准确率,增加了智能辅助驾驶汽车的安全性。

鲁棒车载热成像行人检测的感兴趣区域提取方法

现有的感兴趣区域(RoI)提取方法很难兼顾较高召回率和较少的RoI数量.为了降低计算开销和RoI数量,提高召回率,文中提出了适合车载热成像行人检测的RoI提取方法:首先,根据行人边缘特征存在的方向差异性判断图像中可能的行人竖直边缘,增强其幅值;接着,级联行人尺寸约束和自适应局部双阈值分割方法过滤滑窗产生的边界框,滤除大量的非行人边界框;然后,根据行人的轮廓特征,采用T型模板对过滤后的边界框进行得分评估,在保留可能的行人腿部信息的同时去除边界框内部的无关边缘;最后,利用行人的强尺寸约束重新排序RoI,以便在提取固定数量的RoI时能提高召回率.在热成像行人检测数据集SCUT DataSet上进行对比实验,结果表明:当每幅图像提取400个RoI时,文中方法的召回率达92%,比EdgeBox方法的召回率提高21%,计算时间减少了10%.

基于弱显著图的实时热红外图像行人检测

针对现有热红外图像行人检测方法在精度和速度方面存在的问题,提出一种基于弱显著图的实时行人检测方法。该方法以轻量级LFFD(Light and Fast Face Detector)网络为基础,由两级改进网络即SD-LFFD(Saliency Detection-LFFD)和SF-LFFD(Saliency Fusion-LFFD)组成,首先以热红外图像作为输入经SD-LFFD网络产生初步行人检测结果和行人区域弱显著图,接着将该弱显著图与原热红外图像结合“点亮”潜在行人区域并经SF-LFFD网络产生新的行人检测结果,最后将两级改进网络的行人检测结果融合得到最终结果。在数据集CVC-09和CVC-14上实验结果表明,该方法与现有轻量级神经网络相比行人检测的平均精确率有大幅提升,且在有限硬件资源下可实现实时检测。

深度显著图增强热红外图像行人检测

针对行人检测器热红外图像表现不佳的问题,提出了一种深度显著性增强技术来增强热红外图像中的行人目标的算法,以提升行人检测器性能。在热红外图像上,使用深度学习技术生成包含行人目标的显著图;将生成的显著图与对应的热红外图像进行像素级加权融合,生成新的增强热红外数据集;将检测器分别在原热红外数据集和增强热红外数据集上进行训练。实验结果表明,使用本方法得到的查准率和查全率白天最高,与原热红外数据集检测结果相比,分别提高了3.97%和6.05%,夜间最高分别提高了3.40%和5.23%。深度显著图作为一种注意力图像对提升热红外图像行人检测器的性能有显著作用。

一种轻量级网络模型的多尺度热红外行人检测方法

现有热红外行人检测算法存在网络参数众多、计算量大和小目标检测效果不佳的问题,针对这些问题,提出了一种轻量级行人目标检测算法。首先,该算法利用轻量级网络Resnext50作为骨干网络,实现检测网络的参数削减以及初始特征提取。其次,在模型中引入特征金字塔模块实现多尺度语义信息融合,并结合多尺度训练策略有效地提高了多尺度目标的检测效果。最后,在数据预处理部分引入图像原色填充策略,该策略有效地防止图像变换尺寸过程中出现的目标失真情况。在自建数据集和公开数据集上实验结果表明,此方法在速度和精度上均取得较好的性能,在自建数据集上mAP达到94.49%,比原SSD高出0.53%,而参数量少了近39%。

基于多任务学习框架的红外行人检测算法

与高质量可见光图像相比,红外图像在行人检测任务中往往存在较高的虚警率。其主要原因在于红外图像受成像分辨率及光谱特性限制,缺乏清晰的纹理特征,同时部分样本的特征质量较差,干扰网络的正常学习。本文提出基于多任务学习框架的红外行人检测算法,其在多尺度检测框架的基础上,做出以下改进:1)引入显著性检测任务作为协同分支与目标检测网络构成多任务学习框架,以共同学习的方式侧面强化检测器对强显著区域及其边缘信息的关注。2)通过将样本显著性强度引入分类损失函数,抑制噪声样本的学习权重。在公开KAIST数据集上的检测结果证实,本文的算法相较于基准算法RetinaNet能够降低对数平均丢失率(MR^(-2))4.43%。

概率图车载热成像行人检测RoIs提取方法

道路场景复杂、热成像纹理信息较少以及图像品质不稳定,RoIs提取面临挑战.阈值分割RoIs提取更多关注行人局部细节和像素间邻域关系,容易产生行人遗漏、背景粘连和行人断裂,且很难控制RoIs总量.模拟人类视觉,关注图像显著性区域及其位置和大小,提出概率图RoIs提取方法,设计凸-凹形曲线映射像素灰度值增强图像对比度;基于图像签名方法获取显著性图.融合灰度强度和显著性概率图并从中提取图像前景;设计算法搜索路面估计限定的概率图区域生成RoIs.实验表明,相对阈值分割,本文方法能够提高RoIs定位准确度、控制RoIs总量和显著减少非行人RoIs;提取等量单帧RoIs,召回率提高不低于9%.

行人热成像检测在交叉口信号配时优化中的应用研究

为最大限度的减少绿灯时车辆无谓的等待,提高交叉口整体运行效率,通过内嵌热成像传感器的视频检测技术用于交叉口行人过街检测,以宛平南路—中山南二路为应用示范交叉口,研究了交叉口行人和车辆排队检测的组合式布置,提出了基于行人和右转车请求的信号控制逻辑关系,制定了交叉口信号控制分级响应方案。经现场实施验证,可以有效地减少行人/非机动车对进口右转车辆的干扰,提高右转车的通行能力。

复杂热红外监控场景下行人检测

目的复杂热红外监控场景中的行人检测问题是计算机视觉领域的重要研究内容之一,是公共安全、灾难救援以及智慧城市等实际应用中的重要基础任务。现今的热红外行人检测算法大多依据图像中人体目标的灰度值高于场景环境这一假设,导致当环境温度升高热红外图像发生灰度值反转时行人检测率较低。为提高行人检测系统在不同场景中的鲁棒性以及行人目标检测率,提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法。方法该算法首先对热红外图像进行基于频域的显著性检测,生成对行人目标全覆盖的显著图;然后结合热红外原图像生成感兴趣区域图作为输入,以行人目标概率图为输出,搭建全卷积网络;最后,对热红外行人检测系统进行端对端训练,获取网络输出的行人目标概率图,进而实现行人目标检测。结果论文使用俄亥俄州立大学建立的红外视频数据集OTCBVS中的OSU热红外行人数据库对算法进行验证,与目前5种较为成熟的算法进行对比。实验结果表明,本文算法可以在各种场景中准确检测出行人目标,以MR-FP(丢失率—假阳率)为对比依据,本文算法7%的平均丢失率低于其他算法,具有更高的检测率,对热红外图像中的灰度值反转问题具有更好的鲁棒性。结论本文提出一种面向热红外监控场景的基于频域显著性检测的全卷积网络行人目标检测算法,在实现检测算法端对端训练的同时,提高了其对各种复杂场景的鲁棒性以及行人目标检测率,提升热红外监控系统中行人目标检测性能。

基于移动平台热成像的行人检测随机蕨分类器

傍晚至清晨的照度低,成为交通意外、安全事故、犯罪事件的高发时间段。将适用于低照度环境下的热成像摄像机安装于移动平台,实现了监控区域的扩展。首先框选热成像图片中的行人及背景区域,然后提取亮度特征和方向中心对称-局部二值模式纹理特征进行随机蕨分类器的训练及分类;利用检测到的目标扩展训练样本库,更新分类器的后验概率分布,实现了分类器的在线自主学习。通过仿真测试,得到该算法对车载视频的运算速度为242.18s,误检率为9.53%;对无人机视频的运算速度为14.93s,误检率为4.52%。该算法的误检率低、分类速度快、便于移植,适用于对实时性要求较高的应用场合,具有一定的实际工程意义。