深度学习与图像融合的行人检测算法研究

为解决智能辅助驾驶技术中可见光摄像机受光照和气候影响而导致行人目标识别困难的问题。通过研究图像融合技术,结合深度卷积神经网络,实现并改进了一种道路行人目标检测算法。方法是利用多源传感器图像融合技术,采用可见光相机与红外热成像相机融合的策略,以Faster RCNN算法为基础,从改进网络结构、特征融合、优化模型训练等方面展开研究,对复杂环境下的行人检测与定位跟踪展开研究,提出一种基于图像融合技术和改进的深度卷积神经网络的道路行人目标检测算法。实验结果表明,该算法对复杂气候环境下行人目标检测提高了检测效率和准确率,增加了智能辅助驾驶汽车的安全性。

轻量化智能汽车行人目标识别算法研究

为解决YOLOXs行人目标识别算法效率低、体积规模大的问题,采用轻量架构卷积神经网络替换主干网络,深度可分离卷积替换,特征增强网络中的3×3卷积层,提出轻量化增强网络,并应用于智能汽车行人目标识别试验。结果表明,轻量化增强网络模型能够在确保行人目标识别精度的基础上有效缩减参数量和所占内存,对参数缩减了44.1%,所占内存缩减了41.9%,该算法更适合于嵌入式与移动端设备的搭建,对智能汽车的开发具有一定的参考价值。

基于改进YOLOv5s的复杂环境行人检测模型

针对行人检测在复杂环境下存在的高误检率和丢失率问题,提出了一种基于YOLOv5s的改进模型YOLOv5s-RFDH。该模型在保留YOLOv5s基线网络的基础上,在特征提取和检测部分进行了优化改进,以提高行人检测在复杂场景中的准确性和鲁棒性。针对CrowdHuman数据集和WiderPerson数据集进行行人目标检测。以上数据集行人密集且存在大量遮挡,因此,采用了K-Means++聚类算法来重新聚类数据集以获取适合数据的锚框;引入感受野模块(Receptive Field Block,RFB)来进行特征提取,在不同分支中使用空洞卷积增加感受野从而提取更深层次的特征信息,并最终将这些特征融合在一起,提升了小目标行人的检测精度;解耦头可以解决目标检测中的尺度不变性问题,引入解耦检测头将分类和回归任务分离,从而能够更加准确地检测到不同尺度和大小的目标。在CrowdHuman数据集和WiderPerson数据集划分出的测试集上进行对比实验,结果表明,改进后的模型在检测准确率上得到提升,丢失率有所下降,在以上两个不同数据集上检测准确率分别提升1.4%和1.2%,丢失率分别降低2.0%和1.7%。

基于增强特征提取的森林遥感图像行人小目标检测网络

林业作业人员常常由于复杂地貌而面对坠落、森林火灾等威胁,卷积神经网络结合无人机巡查的方法已经成为主流防范、搜救措施,但遥感图片中的行人小目标有特征少、定位精度要求高以及极易受背景信息干扰的特点。为了能够使森林遥感图片行人小目标检测的精度达到预期,在YOLOv4方法的基础上针对上述特点设计了增强特征提取的目标检测网络(EFEN),通过构建感受野增强模块(RFBA)并结合CBAM注意力机制,在充分利用遥感图片中的丰富上下文信息之余,对相关信息进行动态选择,增强特征的表示能力;基于高斯分布思想,将归一化Wasserstein距离与CIOU结合,提出了一种新的损失函数(GKCLOSS),降低了小目标检测任务中对位置偏差的敏感性;引入一种自适应分割训练检测策略,平衡正负样本,提高目标检测的准确性,进一步提高了检测精度。以河北省张家口市崇礼区采集的无人机行人图像为研究对象,实验表明,EFEN框架在小目标检测方面优于现有的深度学习网络,在与SSD、YOLOv5、YOLOv7等算法比较中平均查准率(mAP)均有所提升,在上述数据集上,mAP高达39.10%,证明了此方法对行人小目标数据的有效性。

基于检测和重识别的无人机行人跟踪算法

将智能检测跟踪算法与无人机(UAV)的灵活性相结合是UAV应用的研究热点。针对UAV的视角及运动导致目标滑移和遮挡的问题,提出一种基于检测和重识别的UAV行人跟踪算法。对训练好的YOLOv5进行TensorRT加速,解决UAV计算资源有限的问题;以量化加速的目标检测算法与重识别算法为基础,构建行人跟踪算法框架;设计判定行人匹配度,完成行人匹配系统设计。仿真试验表明:训练后的YOLOv5和OSNet具备一定的精度,采用TensorRT加速后的YOLOv5网络在保证精度的情况下,帧率有了近50%的提升。飞行试验表明:所提算法在行人穿插及障碍物遮挡的情况下,可以实现对目标的稳定跟踪,具备一定的实用性和有效性。

基于多尺度特征融合的车辆及行人目标检测算法

针对道路交通环境复杂多样,车辆及行人检测易出现错检及漏检的问题,提出一种基于多尺度特征融合的车辆及行人目标检测算法YOLOv8-RC。首先,在基础网络YOLOv8的结构中引入RCS-OSA模块代替原有模块,对所提取的特征信息进行增强及融合,并引入轻量级上采样算子内容感知特征重组(CARAFE)代替原上采样算子,提高网络对全局多尺度信息的融合能力。其次,通过公开数据集及网络收集的方式构建了由6000张车辆及行人目标图片构成的检测数据集,并采用准确率、召回率、平均精度均值mAP50及mAP50-95对算法检测效果进行定量评价,相比于YOLOv8-N,YOLOv8-RC的精确率提升1.7百分点,召回率提升1.2百分点,mAP50提升0.9百分点,mAP50-95提升0.5百分点,证明了算法的有效性。

轻量型密集行人检测算法研究

针对当前密集行人检测任务中小尺寸目标多且密度大、检测精度低,参数量大且不便于部署的问题,基于YOLOv5算法提出一种改进的轻量级密集行人检测算法YOLO-GB。引入Ghost模块,形成轻量级主干网络,减少参数量和计算量,低成本提取图像特征。针对目标尺度变化大的问题,增加一个预测头来检测不同尺度目标,同时引入加权双向特征金字塔网络BiFPN增强特征融合,提升多尺度特征检测精度。最后使用Alpha-IoU替换CIoU作为边框回归损失函数,进一步优化检测精度。采用密集场景人体检测数据集CrowdHuman进行实验,结果表明,YOLO-GB的mAP50达到84.8%,相比YOLOv5s提高1.5%,参数量降低41.2%,模型大小降低39.6%,具有良好的检测精度与实时性。

一种面向自动驾驶路况的目标检测算法

为了对常见的行人和车辆进行检测,采用自行标注的数据集,通过基于faster regionbased convolutional neural network(RCNN)框架的算法进行调参与优化.主干网络采用轻量化网络MobileNetv2,在原生锚框的基础上,区域建议网络(RPN)部分增加2个面积尺度,检测部分使用感兴趣区域(ROI)Align结构,减少特征图映射和均分过程中的误差.实验结果表明:使用faster RCNN目标检测网络,可以有效完成行人和车辆的检测任务,整体效果良好.

基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少,传统行人检测模型对小目标检测效果较差的问题,提出一种基于消隐点性质,提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质,对图像中的多个目标进行复制;通过仿射变换投影到新的位置,生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构,融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络(GFF-neck),以融合全局特征.实验表明,在经过数据增强后的WiderPerson数据集上,改进算法对行人类别的检测AP值达到了79.6%,在VOC数据集上mAP值达到了80.2%.测试结果表明,当搭建实验测试系统进行实景测试时,所提算法有效提升了小目标行人检测识别精度,并满足实时性要求.

基于注意力机制的深度学习行人车辆检测方法

针对当前交通目标检测方法计算量大、检测精度低的问题,提出一种基于改进YOLOv5的行人车辆检测方法。使用CECA模块替换YOLOv5中的C3模块,并在Backbone结构中添加CBAM注意力机制,使得网络能够提高关键特征信息的权重,降低其他信息的关注度,使用双线性插值进行上采样,优化模型对于较小目标和被遮挡区域的检测性能,以提高检测结果的准确度。实验结果表明,YOLOv5-EC网络的平均检测精度比原始网络提升了1.12%,达到了92.63%,与同类型算法相比都有明显提高。实验结果证明了算法在小目标和遮挡情况下检测时更加有效、准确,因此更适合于实际交通场景中的目标检测任务。

基于YOLOv5算法的红外图像行人检测研究

目标检测是自动驾驶的重要前提,是与外界信息交互的重要环节。针对夜间远处行人检测识别精度低、漏检的问题,提出一种针对检测小尺寸行人的YOLOv5-p4的夜间行人识别模型。首先,通过增加更小目标的检测层,引入BiFPN特征融合机制,防止小目标被噪声淹没,使网络模型可以更聚焦于物体的细小特征;同时使用K-means先验框聚类出更小目标的锚框,并且使用了多尺度的数据增强方法,增加模型的鲁棒性。使用了MetaAcon-C激活函数与EIoU回归损失函数使模型收敛效果更好,提升了算法远距离行人的检测的准确率。最后在红外行人数据集FLIR上验证改进后的YOLOv5-p4模型对于行人的检测能力,实验结果表明该方法与传统方法相比,准确率从86.9%提升到90.3%,适合用于红外图像中的行人检测。

面向密集型场景的多尺度行人检测方法

针对目标检测算法对小目标行人识别率低、对监控远处视野目标检测精度不理想的问题,提出了改进YOLOv5高效多尺度特征利用的行人检测算法。首先,通过在原网络中改进高效的特征融合结构,提高模型对深层特征的感知力来提高模型精度;其次,采用Res2Net Block重构骨干网络,加强对细粒度特征信息的利用;最后,加入改进的空间金字塔注意力池化网络,强化模型的多层次特征表达能力。在CrowdHuman数据集进行训练和验证,YOLOv5-SA的平均检测精度达到了85.6%,相比原算法提高了3.8%,检测速度可以达到51 FPS(frames per second),识别精度和检测速度均具有较好的效果,可以有效应用于密集目标行人检测任务。

双目视觉辅助PDR的组合导航定位方法

为提高室内定位系统精度和跟踪性能以及适应复杂环境,将行人航迹推算(Pedestrian Dead Reckoning,PDR)与双目视觉组合,提出一种双目视觉辅助PDR的组合导航定位方法.该方法通过选取或布置地标建立了地标位置数据表;基于轻量化目标检测实现了对地标实时双目测距,保证定位的实时性;利用PDR位置信息得到检出地标类别对应坐标,基于因子图的协同定位和误差估计算法将双目视觉与PDR有效融合,提高了定位精度并抑制PDR累计误差,同时对PDR中航向和单参数模型中单位转换常数进行误差补偿,提高PDR定位精度.实验结果表明,在地标纹理清晰且分布合理情况下,该方法能有效解决室内复杂环境下单一PDR累积误差问题,此外,对航向和单位转换常数实时补偿可提高组合定位系统的定位精度和稳定性.

改进YoloV5的行人检测算法

针对在行人行进过程中出现拥挤、遮挡、目标尺寸小所导致的行人检测精度低和效果不佳等问题,通过修改YoloV5算法的backbone特征提取网络,加入注意力机制,优化后处理阶段的目标框选定方法等改进措施,提出一种基于YoloV5算法的YoloV5-PED改进算法。结果表明:与YoloV5算法相比,YoloV5-PED算法的平均精度均值(mAP)提升3.8%,验证该算法检测行人时具有良好的效果。

基于改进UpdateNet的行人视觉跟踪算法

目前,基于孪生网络的跟踪器主要是把跟踪过程看作是目标模板分支和待检测区域分支的一种互相关计算,它能够在速度和精度方面达到一个良好的均衡。然而,在跟踪过程中当前帧模板是对前一帧累积模板的线性结合,目标遮挡的问题一直很难被解决。针对该问题,本文采用改进SiamRPN跟踪器并融合UpdateNet网络的方案实现对行人单目标的跟踪。首先利用改进SiamRPN网络模块生成线性模板,然后在此基础上融合UpdateNet网络生成更新模板并进行多阶段训练,最后根据数据集的评价指标选取最优参数模型完成行人跟踪任务。本文在基准数据集OTB2015和其子集上进行实验,实验结果表明,本文所采用的方法取得的效果相比原来方法有明显提升,精度和成功率分别提高2.1和1.6个百分点,而且保持了实时跟踪帧率,同时在解决遮挡问题方面超过了DaSiamRPN、SiamDW等先进方法.

基于改进YOLOv4的小目标行人检测算法

行人检测在无人驾驶环境感知领域具有重要应用。现有行人检测算法多数只关注普通大小的行人目标,忽略了小目标行人特征信息过少的问题,从而造成检测精度低、应用于嵌入式设备中实时性不高等情况。针对该问题,提出一种小目标行人检测算法YOLOv4-DBF。引用深度可分离卷积代替YOLOv4算法中的传统卷积,以降低模型的参数量和计算量,提升检测速度和算法实时性。在YOLOv4骨干网络中的特征融合部分引入scSE注意力模块,对输入行人特征图的重要通道和空间特征进行增强,促使网络学习更有意义的特征信息。对YOLOv4颈部中特征金字塔网络的特征融合部分进行改进,在增加少量计算量的情况下增强对图像中行人目标的多尺度特征学习,从而提高检测精度。在VOC07+12+COCO数据集上进行训练和验证,结果表明,相比原YOLOv4算法,YOLOv4-DBF算法的AP值提高4.16个百分点,速度提升27%,将该算法加速部署在无人车中的TX2设备上进行实时测试,其检测速度达到23FPS,能够有效提高小目标行人检测的精度及实时性。

基于深度学习的行人目标检测与跟踪

传统的目标检测跟踪方法存在实时性低、准确性差等问题。采用TBD(Tracking by Detection)方式,基于目标检测算法YOLOv5和多目标跟踪算法DeepSort,提出一种深度学习的多目标检测与跟踪方法。通过K-means聚类算法得出最佳聚类anchor大小对输入的视频帧中不同大小的目标进行检测和跟踪。基于残差结构的卷积神经网络构建行人重识别网络,在Market-1501数据集上离线训练提取行人特征。实验结果表明,算法在Crowdhuman数据集的测试集上的检测精度可达83.6,验证了检测算法的准确性;将算法应用在连续的视频帧上,可为同一个目标分配并保持相同的身份ID,在保证跟踪实时性的同时,验证了算法的可行性。

基于改进YOLOv5的拥挤行人检测算法

针对密集场景下行人检测的目标重叠和尺寸偏小等问题,提出了基于改进YOLOv5的拥挤行人检测算法。在主干网络中嵌入坐标注意力机制,提高模型对目标的精准定位能力;在原算法三尺度检测的基础上增加浅层检测尺度,增强小尺寸目标的检测效果;将部分普通卷积替换为深度可分离卷积,在不影响模型精度的前提下减少模型的计算量和参数量;优化边界框回归损失函数,提升模型精度和加快收敛速度。实验结果表明,与原始的YOLOv5算法相比,改进后YOLOv5算法的平均精度均值提升了7.4个百分点,检测速度达到了56.1 f/s(帧/秒),可以满足密集场景下拥挤行人的实时检测需求。

基于Mobilenetv2-YOLOv4模型的行人车辆检测算法

无人驾驶关键技术不断突破,并在更多场景中得到应用。研究车辆行人自动化检测算法具有十分重要的意义。为了提升系统的检测效果,解决因目标物体尺寸太小、目标遮挡以及复杂环境等因素影响所导致的检测精度不高的问题,提出了一种改进的YOLOv4模型对数据集进行训练,采用轻量化网络Mobilenetv2代替YOLOv4中原有的主干网络,以此获取有效特征层,降低原有网络的运算量和参数量。实验结果表明,改进的Mobilenetv2-YOLOv4模型可以达到40.76%的平均精度,每个epoch的学习时间仅约12 min,既保证了识别精度又提高了检测速度。

基于改进DeepSort的行人跟踪方法研究

为了提升复杂场景下摄像头跟踪行人的稳定性,满足对实际行人跟踪的需求,通过YOLOv5检测器检测视频中的行人,结合改进的DeepSort算法,对行人跟踪的方法进行研究。优化行人重识别网络,通过迭代深度融合(Iterative Deep Aggregation, IDA)的方式融合灰度和RGB特征,降低了模型的误差率;改进级联匹配中余弦矩阵的计算方式,分别计算灰度特征和融合特征的余弦距离矩阵,加权得到新的余弦矩阵,减少了DeepSort算法在跟踪时目标丢失的现象。实验结果表明,改进的重识别网络相对于传统DeepSort算法中运用的八维残差网络的误差率降低6.391%。相对于传统的DeepSort算法,结合了改进重识别网络和改进余弦矩阵的DeepSort算法的多目标跟踪精度(Multiple Object Tracking Accuracy, MOTA)和平均数比率IDF1指标分别提升了0.9%和8.1%。