高速场景下一种多传感器多目标检测跟踪系统的评价方法

多源传感器融合感知结果的有效评估是自动驾驶的重要组成部分,对系统性能的优化、迭代和升级具有至关重要的作用。本文系统阐述了典型的多传感器多目标检测和跟踪系统的算法框架,并提出了一种以人工标注的激光雷达数据作为真实值的评估方法。通过该评价方法,使用在高速公路路况下采集的数据,实际评价了一个基于相机和毫米波雷达的检测和跟踪系统,获得了详实的测试数据,证明了该评价方法对于系统的改进具有指导意义。

一种多目标检测跟踪算法研究

针对多目标跟踪领域中现有研究方法存在的实时性差、易漂移等问题,基于YOLOv3算法和KCF算法,提出了一种多目标检测跟踪算法。首先,利用训练好的YOLOv3网络获取视频中目标的位置,并对各个目标进行ID分配;其次,将多个目标并行输入到基于核相关滤波的跟踪模块进行目标跟踪;然后,判断是否满足启动修正策略的条件,若满足则用检测模块的结果去修正跟踪模块的结果;最后,利用跟踪结果更新核相关滤波器模型。实验结果表明,将算法应用于OTB2015数据集中的4组含有多种干扰的视频序列,其跟踪精确度达82.4%,跟踪成功率达81.1%,能够满足跟踪实时性要求。因此,所提算法不但有效,且具有更强的鲁棒性,为多目标跟踪领域提供了新的研究思路。

基于路侧激光雷达的多目标检测与跟踪算法

为了检测与跟踪城市交叉口复杂环境下的道路目标,提出一种基于路侧激光雷达的多目标检测与跟踪算法。首先利用背景减除法滤除背景点云,随后融合5帧点云并利用曲率体素聚类算法检测目标得到3 D包围盒信息,之后通过自适应阈值的双门控和生存周期管理策略,有效提升关联精度并减少了目标丢失和误检,最后利用交互式多模型无迹卡尔曼滤波(IMM-UKF)和联合概率数据互联(JPDA)的融合算法完成道路目标的跟踪。试验结果表明,该算法在保证检测和跟踪性能基础上满足实时性要求,具有工程实用价值。

基于序贯蒙特卡罗概率假设密度滤波的多目标检测前跟踪改进算法

实现目标数目未知且可变条件下的多目标检测与跟踪是个极具挑战性的问题,在信噪比较低的情况下更是如此。针对这一问题,该文提出一种基于点扩散模型的多目标检测前跟踪改进算法。该算法在序贯蒙特卡罗概率假设密度(SMC-PHD)滤波框架下实现,通过自适应粒子产生机制完成新生目标在像平面中的初始定位,并根据目标在图像中可能出现的位置对全体粒子集进行有效子集分割和快速权值估算,最后利用动态聚类方法完成多目标状态的准确提取。仿真结果表明,该方法有效改善了多目标检测前跟踪的估计性能,并大大提高了算法执行效率。

雷达与ESM综合多目标检测、跟踪与识别

为在预警监视系统中对多目标的检测、跟踪、识别过程进行统一处理,提出一种基于跳转马尔可夫系统模型高斯混合概率假设密度滤波(jump Markov system model Gaussian mixture probability hypothesis density filtering,JMS-GMPHDF)算法的雷达、电子支援措施(electronic support measures,ESM)综合多目标检测、跟踪与识别方法。该方法首先根据不同类别目标设计各自的多目标多模型高斯混合概率假设密度滤波器,并在各滤波器处理过程中同时对高斯项进行编号;然后,根据目标速度与加速度模型信息进行高斯项综合与类别判决,同时根据ESM测量信息进行型号判决;最后,通过航迹综合管理,形成具有运动状态信息以及类别、型号、航迹编号信息的确定航迹。仿真实验验证了该方法能够有效综合雷达、ESM测量数据,在进行多目标检测、跟踪的同时进行正确的类别、型号判决,并形成确定航迹。

基于PHD的多目标检测前跟踪改进方法

基于概率假设密度粒子滤波的多目标检测前跟踪方法(PF-PHD-TBD)存在目标数目估计不准确、状态估计精度不高等问题。借鉴Rao-Blackwellised粒子滤波(RBPF)将目标的状态空间进行降维分解,分别采用线性与非线性滤波器进行跟踪的思想,在PF-PHD-TBD的预测与更新过程中采用RBPF方法,以最优卡尔曼滤波对目标速度分量进行处理,以粒子滤波对位置分量进行处理,显著降低了运算复杂度,相比仅使用粒子滤波时过分依赖目标位置信息的缺点,充分利用了位置与速度之间的关联特性,提高了目标数目估计的准确度和状态估计的精度。最后用仿真实验验证了所提方法的有效性。

基于高斯金字塔与差分法的多目标检测和跟踪算法

针对复杂背景下的多目标检测和跟踪问题,提出了将背景差分目标检测算法与高斯金字塔图像重采样相结合的运动目标检测算法.该算法采用高斯金字塔法对图像进行重采样,建立背景模型,使用背景差分法获得前景区域,并对前景区域进行阴影检测、去除,从而检测出完整目标.融入了高斯模型关于背景更新的算法,克服了由于背景突然改变而造成的误检测.在目标阈值的确定过程中,采用动态阈值确定法,以提高目标检测的正确性.同时将目标的颜色特征和运动矢量引入到多目标跟踪算法中,提高目标跟踪的准确性.实验结果表明,该算法对于场景中存在目标频繁出现、消失、交叉运动和遮挡等情形均有较好的检测与跟踪效果.

基于雷达测量的多目标联合检测、跟踪与分类方法

利用雷达测量中的目标速度、加速度等属性信息,基于跳转马尔科夫系统模型高斯混合概率假设密度滤波算法,提出了一种多目标联合检测、跟踪与分类方法.该方法在进行雷达多目标测量信息处理的多模型混合高斯概率假设密度滤波过程中,对各高斯项编号,进行航迹提取,在滤波处理的同时形成带有航迹编号的明确航迹,并进行航迹管理;同时,根据目标运动模型,联合利用目标加速度控制输入与速度估计进行多目标分类.仿真试验验证了该方法能够在检测、跟踪的同时,对目标航迹进行有效类型识别.

井下矿工多目标检测与跟踪联合算法

针对现有的煤矿井下矿工多目标跟踪算法检测速度慢、识别精度低等问题,提出了一种基于改进YOLOv5s模型与改进Deep SORT算法的多目标检测与跟踪联合算法。多目标检测部分,在YOLOv5s的基础上进行改进,得到YOLOv5s-GAD模型:引入幻象瓶颈卷积(GhostConv)模块和深度可分离卷积(DWConv)模块,分别替换YOLOv5s模型骨干网络和路径聚合网络中的BottleneckCSP模块,以提高特征提取速度;针对井下光线暗、图像噪点多等特点,在最小特征图中引入高效通道注意力神经网络(ECA-Net)模块,以提高模型整体精度。多目标跟踪部分,使用全尺度网络(OSNet)替换Deep SORT中的浅层残差网络进行全方位特征学习,以更好地实现行人重识别,提高目标跟踪的准确性。实验结果表明:在自定义数据集Miner21上,YOLOv5s-GAD模型的平均精度(交并比为0.5时)达97.8%,帧率达140.2帧/s,多目标检测效果优于常用的Faster RCNN,YOLOv3,YOLOv5s模型;在公开行人数据集MOT17上,多目标检测与跟踪联合算法的速度与准确率等综合性能优于IOU17,Deep SORT等常用多目标跟踪算法,人员身份转换次数最少,行人重识别效果最好;采用井下矿工多目标检测与跟踪联合算法能够及时检测并跟踪井下矿工,多目标跟踪效果良好。

基于SDAE深度学习的多目标检测与跟踪研究

运动目标的检测与跟踪是智能交通、智能监控等领域的重要组成部分,尤其是行人、车辆的检测与跟踪,对于行人行车安全、流量监控等都有着重要的意义。由于复杂交通场景中多目标检测与跟踪的难度较高,人工设计的目标特征无法满足复杂的多目标检测与跟踪。因此,本文提出一种基于堆栈式去噪自编码器深度学习框架的多目标检测与跟踪算法,利用海量的图片数据集训练深度学习模型,提取目标深度特征,用于多目标检测与跟踪。实验结果表明,基于堆栈式去噪自编码器深度学习框架的多目标检测与跟踪算法,提高了多目标检测的准确性,实现了更加鲁棒的多目标跟踪效果。

基于DM6446的多目标运动检测与跟踪系统

针对视频监控领域面对的运算量大,实时性要求高的情况,依靠达芬奇双核（ARM＋DSP）处理芯片的高性能,设计了1个多目标的运动检测与跟踪系统。硬件系统围绕TMS320DM6446进行设计与实现,软件部分在Linux系统下实现了视频的采集,播放,运动目标的检测与跟踪。ARM端采用多线程处理方式,DSP端运行核心算法。算法采用了灰度空间与彩色空间、三帧差分与背景减法相结合的方式进行运动目标检测;跟踪部分采用动态权重系数的多特征融合匹配,最小二乘法预测形心的跟踪算法。经过实验表明系统检测与跟踪效果良好,实时性强,能够满足实时的对视频图像进行采集与处理的要求。

基于DM6446的多目标运动检测与跟踪系统

针对视频监控领域面对的运算量大,实时性要求高的情况,依靠达芬奇双核(ARM+DSP)处理芯片的高性能,设计了1个多目标的运动检测与跟踪系统。硬件系统围绕TMS320DM6446进行设计与实现,软件部分在Linux系统下实现了视频的采集,播放,运动目标的检测与跟踪。ARM端采用多线程处理方式,DSP端运行核心算法。算法采用了灰度空间与彩色空间、三帧差分与背景减法相结合的方式进行运动目标检测;跟踪部分采用动态权重系数的多特征融合匹配,最小二乘法预测形心的跟踪算法。经过实验表明系统检测与跟踪效果良好,实时性强,能够满足实时的对视频图像进行采集与处理的要求。

基于全方位视觉的多目标跟踪技术

为了快速准确地检测并跟踪多目标对象,提出了一种基于全方位视觉的多目标对象跟踪方法.首先采用全方位视觉传感器(ODVS)实时地采集现场360°全景视频图像;接着融合运动历史图像算法(MHI)和运动能量算法(MEI)实现了快速高效的MHoEI(Motion History or Energy Images)自动跟踪算法,对多目标对象进行检测和跟踪;最后,本文采用面向对象技术融合目标对象进行匹配跟踪实验结果表明本文提出的方法能较好地跟踪多目标对象,具有鲁棒性高、运算量小、便于硬件实现、高效等优点.

基于YOLO网络和小波降噪的视频车辆跟踪测速优化

为获取准确有效的交通动态信息,提出一种源于YOLOv5的多目标检测算法,并融入注意力模块改进网络,结合DeepSORT实现长时间跟踪,同时运用摄像机标定方式获取真实运动轨迹。针对复杂环境下噪声等导致的测速质量下降问题,对原始车辆轨迹信号运用小波阈值降噪算法来减少噪声,降噪后的车速波动范围更小,车速标准差最高降低了44%,信噪比最高提升了2.37倍,速度相较降噪前更稳定,表明利用小波滤波对轨迹信号降噪可以大幅提高车速测量的质量,使得后续对交通车辆行为的判定分析更为精准。

多摄像机之间基于区域SIFT描述子的目标匹配

提出了一种多摄像机之间的目标匹配方法,摄像机可以带有云台.该方法是基于区域的方法,但是区域的特征以SIFT描述子而不是通常的颜色来描述,同时目标的检测使用减背景技术,目标跟踪则选用粒子滤波.该文的匹配方法不需要摄像机之间的合作,也不要求目标物体处于同一地平面.文中方法的主要特点还表现在:(1)无几何约束的需求,同一目标物体的背景完全切换后,也可以进行匹配;(2)可以匹配各种类型的目标物体;(3)摄像机在目标跟踪期间可以简单运动(通过云台);(4)适合分布式计算,但也可以集中式处理;(5)容忍亮度的变化.实验结果证明作者的方法是有效的.

一种基于贪心搜索的实时多目标遮挡处理算法

提出了一种固定摄像机遮挡条件下的多目标跟踪算法,包括基于区域相关的运动前景分割、基于合并–分裂检测的数据关联和基于贪心搜索的遮挡目标定位三部分.该算法的主要特点表现在:1)将遮挡条件下的目标跟踪问题转化为一个已知目标数量和特征的图像分类问题;2)用贪心搜索和积分图算法快速定位遮挡中的目标,保证了算法的实时性;3)对目标数量无约束,能够处理多目标相互遮挡下的跟踪问题(发生遮挡的目标数量大于等于2),且对目标的遮挡程度和目标运动模式无约束,具有良好的可扩展性.采用手工标定的IBM多人遮挡数据库的测试结果证明了算法的有效性.

ADAS系统视觉与毫米波雷达分布式抗差卡尔曼滤波融合算法

自动驾驶车辆常常利用多传感器对周围目标进行检测和跟踪,但受限于传感器多源异构特性和复杂多变的驾驶环境,准确的多目标检测和跟踪仍是实现自动驾驶的一大困难和挑战。本文面向高级驾驶辅助系统(ADAS)的多目标检测与跟踪任务,采用了基于1个视觉传感器和5个毫米波雷达(1V5R)的传感器配置方案,且设计了基于分布式抗差卡尔曼滤波器的多传感器信息融合算法以实现对周围目标的准确感知。首先,针对不同传感器数据特征,采用不同的线性卡尔曼滤波器和扩展卡尔曼滤波器进行数据融合,并基于分布式卡尔曼滤波建立了1V5R多传感器信息融合框架。其次,为降低传感器动态误差对于融合精度的影响,在卡尔曼加权观测融合的基础上,引入抗差估计方法,实现了对传感器动态误差的实时估计和修正。最后,通过离线仿真和实车道路试验对所提出的基于分布式抗差卡尔曼滤波的多传感器融合算法进行了验证。试验结果表明,与单一传感器的测量值相比,所提出的算法能有效融合多个传感器的信息以提升目标的检测与跟踪精度,且鲁棒性较好。

复杂环境中的无人车多传感器紧耦合SLAM方法

提出了一种多传感器信息紧耦合的无人驾驶车辆SLAM方法—Ligom,此方法在复杂环境中,可以实现无人驾驶车辆状态的实时估计与环境地图的构建。Ligom基于迭代扩展卡尔曼滤波(iEKF)理论设计,融合了惯性测量单元(IMU)、全球导航卫星系统(GNSS)、激光雷达(Lidar)与相机(Camera)等不同传感器。首先利用IMU预测车辆的先验状态与消除点云畸变,并使用滑动窗口方法保存点云特征以提高点云匹配精度;然后,通过对GNSS信息作初始化与坐标系变换,分别完成滤波更新得到后验状态;最后在后端环节引入关键帧进行状态优化与反馈更新,构建全局环境点云地图。此外,利用Camera-Lidar联合检测的多目标检测与跟踪算法,完成全局桩桶地图的构建。Ligom在四个不同平台与环境采集的数据集上进行了充分验证。

毫米波宽带相控阵导引头关键技术综述

毫米波宽带相控阵导引头技术是目前世界各国的研究热点。其威慑力决定于它的"快、远、精、多"能力,即快速性、远距探测能力、精度和多目标能力。毫米波宽带相控阵导引头采用电扫描技术,具备快速性;采用毫米波宽带成像技术,能对目标进行准确跟踪拦截,实现精确制导;采用有源阵列天线技术,可以得到较大的合成功率,增加导引头的远距离探测能力;快速灵活的波束控制使得导引头具有检测与跟踪多目标的优势。在分析了毫米波宽带相控阵导引头技术研究现状和基本特点及优势的基础上,主要对有源阵列天线技术、宽带毫米波成像技术、空时自适应处理技术及多目标检测与跟踪技术等毫米波宽带相控阵导引头的关键技术进行了初步探讨。

车路协同系统可用技术分析

本文针对车辆自身的主动周边障碍物感知会受到感知距离、恶劣天气、障碍物等影响的情况,提出了对实现该功能技术领域中可行性较高的技术,例如利用多种技术融合,包括基于模式识别与视觉跟踪的多目标识别与跟踪、基于重识别的目标跨相机接力跟踪、基于地理位置的空间映射、基于道路的语义分割等,补充单车智能的不足,不受限于车身传感器和视野范围,感知远距离障碍物和盲区预警,利用场区摄像头辅助保障行车安全。在工业作业区域,安全是第一要务,结合本身场区规范化的无人车IGV使用等优势,可以落地并投入使用,促进工业进一步发展。