基于深度学习的分层关联多行人跟踪

由于连续帧之间数据关联的不确定性和所提取外观特征的鉴别力不足,多目标跟踪容易受目标外观变化、运动状态变化、相似目标以及目标消失再出现等干扰因素的影响,出现轨迹ID变换的问题,从而限制基于轨迹分析的行为检测、姿态识别等研究的性能。为了提高数据关联的可靠性从而减少轨迹ID变换,提出了一种基于轨迹置信度的分层数据关联方式。同时,为了提高用于数据关联的外观特征的鉴别力,提出融合了过程层的特征提取网络。在公开的MOT16测试数据集上验证表明,该算法在保证跟踪准确度和精确度的同时,有效降低了轨迹ID变换的次数,提高了跟踪性能。

基于中心点检测和重识别的多行人跟踪算法

在基于视频的多目标运动跟踪中,目标检测和重识别具有很强的相关性。目前常将目标检测和重识别网络分别进行训练和使用,因此实时跟踪速度不能达到要求。针对多目标跟踪(multiple object tracking,MOT)中行人身份切换和跟踪丢失问题,将行人重识别模块进行遮挡优化并嵌入行人检测网络,由此提出了一种基于中心点检测和重识别的多行人跟踪算法。首先建立了行人运动模型,通过中心点检测得到行人最优状态估计;然后根据深层特征融合的行人重识别模型,利用马氏距离和余弦距离增强行人身份辨别能力;最后利用匈牙利算法进行在线数据关联,同时利用卡尔曼滤波剔除不准确的结果,对未关联的丢失目标做运动预测。利用所提算法和其他跟踪算法分别在MOT15、MOT16、MOT17数据集上进行多行人跟踪对比实验,结果表明,所提算法的多目标跟踪精度(multiple object tracking accuracy,MOTA)分别为63.5、72.4、70.9,正确识别的检测和计算的检测数的比值(identity F1-measure,IDF1)最优,且保证了实时跟踪速率,验证了所提跟踪算法的有效性。

基于深度学习和特征信息关联的多行人目标跟踪算法

多行人目标跟踪是智能安防监控系统的关键技术之一,其跟踪准确度的高低直接关系到监控系统的效果。针对复杂监控场景下多行人目标跟踪困难的问题,提出了一种YOLOv3网络模型与SORT跟踪算法相结合的鲁棒跟踪方法。通过简化网络模型输出以提高模型效率,对YOLOv3模型针对行人检测数据集进行重新训练。为了避免因长时间遮挡导致的目标跟踪失败,设计行人重识别网络(Re-ID)来提取目标表征特征,并通过计算特征向量的余弦距离来判别帧间行人目标的关联程度。实验结果表明,文中设计的改进YOLOv3检测器使行人检测率有明显的提高,提出的行人目标跟踪算法有效提高了跟踪效果,在MOT16数据集上的跟踪准确率和跟踪精准率相比于SORT算法分别提高了15.72%和3.14%。

基于道路环境上下文的行人跟踪方法

针对目前城市交通中人车混行场景中行人跟踪效果不佳的问题,提出了一种基于道路环境上下文的行人跟踪方法。首先通过对道路环境上下文进行分析,建立道路模型;其次在道路模型的约束下建立行人与环境的交互运动模型;最后利用该模型进行行人的跟踪。在真实场景中的实验表明使用了道路上下文信息的跟踪方法与连续离散连续能量最小化的多行人跟踪方法相比,多目标跟踪准确度从47.6%提升至63.2%,多目标跟踪精度从68.8%提升至74.3%。数值结果表明道路上下文信息对于提高人车混行场景中行人跟踪效果的有效性。

第一人称视角下的社会力优化多行人跟踪

目的多行人跟踪一直是计算机视觉领域最具挑战性的任务之一,然而受相机移动、行人频繁遮挡和碰撞影响导致第一人称视频中行人跟踪存在效率和精度不高的问题。对此,本文提出一种基于社会力模型优化的第一人称视角下的多行人跟踪算法。方法采用基于目标检测的跟踪算法,将跟踪问题简化为检测到的目标匹配问题,并且在初步跟踪之后进行社会力优化,有效解决频繁遮挡和碰撞行为导致的错误跟踪问题。首先,采用特征提取策略和宽高比重新设置的单步多框检测器(single shot multi-box detector,SSD),对输入的第一人称视频序列进行检测,并基于卷积神经网络(convolutional neural network,CNN)模型提取行人的表观特征,通过计算行人特征相似度获得初步的行人跟踪结果;然后,进行跟踪结果的社会力优化,一是定义行人分组行为,对每个行人跟踪目标进行分组计算,并通过添加分组标识,实现同组行人在遮挡的情况下的准确跟踪;二是通过定义的行人领域,对行人分组进行排斥计算,实现避免碰撞后的准确跟踪。结果在公用数据集ETH(eidgenssische technische hochschule)、MOT16(multi-object tracking 16)和ADL(adelaide)的6个第一人称视频序列上与其他跟踪算法进行对比实验,本文算法的运行速度达到准实时的20.8帧/s,同时相比其他准实时算法,本文算法的整体跟踪性能MOTA(multiple object tracking accuracy)提高了2.5%。结论提出的第一人称视频中社会力优化的多行人跟踪算法,既能准确地在第一人称场景中跟踪多个行人,又能较好地满足实际应用需求。

面向服务机器人的多行人检测与跟踪

服务机器人在给人提供帮助,带来生活便利的同时,需要检测并跟踪行人.然而,环境复杂,多个行人之间存在遮挡等问题,给行人的检测与跟踪带来了挑战.在行人检测方面,本文提出了最近邻方法融合激光人腿检测和Kinect人体检测的结果,有效改善了行人检测的精度和完整性.针对多行人跟踪,本文提出了一种改进的粒子滤波算法对行人的位置和速度进行了估计,克服了传统粒子滤波算法计算量大,重采样阶段粒子贫化的缺点.最后,在实际场景中采用改造的turtlebot机器人进行了测试,并进行了计算机可视化,实验结果证明本文提出的方法具有很好的准确性,实时性和鲁棒性.

一种视觉与惯性协同的室内多行人目标定位方法

多行人目标连续定位与跟踪是大型室内空间安全防护、应急疏散、位置服务等应用领域共同关注的问题。基于固定相机的视觉监测是室内空间人流探测与行人定位的重要方式。然而现有单目视觉行人探测存在行人漏检、易受视觉盲区影响、行人身份难以确定等问题。针对这些问题,提出了一种结合视觉信息与惯性信息的主被动协同定位方法。该方法首先利用视觉行人检测算法探测视频图像中的多行人目标位置,构建像素-世界坐标转换模型,实现行人的被动视觉探测与空间定位。同时,利用智能手机惯性传感器感知行人的运动行为。在此基础上,分别利用视觉和惯性特征构建行人运动行为特征序列,通过特征序列匹配实现多目标行人的身份匹配,以及视觉和惯性信息的协同定位。实验结果表明,所提出的视觉与惯性协同定位方法能够实现多行人目标的身份匹配,协同定位平均精度约为25 cm,能够显著提升单纯视觉被动定位的连续性,减少行人漏检和视觉盲区的影响。