动态场景下基于3D多目标追踪的实时视觉SLAM方法研究

近年来一些解决动态场景下的SLAM技术被提出,其中SLAM与MOT结合的技术路线不仅可解决动态场景问题,还可以提高系统对周围场景的理解,获得了更大关注。本文介绍了一种高效的实时在线视觉SLAMMOT融合系统,以双目视觉或RGBD作为输入,只须借助2D目标检测网络,便能高效、准确、鲁棒地跟踪相机以及动态目标的位姿,并生成稀疏点云地图。为提高多动态目标追踪的精度与准确度,引入了级联匹配与IOU匹配结合的策略;利用阿克曼转向模型来简化追踪目标的运动,减少求解动态目标位姿所需匹配点的数量;利用因子图将相机与动态目标的追踪结果进行联合优化,同时提高相机、追踪目标的位姿和地图点的精度。最后在KITTI跟踪数据集上与其他方法进行比较。结果表明,在满足实时性要求的前提下,该方法仍能准确地追踪相机以及动态目标位姿。

面向三维多目标追踪的运动补偿优化方法

三维多目标追踪是自动驾驶系统中的关键模块之一,其结果的优劣主要取决于追踪模块中数据关联过程的准确度.现有的追踪方法大多从外观特征或运动特征出发计算两帧之间物体的相似度,而基于运动特征的方法通常根据当前帧和历史帧三维包围框之间的交并比(Intersection over Union,IoU)进行关联,然而这种方式在观测点物体自身运动时存在严重缺陷.在观测点物体自身进行运动时,观测到的两帧数据将处于不同的局部坐标系,导致无法使用运动模型准确预测已追踪物体在下一帧中的位置.本文针对上述问题,通过引入观测点自身的惯性测量单元(Inertial Measurement Unit,IMU)或全球定位系统(Global Positioning System,GPS)数据,在一帧数据到达之后计算当前帧局部坐标系与上一帧局部坐标系之间的旋转和平移关系,并对已追踪的物体状态按得到的坐标变换关系进行运动补偿,使其抵消因观测点自身运动造成的偏移量.这种运动补偿增强了追踪模块的数据关联环节,提高追踪时三维包围框的关联成功率,降低误关联数量,改善三维多目标追踪的精度.在相关追踪框架及KITTI数据集上的原型验证表明,所提的运动补偿优化方法实现了1%左右的精度提升.

竞技体育领域多目标追踪任务研究进展

多目标追踪(MOT)任务作为研究动态场景下视觉信息加工机制的重要实验范式,不仅揭示了运动员在实际比赛中视觉信息的加工机制,而且对于运动员开展认知训练具有现实指导意义。本文就多目标追踪任务在竞技体育领域中的研究成果进行系统综述,总结经典MOT任务、3D-MOT任务以及脑机制研究现状,同时也针对当前研究中存在的问题和未来可能的应用前景进行了深入分析,以期为竞技体育领域的后续研究和认知训练提供借鉴参考。主要结果:(1)追踪负荷、干扰负荷和运动速度是影响运动员操作绩效的主要因素,运动水平与运动员的MOT任务操作绩效之间存在相关关系。(2)3D-MOT训练能改善运动员的注意力、加工速度等基本认知功能,也开始通过测量运动员的认知功能、模拟真实运动场景以及监测运动员受伤后脑震荡恢复情况的方式付诸于实践。3D-MOT任务已应用于测量运动员的认知功能、模拟真实运动场景以及监测运动员受伤后脑震荡恢复情况。(3)有关MOT任务脑机制的研究,竞技体育领域处于摸索阶段;有关3D-MOT任务脑机制的研究,尚未见报道。(4)未来竞技体育领域还需追求研究设计的生态学效度,验证3D-MOT训练的远移效应,探究行为背后的脑机制。

基于卡尔曼滤波多目标追踪的家用精子活力检测算法研究与验证

针对传统精液分析方法存在的主观性差异、操作繁琐和不适合便携式家用检测等问题,研究并验证了一种基于卡尔曼滤波多目标追踪技术的精子活力检测系统算法.首先,通过叠加平均法,获取静态精子数量,根据三帧差法获取运动精子质心位置;然后,使用卡尔曼多目标追踪方法绘制运动目标轨迹,再根据筛选条件获取运动精子数量;最后,综合静态与运动精子数量评价精子活力.通过对实际采集的7组样本图像进行分析,研究结果表明:该系统所检测精子的活力值与人工检测的活力值相差较小,基本满足了家用精子活力检测的需求.

自动驾驶多目标追踪运动IMU局部信息补偿优化

多目标追踪是自动驾驶系统中的关键模块之一,其结果的优劣主要取决于追踪模块中数据关联过程的准确度。通过引入观测点自身的惯性测量单元(IMU)或全球定位系统(GPS)数据,在一帧数据到达之后计算当前帧局部坐标系与上一帧局部坐标系之间的旋转和平移关系,并对已追踪的物体状态按得到的坐标变换关系进行运动补偿,使其抵消因观测点自身运动造成的偏移量;这种运动补偿增强了追踪模块的数据关联环节,提高追踪时三维包围框的关联成功率,降低误关联数量,改善多目标追踪的精度;在相关追踪框架及KITTI数据集上的原型验证表明,所提的运动补偿优化方法实现了1%左右的精度提升。

基于Transformer的跨空间特征关联多目标追踪

多目标追踪算法在复杂场景中常会出现目标识别不精确与追踪效果差的问题,在追踪目标数量多且相互遮蔽情况严重的环境中追踪目标丢失现象更为明显。为此,提出一种基于Transformer跨空间特征关联的多目标追踪算法,利用Transformer结构提取全局特征与多头注意力机制的优势提升目标特征的提取能力。此外,为解决追踪目标之间相互遮蔽而导致的追踪目标丢失问题,利用互注意力机制映射追踪目标与干扰目标之间的特征进行增强与抑制,以提高追踪算法的准确性和可靠性;同时基于追踪目标与干扰目标之间的特征相似度确定特征增强与抑制的程度。在MOT16与MOT17数据集上进行实验,所提算法分别取得了58.81%和60.05%的多目标追踪准确性,相较其他主流算法性能更优。

视听通道双任务对多目标追踪的影响:干扰还是促进?

通过3个实验分别考察了视觉和听觉任务对同时进行的多目标追踪任务干扰程度的差异,以及当视觉与听觉任务的信息加工与多目标追踪的身份特征相一致时,视觉与听觉任务是否会对多目标追踪产生促进作用。在控制眼动的情况下,听觉任务对多目标追踪的干扰程度大于视觉任务;而在不控制眼动的情况下,听觉任务对多目标追踪的干扰程度小于视觉任务。说明多目标追踪过程既要占用编码阶段的视觉注意资源,又要占用中央加工阶段的中央注意资源。当视觉或听觉数字判断任务中的数字与多身份追踪任务中目标的数字身份相一致时,该相容性会对追踪表现产生促进作用并降低两任务间的干扰程度。这是由于追踪过程中目标的数字身份被储存在视觉工作记忆中,节约了用于数字加工的认知资源,从而促进了两项任务的表现。最后,对多目标追踪中的注意分配机制进行了讨论。

多目标追踪任务中不同运动方式非目标的抑制机制

采用多目标追踪范式结合点探测技术的方法,考察视觉系统对不同运动方式(静止和规则运动)非目标的抑制机制。实验一将部分非目标设置为静止,考察静止非目标的抑制机制;实验二将部分非目标设置为规则运动,以提高任务难度,考察规则运动非目标的抑制机制。结果发现:(1)实验一中静止非目标受到抑制,抑制量与运动非目标没有差异;(2)实验二中规则运动非目标受到抑制,抑制量显著小于随机运动非目标;(3)综合两实验发现,随着任务难度的提高,只有随机运动非目标的抑制量显著增加,而静止非目标与规则运动非目标的抑制量差异不显著。最后,就视觉系统对不同运动方式非目标的抑制机制进行了讨论。

不同运动强度对篮球运动员多目标追踪影响及眼动分析

目的:探究篮球运动员在不同运动强度干预下的多目标追踪成绩,借助眼动技术,分析篮球运动员与普通大学生两群体的注视策略差异,丰富运动员的心理选材依据,为多目标追踪过程的理论争议提供跨人群、跨情景支持。方法:选取60名二级及以上篮球运动员,60名普通大学生,运动强度干预分为基线、低、中、高强度,使用MOT范式及眼动仪考察和分析追踪成绩和眼动注视特征。结果:(1)中等运动强度干预对两群体均有显著积极影响,高强度存在显著消极影响。(2)总体而言,篮球运动员的多目标追踪成绩低于普通大学生,眼动分析的结果与以往研究不同,篮球运动员注视其他区域的时间显著多于普通大学生,进一步将注视目标与其他区域的时间合并,并与注视中心区域的时间进行比较后发现,两者间的时间百分比不存在显著差异。结论:中等运动强度下的干预有助于赛场水平的最佳发挥,相较于普通人群,篮球运动员具有对目标未来走向趋势的预测能力,其灵活的眼动注视策略为视觉索引和多焦点注意理论的并存提供了有力证据。

多目标追踪的任务难度对不同类型非目标选择性抑制的影响

采用多目标追踪(MOT)与点探测刺激觉察任务相结合的实验范式,分别通过改变运动与静止非目标数量,考察追踪难度变化对不同类型非目标选择性抑制的影响。实验一通过改变运动非目标数量为4、5、6,发现当运动非目标数量为6时,追踪难度显著增加,静止非目标上的抑制量也显著增加,而运动非目标上的抑制量则不随追踪难度的变化而变化;实验二改变静止非目标数量为4、5、6,同样发现当静止非目标数量为6时,追踪难度显著增加,静止非目标上的抑制量也显著增加,而运动非目标上的抑制量仍不随追踪难度的变化而变化,且当静止非目标数量为6时,静止非目标上的抑制量显著大于运动非目标,出现了反转现象,其原因可能是视野范围内总的对象数量超出了视觉索引容量,被试改变了对静止与运动非目标的抑制策略。综合实验结果表明,静止非目标上的抑制程度随追踪难度的提高而增加;而运动非目标上的抑制程度对追踪难度的变化不敏感,在不同难度水平上保持相对稳定。

目标与非目标数量变化对多目标追踪的选择性抑制效应

采用多目标追踪和点探测刺激觉察任务相结合的实验范式,考察目标和非目标数量变化对多目标追踪的选择性抑制效应。实验一设置非目标恒定而变化目标数量,结果发现:随着目标数量的增加,目标与非目标间的抑制差异量不随目标数量变化而变化。实验二设置目标恒定而变化非目标数量,结果发现:在非目标数量变化的三种水平下,目标与非目标间的抑制差异量也无显著差异。综合实验结果表明:在多目标追踪的追踪容量或抑制容量范围内,抑制差异量对目标数量或非目标数量变化是不敏感的;注意资源分配方式在一定范围内保持相对稳定。

飞行学员多目标追踪任务加工特点的研究

目的对比飞行学员和普通专业大学生在多目标追踪任务中的加工模式,以期为合格飞行学员的选拔和训练提供参考。方法采用多目标追踪范式和目标融合技术,20名飞行学员和21名大学生参与实验,在3种不同融合程度的刺激连接条件下对不同类型探测物进行反应。结果飞行学员在融合性较低的条件下对目标和非目标的反应都很快,对目标刺激的追踪克服了整体特征的干扰,只有对非目标的反应受到刺激整体特征的影响。大学生在各种相融性水平上都出现对目标反应快的特点,且无论是目标还是非目标的加工都受到刺激整体特征的影响。结论飞行学员比大学生有更大的注意广度和更集中的注意分配,这些加工差异在飞行员的选拔和训练时需加以注意。

自闭症儿童视觉动态信息的注意加工特点——来自多目标追踪任务的证据

为了考察中低功能自闭症儿童在动态条件下的多目标注意加工特点,研究采用多目标追踪实验范式,具体追踪任务采用多目标随机运动和碰撞反弹算法。实验设计为两因素混合设计,组间变量为年龄和性别匹配的中低功能自闭症和正常儿童组,组内变量为追踪目标数量(分别为1、2、3、4个目标),因变量为被试在多目标追踪任务中的追踪正确率和追踪容量。结果发现:(1)中低功能自闭症儿童在目标数量为1到目标数量为4时的正确率均明显低于正常儿童,且标准差变异较大,中低功能自闭症儿童的多目标的持续追踪能力和稳定性存在一定的缺陷;(2)当目标数量为1时,正常组儿童与中低功能自闭症儿童的追踪容量差异不显著;目标为2、3、4时,两组追踪容量差异均显著。不同目标数量情况下中低功能自闭症儿童平均的注意容量为0.83～1.24个(平均容量约为1个)明显低于正常儿童的0.95～3.72个(最大容量接近4个)。中低功能自闭症儿童在多目标追踪上表现为单焦点注意加工的特点,存在一定程度的注意转移缺陷。

不同目标标记方式对多目标追踪表现的影响

有关多目标追踪的研究多采用目标闪烁数次或目标周围出现方框等视觉方式对目标进行标记。在已有研究基础上,通过2个实验比较了不同目标数量下视觉平行标记、视觉序列标记、听觉序列标记(视听跨通道标记)和视听双通道序列标记4种目标标记方式对多目标追踪表现的影响。实验一发现目标数量为3时,4种目标标记方式下的追踪正确率无显著差异;目标数量为4时,视觉序列标记条件下的追踪正确率最高;目标数量为5时,视听双通道序列标记下的追踪正确率最高。实验二发现视觉平行标记和视觉序列标记下的追踪正确率显著高于视听跨通道序列标记条件。研究结果表明在多目标追踪任务中,线索阶段目标的视觉标记比视听跨通道标记更有效,且不受目标的序列或平行标记的影响,而视觉编码和听觉编码的结合即目标的视听双通道标记可以促进任务难度较高时的追踪表现。

视觉搜索中多目标追踪的研究(英文)

在视觉信息的选择加工过程中 ,只有很少信息能够通过注意系统得到进一步的认知加工 ,其中视觉搜索起着十分重要的作用。本研究基于动态视觉信息注意追踪的研究 ,采用 3× 2× 2的实验设计 ,从如下三方面对注意追踪的规律进行了探讨 :(1)分心物数量 (1,5和 9)的变化对多目标注意追踪的影响 ;(2 )目标的显著性 (特征变化和特征不变 )对多目标注意追踪的影响 ;(3)目标运动形式 (目标随机运动和目标运动形式不变 )对多目标注意追踪的影响。研究结果表明 :(1)分心物数量的增加对目标的注意识别没有抑制作用 ;(2 )特征变化目标的注意识别速度显著高于特征不变的目标 ;(3)运动形式不变的目标较运动形式变化目标的注意识别速度快。

多目标追踪中“线索”研究的贡献

多目标追踪范式是探讨动态情景下注意加工过程的成熟技术,其对不同阶段注意线索加工与利用的分析,对深入了解注意的动态信息加工过程具有重要意义。从注意线索的视角述评呈现阶段的内源性线索与外源性线索以及追踪阶段的目标数量动态变化和轨迹线索的研究成果及限制因素,提出多目标线索研究是客体档案理论与视觉索引理论之争的关键。虽然多目标追踪范式为内源性线索、外源性线索的提取与策略等研究提供很多便利,但目前该范式在线索的认知资源分配和加工策略上仍有研究留白,尚需进一步探索。

基于姿态特征融合的短道速滑运动员多目标追踪

短道速滑运动员滑行过程中存在尺度变化大、频繁遮挡、运动模糊以及外观相似等复杂情况,使得多目标追踪过程面临更为严峻的挑战.为此,构建一个短道速滑场景下由37段短道速滑运动员比赛视频片段组成多目标追踪数据集SSSMOT,并基于姿态信息提出一种多目标追踪方法.首先从锚框、损失函数和非极大值抑制3个方面优化YOLOv5检测模型,提高检测准确度;然后设计特征提取网络P-RNet,依据姿态信息的指引针对性地提取特征,提高特征鲁棒性;最后使用姿态关键点改进数据关联匹配方法,在一定程度上缓解因运动员外观相似导致匹配错误的问题.在SSSMOT和SKMOT数据集上与其他方法的实验结果表明,所提方法针对多目标追踪的准确度达到96.43%;并通过其他评价指标和消融性实验,证明了该方法的有效性和优越性.

基于Transformer结构的多目标追踪算法研究综述

Transformer是一种基于编码器-解码器、完全使用自注意力机制的深度神经网络结构,目前已经成功应用于多目标追踪,性能得到大幅提升。本文首先分析了Transformer网络整体结构,归纳Transformer结构具有的优势。然后根据查询方式将基于Transformer结构的多目标追踪方法分为:基于稀疏查询的方法和基于密集查询的方法,对相关模型分析总结。最后介绍常用数据集,对比分析模型性能,指出基于Transformer结构的多目标追踪面临的挑战与未来研究方向。

运动速度对冰球运动员多目标追踪表现的影响特征:一项EEG研究

目的探讨运动速度对冰球运动员多目标追踪表现及神经振荡水平的影响。方法选取45名冰球运动员,按照分组标准将冰球运动员分为专家组和新手组,并选取23名普通大学生作为对照组。采用多目标追踪任务,设置慢速、中速、快速3种运动速度条件,测试冰球运动员动态视觉注意的行为表现,并采用高频alpha节律的事件相关谱扰动(event related spectral perturbation,ERSP)值评估在完成多目标追踪任务时的神经振荡水平。结果 (1)追踪正确率:组别与速度交互作用显著(P<0.05)。在慢速条件下,3组被试之间的追踪正确率无显著差异(P>0.05);在中速条件下,对照组的正确率显著低于专家组(P<0.01)和新手组(P<0.05);在快速条件下,专家组的追踪正确率显著高于对照组(P<0.01),专家组与新手组之间无显著差异(P>0.05)。(2)高频alpha节律的ERSP值:组别与速度交互作用显著(P<0.05)。在慢速条件下,3组之间的高频alpha节律的ERSP值无显著差异(P>0.05);在中速条件下;对照组的高频alpha节律的ERSP值显著小于专家组(P<0.01)和新手组(P<0.05);在快速条件下,专家组的高频alpha节律的ERSP值显著高于对照组(P<0.01)。结论 (1)运动速度的增加会降低个体追踪表现、增加注意资源消耗;(2)随着运动速度的加快,冰球运动员表现出更强的追踪优势和更少的注意资源消耗,运动技能水平越高,效应越明显。

多目标追踪任务下疲劳对足球运动员前交叉韧带损伤风险的影响

目的:以3D-MOT任务模拟真实比赛中的动态追踪任务,探究足球运动员在疲劳发展过程中下肢生物力学的渐进性变化及其对非接触性前交叉韧带(anterior cruciate ligament,ACL)损伤的影响。方法:采用Vicon运动捕捉系统与三维测力台,同步采集15名足球运动员在多目标追踪任务下,由未疲劳、中度疲劳至重度疲劳时完成落地动作的下肢生物力学参数,并应用Visual 3D软件对各项参数进行比较。结果:1)与未疲劳相比,受试者中度疲劳时,膝关节屈曲角度与踝关节跖屈角度增加、膝关节内旋角度及垂直地面反作用力首峰出现的时间减少(P<0.05);达到重度疲劳时,髋关节屈曲角度、膝关节外翻角度、髋关节伸力矩等明显增加,垂直方向、水平方向以及前后方向地面反作用力也明显增加(P<0.05);2)与中度疲劳相比,受试者重度疲劳时髋关节屈曲角度、膝关节屈曲角度及膝关节伸力矩减小,膝关节外翻角度与膝关节内收力矩仍明显增大(P<0.05)。结论:多目标追踪任务下的运动疲劳会引起足球运动员落地缓冲动作发生不利的下肢生物力学变化;随着疲劳程度的加深,足球运动员的着地模式由“软”变“硬”,可增大非接触性ACL损伤风险。