跨模态目标重识别研究综述

目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术通常适用于光照条件良好情况下的可见光模态数据,但在处理黑夜低光照条件下的目标重识别任务时,其性能通常受到严重限制。红外摄像机因其卓越的夜视性能,通常被应用于在低光照条件下采集目标红外图像。因此,跨模态目标重识别技术旨在通过可见光图像匹配红外图像,实现全天候不间断的目标重识别。近年来,跨模态目标重识别技术取得了很大进展,然而,对于现有模型的归纳总结及深入分析仍然欠缺。为此,对跨模态目标重识别领域的相关研究和新颖方法进行了深入调研和总结,讨论了现有方法在实际场景中面临的挑战,并从模型分类和模型评价两个方面对现有方法进行归纳与分析。首先,围绕跨模态目标重识别问题的研究难点,将跨模态目标重识别分为生成式方法和非生成式方法两大类;然后,对当前跨模态重识别领域中广泛使用的评测数据集以及相关评价指标进行了综述与总结;最后,讨论了跨模态重识别领域仍然存在的挑战并对未来发展趋势进行了展望。

多特征融合的无人艇视觉目标长时相关鲁棒跟踪

[目的]针对显著海浪遮挡、相机剧烈晃动引起的无人艇视觉目标跟踪脱靶问题,提出一种基于多特征融合的长时相关鲁棒跟踪算法。[方法]首先,采用多特征融合技术,增强目标特征表达,提高目标模型鲁棒性;其次,利用高维特征降维和响应图子网格插值,提高目标跟踪的效率与精度;然后,设计水面目标重识别机制,解决目标完全脱离视野时的稳定跟踪问题;最后,采用多个代表性视频数据集进行验证和比较分析。[结果]实验结果表明,相较于传统的长时相关跟踪算法,平均成功率提升15.7%,平均距离精度指标提升30.3%,F-Score指标提升7.0%。[结论]所提算法能够处理恶劣海况下的目标脱靶问题,对于提升无人船艇及海洋机器人智能感知能力,具有重要技术支撑意义。

面向多类别舰船多目标跟踪的改进CSTrack算法

针对海面舰船多目标跟踪过程中图像背景复杂、目标尺度差异大等难点,提出了一种改进CSTrack的舰船多目标跟踪算法。首先,针对CSTrack算法使用暴力解耦分解颈部特征造成目标特征损失的问题,提出了一种结合Res2net模块的改进互相关解耦网络RES_CCN,使网络解耦后获得更加细粒度的特征。其次,为提升对多类别舰船的跟踪性能,采用检测头网络解耦设计分别预测目标类别、置信度和位置。最后,采用MOT2016数据集进行消融实验,验证了所提模块的有效性,在新加坡海事数据集上进行测试,所提算法的多目标跟踪精度提升了8.4%,目标识别准确度提升了3.1%,优于ByteTrack等算法。本文所提算法具有跟踪精度高、误检率低等优点,适用于海面舰船多目标跟踪任务。

检测优化的标签多伯努利视频多目标跟踪算法

在检测器与跟踪器结合的视频多目标跟踪算法中,检测器好坏将直接影响整个跟踪算法性能,尤其是检测器的漏检以及误检,会导致目标的漏跟以及误跟,增加碎片化轨迹以及身份标签变换次数增加的问题。针对这些问题,在标签多伯努利的滤波框架下,设计了新的量测驱动新生目标识别方法以更快速精准地捕获新生目标。设计了目标重识别方法,结合标签多伯努利算法能够在短时间内维持标签的不变性,减少了碎片化轨迹及标签跳变数。引入新的模板选取策略,以避免将被遮挡的目标加入到模板中污染模板。考虑到标签多伯努利滤波为在线推理算法,采用了并行化加快算法的运算效率。结果表明,在标签多伯努利的框架下,提出算法能够有效解决标签跳变以及目标被遮挡无法准确跟踪的问题,在具有挑战性的MOT17数据集上进行测试,与其他相关滤波方法进行比较,具有不错的跟踪效果。

基于多目标跟踪的商场热点图生成方法

多目标跟踪领域以基于检测的跟踪方法为主,CenterTrack算法提出了以目标中心点为检测对象,每帧输出基于目标中心点生成的热图以辅助下一帧的检测和跟踪的方法。此方法在保证帧率的前提下有效提升了多目标跟踪准确率,但由于其缺乏对目标重识别的关注,当目标遭遇到遮挡或噪声影响从检测结果中丢失时无法将随后重新出现的同一目标识别为原目标,导致ID切换较频繁。该文在CenterTrack算法模型中加入近期丢失跟踪链队列和重识别模块以改善其在重识别方面的表现。输入商场监控录像并取得跟踪结果后,根据行人目标移动与停驻时间分配权值生成商场热点图,帮助经营者提升销售能力。

基于改进FairMOT特征解耦的多目标跟踪算法

联合检测和重识别跟踪模型(Joint-Detection-and-Embedding Models, JDE)的两个子任务所需要的特征存在矛盾,通过目标中心点提取重识别特征的方式难以得到遮挡目标的有效特征,这导致在复杂环境下模型提取的目标重识别特征可靠性下降,造成数据关联错误。针对目标检测和重识别任务间的矛盾问题,文中基于FairMOT跟踪算法提出了一种特征解耦模块。该模块使用协调注意力(Coordinate Attention, CA)将骨干网输出的多尺度特征图进行初步解耦,然后以自底向上的方式融合不同分辨率的重识别特征图。为了提取遮挡目标的有效信息,文中提出一种根据目标可视度调整高斯核方差的策略,用于构建目标中心点监督热图,加大训练时对遮挡目标及其周围区域的关注。最后在MOT17数据集上对所提算法进行了测试,实验结果验证了各模块的有效性,表明了算法能够有效应对遮挡,实现稳定跟踪。

面向目标分类识别的多任务学习算法综述

多任务学习(MTL)可以在训练中联合利用多个任务的监督信号,并通过共享多个相关任务之间的有用信息来提升模型性能。本文从目标分类识别应用角度,全面梳理和分析了多任务学习的机制及其主流方法。首先,对多任务学习的定义、原理和方法进行阐述。其次,以应用较为广泛、具有代表性且具有共性特点的细粒度分类和目标重识别为例,重点介绍多任务学习机制在目标分类和识别任务应用的2类方法:基于任务层的多任务学习和基于特征层的多任务学习,并针对每种类型进一步分类分析不同的多任务学习算法的设计思想和优缺点。接着,对本文综述的各种多任务学习算法在通用数据集上开展性能对比。最后,对面向目标分类和识别任务的多任务学习方法的未来趋势进行展望。

基于高速公路ETC门架数据的车辆行驶轨迹检测

取消省界收费站后,全国高速公路形成了"一张网"运营新局面,边缘感知采集设备密集增加,高速公路生产业务系统数据量呈现井喷式增长,"云—边—端"协同体系初步形成本文基于新时期高速公路运营管理向精准感知、全程监管方向转变的趋势,针对需求焦点,探讨了基于撤站新建的ETC门架系统等智能感知体系,采用车牌识别与目标重识别算法结合的方式,实现车辆行为识别、行驶轨迹检测还原、交通态势智能感知经过真实环境实践验证,该改进算法可实现较高的目标检测成功率,为数字高速建设和交通秩序维护提供强效技术助力。

面向海洋的多模态智能计算:挑战、进展和展望

海洋是高质量发展的要地,海洋科学大数据的发展为认知和经略海洋带来机遇的同时也引入了新的挑战。海洋科学大数据具有超多模态的显著特征,目前尚未形成面向海洋领域特色的多模态智能计算理论体系和技术框架。因此,本文首次从多模态数据技术的视角,系统性介绍面向海洋现象/过程的智能感知、认知和预知的交叉研究进展。首先,通过梳理海洋科学大数据全生命周期的阶段演进过程,明确海洋多模态智能计算的研究对象、科学问题和典型应用场景。其次,在海洋多模态大数据内容分析、推理预测和高性能计算3个典型应用场景中展开现有工作的系统性梳理和介绍。最后,针对海洋数据分布和计算模式的差异性,提出海洋多模态大数据表征建模、跨模态关联、推理预测以及高性能计算4个关键科学问题中的挑战,并提出未来展望。