指代视频分割方法研究综述

指代视频分割是计算机视觉和自然语言处理交叉领域的热点研究任务。目标是通过理解文本语义分割出给定视频的相关实体。与传统需预定义待分割物体类别的视觉分割任务不同,该任务不依赖于预定义的物体类别,而是通过理解给定的描述语句定位目标并分割。由于文本描述的内容随机且无分割好的视频帧当作参考,使得该任务极具挑战。虽然是新兴的跨媒体理解任务,但在安防监控、车辆追踪以及行人重识别等领域具有极高的应用前景并已有较多性能显著的方法提出。由于缺乏指代视频分割方法的研究综述,因此现有的指代视频分割方法被系统梳理和分析。具体地,根据研究思路的不同粗略地将解决方法分为四类:基于动态卷积、基于注意力机制、基于多层次信息学习和基于端到端序列预测的指代视频分割;对各类及各类内具体方法的性能进行定量和定性的分析;总结现有工作的不足以及未来可进行改进的思路。

图像语义特征引导与点云跨模态融合的三维目标检测方法

受到场景的复杂性和目标尺度变化、遮挡等影响,三维目标检测仍面临着诸多挑战.虽然跨模态特征融合图像和激光点云信息能够有效地提升三维目标检测性能,但在融合效果和检测性能上仍有待提升,为此,提出图像语义特征引导与点云跨模态融合的三维目标检测方法.首先设计图像语义特征学习网络,采用双分支自注意力并行计算方式,实现全局语义特征增强,降低目标错误分类;然后提出图像语义特征引导的局部融合模块,采用元素级数据拼接将检索的图像局部语义特征引导融合点云数据,更好地解决跨模态信息融合存在的语义对齐问题;提出多尺度再融合网络,设计融合特征与激光雷达点云交互模块,学习融合特征和不同分辨率特征间的再融合,提高网络的检测性能;最后采用4种任务损失实现anchor-free的三维目标检测.在KITTI和nuScenes数据集中与其他方法进行对比,针对三维目标检测准确率达87.15%,并且实验结果表明,文中方法优于对比方法,具有更优的三维检测性能.

利用Transformer的多模态目标跟踪算法

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。

基于NSGA-Ⅱ传感位置优化的曲面重构及误差补偿方法

通过优化光纤布拉格光栅形状传感技术中传感点位置和补偿重构结果来提高薄层合金板三维形状重构精度。通过ANSYS workbench建立合金板仿真模型,提取应变和位移模态振型,根据模态置信准则、转换矩阵稳定性和模态振型相似性分别设计了三个目标函数,采用快速和精英机制的多目标遗传算法优化传感器位置。将镍钛合金板弯曲成不同曲率半径的弧形,利用光纤布拉格光栅中心波长漂移量和线性插值算法计算得出不同形状下的结构应变,重构合金板形状,均方根误差和最大误差相较于单目标优化算法分别减小30%和15%。利用粒子群优化径向基函数神经网络算法拟合误差与位移的关系实现误差补偿,均方根误差和最大误差比无补偿时分别减小了90%和70%,最大相对百分比误差仅为5%,提高了三维形状重构算法精度。

基于深度学习的小目标检测技术研究进展(特邀)

小目标检测在自动驾驶、安防等领域具有重要的应用价值。然而,由于小目标自身视觉特征不明显、复杂背景干扰以及信噪比低等因素,使得小目标检测一直以来都是一个极具挑战性的难题。笔者系统回顾了当前基于深度学习方法的小目标检测技术,对现有算法进行了系统地归类、分析和比较:界定了小目标检测的概念,总结了小目标检测所面临的主要挑战;着重讨论了几种主要的网络优化策略,如利用数据增强技术提高模型的泛化能力,通过超分辨率技术改善小目标可视性,采用多尺度信息融合技术提升检测精度,以及基于上下文信息学习和大核卷积策略改进特征表达能力、无锚框检测机制、DETR技术和针对特定应用场景的多模态小目标检测等方法并详细分析了其优缺点;全面介绍了现有小目标数据集,并在常用公共数据集上对目前经典的小目标检测算法进行了测试和性能评估;对小目标检测领域未来的研究方向进行了展望,旨在推动小目标检测技术的进一步发展和应用拓展。

考虑柔性副车架的某轿车操纵稳定性优化研究

一般车辆仿真是在副车架为刚性的假设下进行研究的,然而副车架实际上为柔性。为研究副车架柔性化和材料属性变化对操纵稳定性优化的影响,利用HYPERMESH软件模态计算得到前副车架的柔性体文件,并进行模态分析,避免其与发动机和车身产生共振。将柔性前副车架导入ADAMS软件替换原有刚性前副车架,建立某轿车具有不同材料属性的柔性前副车架刚柔耦合模型,进行悬架K&C仿真和整车操纵稳定性仿真对比研究。以车辆操纵稳定性为优化目标,利用NSGA-Ⅱ算法对前副车架衬套刚度参数进行多目标优化设计。结果表明,柔性前副车架材料属性变化后的弹性变形会对悬架系统受力产生影响,从而改变悬架K&C特性,进而使整车刚柔耦合模型的操纵稳定性发生改变。改变材料属性也会使得前副车架与悬架和车身铰接处衬套刚度参数的多目标优化结果发生变化。多目标优化后横摆角速度增益、车身侧倾角增益和侧向加速度的延迟时间均降低,整车刚柔耦合模型操纵稳定性得到改善。

多模态嵌入与轨迹修正的三维多目标跟踪

点云和图像的多模态特征具有很强的优势互补性,能够有效提升三维多目标跟踪的性能。然而,由于跟踪场景的复杂性和目标状态的不确定性,使得目标跟踪仍面临许多挑战。基于此,提出多模态嵌入与轨迹修正的三维多目标跟踪算法。首先构建多模态嵌入学习网络,通过多尺度语义特征学习与多模态再融合模块,学习更具判别性的嵌入表示;其次,提出多特征综合关联模块,联合跟踪嵌入和几何信息,同时修正角度预测错误,实现更精确的数据关联;最后,提出双流轨迹修正与管理算法,修正错误消失轨迹,以提升轨迹的准确性。在KITTI数据集上对提出的方法进行评估并与其他先进方法进行比较,该方法的HOTA指标达到了77.72%,MOTA指标达到了88.24%,整体体现出较好的跟踪性能。实验证明该方法有效地提升了跟踪精度,并减少了跟踪错误的发生,具有良好的跟踪性能。

基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。

基于梯度算子和注意力的多模态融合目标检测

红外与可见光图像具有很好的互补特性,可以利用这2种模态图像的融合来适应自动驾驶等领域对于目标检测高精度和高鲁棒性的要求。现有多模态目标检测算法往往模型庞大,推理耗时长,无法在边缘设备上部署,而采用直接融合等方法又无法充分发挥不同模态的优势,因此提出了一种基于梯度算子和注意力机制的融合目标检测算法。引入梯度算子设计定制化卷积来捕获图像纹理;红外支路引入坐标注意力发挥其目标定位优势;引入权重生成网络对2个模态的特征进行自适应加权融合。算法结构模块化,轻量化,适合部署在边缘设备上。在数据集上实验,得到mAP@0.50和mAP@0.5∶0.95指标值比可见光单模态检测提升了6.3%和7.2%,比红外提升了11.3%和9.8%。推理帧率可达22.7,满足实时性要求。

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

跨模态噪声过滤的事件相机目标检测算法

事件相机具有高时间分辨率、高动态范围和低功耗等特性,通常被用于传统相机应用受限场景(高速度、强光、弱光等)下的目标检测任务中。然而由于事件相机的像素异步性,其输出的事件序列难以进行人工标注,为此现有方法通过RGB图像标记迁移得到事件序列标记。然而,迁移标记中存在大量噪声标记和事件序列中部分目标纹理模糊,导致难以取得理想的模型性能。为了解决此问题,提出了一种跨模态噪声过滤的事件相机目标检测算法。算法利用预训练后的事件相机检测器对开源RGB目标检测数据集进行筛选,得到对训练事件相机检测器最具价值的RGB图像和事件图像一起构成跨模态混合图像,帮助检测器更准确地识别、定位事件图像目标;为了缓解噪声标记对检测器性能的影响,设计了一种多阶段目标检测联合优化策略,单个阶段训练完成时,在全局标记中识别噪声标记,并对噪声标记进行修正后在下一阶段使用。实验结果表明,在1Mpx Detection Dataset上,与基准模型相比,跨模态噪声过滤的事件相机目标检测算法提供了8.35%的模型增益,远优于Co-teaching,O2U-net等噪声标签学习方法,具体地,跨模态混合图像训练、联合优化框架分别提供了6.44%,4.77%的模型增益。

动力集中动车组动力车前后横向平稳性差异研究

针对动力集中动车组动力车现场运行前、后横向平稳性差异问题,基于动力学仿真分析方法研究其形成机理与影响因素,并提出减缓措施。采用Simpack软件建立某型动力车的动力学模型,对比抗蛇行减振器斜对称与开口向外两种布置方式,分析关键悬挂参数对车体前端和后端横向平稳性影响,并采用模态分析法研究抗蛇行减振器横向安装角对蛇行模态稳定性和车体横移摇头模态相位差的影响;以线性稳定性和车体前、后端横向平稳性指标为优化目标,对抗蛇行减振器阻尼、等效串联刚度以及横向安装角进行多目标优化,并根据计算结果对优化参数进行Sobol全局敏感性分析。结果表明:抗蛇行减振器采用斜对称布置方式时,车体前端与后端的横向平稳性差异受悬挂参数影响较小,横向安装角对动力车横向稳定性不敏感;采用开口向外布置方式时,抗蛇行减振器适当横向安装角度显著降低甚至消除车体前端和后端横向平稳性差异,且车体横向平稳性和线性稳定性对横向安装角均较为敏感,建议优化横向安装角2°~6°。

跨模态目标重识别研究综述

目标重识别(ReID)技术旨在匹配不同区域摄像头在不同时间拍摄到的同一目标,其核心是通过目标间的细粒度差异实现不同目标的有效区分。因此,目标重识别技术被广泛应用于安防布控、刑侦监控等领域并发挥了重要作用。传统的目标重识别技术通常适用于光照条件良好情况下的可见光模态数据,但在处理黑夜低光照条件下的目标重识别任务时,其性能通常受到严重限制。红外摄像机因其卓越的夜视性能,通常被应用于在低光照条件下采集目标红外图像。因此,跨模态目标重识别技术旨在通过可见光图像匹配红外图像,实现全天候不间断的目标重识别。近年来,跨模态目标重识别技术取得了很大进展,然而,对于现有模型的归纳总结及深入分析仍然欠缺。为此,对跨模态目标重识别领域的相关研究和新颖方法进行了深入调研和总结,讨论了现有方法在实际场景中面临的挑战,并从模型分类和模型评价两个方面对现有方法进行归纳与分析。首先,围绕跨模态目标重识别问题的研究难点,将跨模态目标重识别分为生成式方法和非生成式方法两大类;然后,对当前跨模态重识别领域中广泛使用的评测数据集以及相关评价指标进行了综述与总结;最后,讨论了跨模态重识别领域仍然存在的挑战并对未来发展趋势进行了展望。

基于Kriging模型的主轴箱多目标尺寸优化

以自研五轴工具磨床为研究对象,利用Inventor建立其三维模型,导入ANSYS Workbench建立其整机有限元模型,通过对整机的模态分析与谐响应分析确定主轴箱为影响整机动态特性的关键部件。对主轴箱进行静动态特性分析,以主轴箱1阶固有频率、几何质量与最大变形量为目标函数,以主轴箱各壁厚以及斜度等为设计变量,基于Kriging法建立其响应面模型,对其进行多目标优化,从而得出最优Pareto解集,最后对优化后主轴箱进行验证。结果表明:主轴箱的1阶固有频率从113.03 Hz提升至144.50 Hz,提升了27.84%,几何质量减少了3.83%,最大变形量减少了10.31%,主轴箱综合性能显著提高。

多模态深层次高置信度融合跟踪算法

为解决单目标跟踪中因目标外观及环境变化导致的跟踪失败问题,提出一种多模态深层次高置信度融合跟踪算法.首先构建目标颜色模型和基于双线性插值HOG特征形状模型的高维度多模态模型,之后对候选目标利用粒子滤波进行搜索.针对模型融合的难点,通过准确量化形状和颜色模型多种置信度并设计高置信度融合准则,以实现该多模态模型中不同置信度的深层次自适应加权平衡融合.最后针对模型更新参数固定的问题,设计非线性分级平衡更新策略.经过在OTB-2015数据集上的测试,发现该算法的平均CLE和OS在所有参照算法表现中均表现最佳,其值分别为30.57和0.609.此外,其FPS为15.67,满足了跟踪算法在一般情况下的实时性要求.在某些常见的特定场景中,其精确率、成功率指标在多数情况下的表现也超过了同类顶尖算法.

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

兼顾模态的特种落下孔车轻量化研究

针对特种落下孔车车体的经济效益和轻量化设计要求,对其进行多目标优化设计。设计变量设置为主要板件的厚度;优化目标为在恶劣工况下使车体质量最小化,同时使一阶垂弯模态最大化;约束为在板厚发生变化的情况下,侧梁挠度不超过标准规定限度,最大应力不超过许用应力。通过灵敏度分析选取对优化目标影响最大的板件作为设计变量,结合Box-Behnken设计方法设计优化实验。基于优化实验结果生成响应面,并利用多目标遗传算法进行优化计算,以实现特种落下孔车的轻量化设计目标。结果显示,特种落下孔车质量减少8.63%,模态提升0.83%。将模态信息融入到轻量化设计中,其结果更具合理性,为后续特种落下孔车的相关研究提供参考。

基于BC^(2)FNet网络的RGB-D显著性目标检测

面对复杂的场景图像,深度信息的引入可以大大提高显著性目标检测的性能。然而,神经网络的上采样和下采样操作会模糊显著图中目标的边界,从而降低显著性目标检测性能。针对此问题,提出了一种基于边界驱动跨模态跨层融合网络(B^(C)2FNet)的RGB-D显著性目标检测方法。该网络在跨模态和跨层融合中分别加入边界信息引导来保持目标区域。设计了边界生成模型,分别从RGB和深度模态的低层特征中提取2种边界信息;设计边界驱动的特征选择模块,在RGB与深度模态融合过程中,聚焦重要特征信息并保留边界细节;提出了一种边界驱动的跨层融合模块,在相邻层的上采样融合过程中加入2种边界信息。通过将该模块嵌入到自顶向下的信息融合流中,预测出包含精确目标和清晰边界的显著性图。在5种标准RGB-D数据集上进行仿真实验,结果证明所提出的模型具有较好的性能。

基于跨模态特征融合的RGB-D显著性目标检测

RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征。提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能。具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图。提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息。此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能。最后,使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法。