锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

尺度自适应生成调控的弱监督视频实例分割

视频实例分割是车辆辅助驾驶多目标感知和场景理解的一项关键技术。针对弱监督视频实例分割仅使用边界框对网络进行训练严重制约交通场景大尺度动态范围目标分割精度的问题,本文提出尺度自适应生成调控弱监督视频实例分割网络(Scale Adaptive Generation Regulation weakly supervised video instance segmentation network,SAGRNet)。首先,设计一种多尺度特征映射贡献度动态自适应调控模块,通过动态调整不同尺度特征映射信息贡献度取代原有的线性加权以强化对目标局部位置和整体轮廓的聚焦能力,解决了车辆、行人等目标由于成像距离远近造成的尺度动态范围过大问题;其次,构建目标实例多细粒度空间信息聚合生成调控模块,通过聚合基于不同空洞率提取的多细粒度空间信息生成权重参数以调控各尺度特征,实现了细化实例边界和增强跨通道信息交互掩码特征映射表征能力,有效弥补了实例边缘信息匮乏导致边缘轮廓分割mask连续性缺失问题。最后,为缓解边界框标签监督信息弱化,引入正交损失和颜色相似性损失缩小模型预测mask与真实边界框偏差并计算逐像素点对间标签属性归类模糊问题。Youtube-VIS2019提取的交通场景数据集实验结果表明,SAGRNet相较于弱监督基准网络平均分割精度提升5.1%达到38.1%,为实现多目标感知和实例级场景理解提供了有效算法依据。

掩码生成动态调控弱监督视频实例分割

针对全监督视频实例分割网络训练数据高度依赖精细掩码标注,时间和人工成本过高,导致智能机器无法快速适应新场景的问题,提出一种端到端的掩码生成动态调控弱监督视频实例分割(Weakly Supervised Video Instance Segmentation,WSVIS)网络。为克服初始掩码预测层通道维度突降导致的实例激活特征丢失问题,构建多级特征融合模块,利用特征复用策略预测初始实例特征并融合相对位置信息生成初始预测掩码。然后,提出动态调控机制在通道和空间维度上建立掩码特征依赖关系,强化初始预测掩码与实例感知信息之间的动态交互。最后,网络设计二元颜色相似性生成伪亲和标签取代精细掩码标注,联合边界框与掩码一致性损失实现仅边界框标注的弱监督视频实例分割。实验结果表明,在BoxSet和YT-VIS数据集上,WSVIS网络能达到与全监督网络相近的分割精度和分割效果,同时能够满足实时推理要求,为智能机器快速适应新场景实现实时环境感知和理解提供了理论支撑和算法依据。

基于视频实例分割的猪只监测算法

随着人工智能的蓬勃发展,智慧养殖业成为了新的发展前景。针对猪场监控视频监测自动化、智能化程度过低的问题,提出了一种基于视频实例分割的猪只监测算法框架,并将其命名为Track-YOLACT。该框架由分割器和跟踪器两部分构成,首先基于基于经典单阶段实例分割网络的分割器进行分割,然后使用跟踪器进行跟踪,从而实现对视频中所有猪只的分割和跟踪。论文为养殖场自动化、智能化监测提供了一种实用的框架。

基于运动跟踪与特征融合的视频实例分割方法

视频实例分割(VIS)提供了对视频更深层次的理解,是智能监控、自动驾驶、机器人等领域高级任务的前置任务之一。目前对于图像实例分割已经有很多研究,但是对于视频实例分割的研究却相对较少,而将图像分割方法直接应用到视频领域也存在很多问题,其中实例被遮挡、实例成像差以及高速运动引起实例模糊等异常情况导致的追踪和分割效果差是主要问题。针对该问题,提出一种基于运动跟踪与注意力特征融合的视频实例分割方法(MTFA)。该方法利用运动跟踪头依据运动和特征信息在整个视频中跟踪实例并分配实例标签,然后按照实例标签对每一帧中实例去其他帧提取同一实例的特征信息,通过注意力机制融合这些特征信息用以增强当前帧的特征并生成分割掩码。该方法在Youtube-VIS数据集测试中最佳AP为38.3%(ResNet-50)和41.2%(ResNet-101)。

基于跟踪检测时序特征融合的视频遮挡目标分割方法

视频实例分割是近年来兴起的一项在图像实例分割基础上引入时序特性的视觉任务,旨在同时对每一帧的目标进行分割并实现帧间的目标跟踪。移动互联网和人工智能的迅猛发展产生了大量的视频数据,但由于拍摄角度、快速运动和部分遮挡等,视频中的物体往往会出现分裂或模糊的情况,使得从视频数据中准确地分割目标并对目标进行处理和分析面临着重大挑战。经查阅和实践发现,现有的视频实例分割方法在遮挡情况下的表现较差。针对上述问题,提出了一种改进的遮挡视频实例分割算法——通过融合Transformer和跟踪检测的时序特征来改善分割性能。为增强网络对空间位置信息的学习能力,该算法将时间维度引入Transformer网络中,并考虑到视频中目标检测、跟踪和分割之间的相互依赖和促进关系,提出了一种能够有效地聚合目标在视频中的跟踪偏移的融合跟踪模块和检测时序特征模块,提升了遮挡环境下的目标分割性能。通过在OVIS和YouTube-VIS数据集上进行的实验,验证了所提方法的有效性。相比当前的基准方法,该方法展现出了更好的分割精度,进一步证明了其优越性。

极化自注意力调控的情景式视频实例多尺度分割

视频实例分割(Video Instance Segmentation)是开发智能机器人视觉系统的一项关键技术,部署视频实例分割算法的智能机器人能够精确地实现目标追踪、避障等高复杂度任务.机器人在特定情景下自主移动时的成像效果会受到自身速度、拍摄角度、距离远近及目标移动速度的影响,导致捕获的运动目标普遍存在拓扑形变和尺度缩放等随机性问题.对于在相同视频序列中跨静态帧的同一目标实例而言,模型所学习的可辨识特征往往具有多样性和不确定性.现有模型更多强调帧间掩膜传播或特征跟踪等时序交互方法,而忽略了对拓扑实例的深层语义解析和尺度目标的轮廓分辨,因此缺乏对高层细粒度特征的有效关注和低层空间信息的准确定位.本文提出一种极化自注意力调控的多尺度视频实例分割PSAM-Net(Polarized Self-Attention Manipulation Network)模型.首先,在残差网络中嵌入单级式和级联式的极化自注意力机制,以建立任意空间位置的非线性关联信息,及其正交方向的通道特征依赖关系,克服高层特征图中细粒度特征分布弥散问题,增强模型的区域特征聚焦能力,完成对拓扑实例的深层语义解析;其次,由特征金字塔自上而下的特征流动方式,所导致的低层特征空间位置和实例边缘信息匮乏问题,对聚合了多粒度信息的空间定位分支模型进行构建,以适应不同尺度下前景目标定位检测和轮廓分割需求.最后,从Youtube-VIS中划分出多个适用于动物场景下的数据集.交叉验证结果表明,相较于YolactEdge基准模型,PSAM-Net在平均检测和平均分割精度上分别提升6.08%和8.87%,达到44.06%和44.41%,测试速度高达80FPS,表现出较好的鲁棒性与稳定性.本文方法实现了视频序列输入下的实时高精度分割,为智能移动机器人的自主环境感知提供了有效理论依据和一定参考价值.

时序特征融合的视频实例分割

目的随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。