融合片段对比学习的弱监督动作定位方法

针对现有基于注意力机制的弱监督动作定位方法对动作边界处的片段容易错误分类的问题,提出一种融合片段对比学习的弱监督动作定位方法。首先,引入三个分支的注意力机制,分别测量每个视频帧是动作实例、上下文以及背景的可能性;其次,基于得到的注意力值构建对应分支的类激活序列;然后,通过片段挖掘算法构造正负样本对;最后,利用片段对比学习引导网络将模糊片段正确归类。实验结果表明,当交并比(IoU)取值0.5时,在THUMOS14与ActivityNet1.3两个公共数据集上,所提方法的平均检测精度(mAP)分别达到了33.9%和40.1%,相较于DGCNN(Dynamic Graph modeling for weakly-supervised temporal action localization Convolutional Neural Network)弱监督动作定位模型在上述两个数据集上分别提升1.1和2.9个百分点,验证了所提方法的有效性。

基于双重动态记忆网络的弱监督视频异常检测

视频异常检测需从整段视频中识别帧级别的异常行为。弱监督方法使用正常与异常视频,辅以视频级别标签训练模型,相比无监督视方法展现出了更优越的性能。然而,目前的弱监督视频异常检测方法无法记录视频长期模态,且部分方法为了获得更优的检测效果,利用了未来帧的信息,导致无法在线应用。为此,文中首次提出了一种基于双重动态记忆网络的弱监督视频异常检测方法,通过设计包含两个记忆模块的记忆网络来分别记录视频中长期的正常和异常模态。为了实现视频特征和记忆项的协同更新,采用读操作基于记忆模块中的记忆项对视频帧的特征进行增强,采用写操作基于视频帧特征对记忆项的内容进行更新,同时记忆项的数量在训练的过程中会动态调整从而适应不同视频监控场景的需求。在训练时,设计模态分离损失增加记忆项之间的区分度。在测试时,仅需要记忆项而不需要未来视频帧的参与,从而实现准确的在线检测。在两个公开的弱监督视频异常检测数据集上的实验结果表明,所提方法优于所有在线应用的方法,相比只能离线应用的方法也具有很强的竞争力。

弱监督显著性目标检测研究进展

显著性目标检测旨在准确检测和定位图像或视频中最引人注目的目标或区域,为更好地进行目标识别和场景分析提供帮助。尽管全监督显著性检测方法取得一定成效,但获取大规模像素级标注数据集十分困难且昂贵。弱监督检测方法利用相对容易获取的图像级标签或带噪声的弱标签训练模型,在实际应用中表现出良好效果。全面对比了全监督和弱监督显著性检测的主流方法和应用场景,重点分析了常用的弱标签数据标注方法及其对显著目标检测的影响。综述了弱监督条件下显著目标检测方法的最新研究进展,并在常用数据集上对不同弱监督方法的性能进行了比较。最后探讨了弱监督显著性检测在农业、医学和军事等特殊领域的应用前景,指出了该研究领域存在的问题及未来发展趋势。

融合注意力机制的弱监督纸板表面缺陷检测

目的 针对目前表面缺陷检测方法因缺少实例级标签,使深度神经网络在工业检测上的应用受到限制的问题。本文面向实际的纸板表面缺陷检测任务,提出弱监督学习下融合卷积和注意力机制的神经网络算法。方法 该网络通过将通道注意力模块和梯度类激活映射模块相结合,进一步提高类激活图的精细度,实现纸板表面缺陷的精确定位;同时通过倒残缺结构和上采样层的组合操作,进一步细化浅层特征提升网络的特征提取能力,加快网络收敛速度。结果 通过在公开的纸板缺陷数据集上进行实验,本文提出的算法在使用图像级标签训练的情况下,分类正确率与定位正确率分别达到99.0%和92.2%,验证了该算法的有效性。结论 避免了实例级标签数量较少和过于主观的缺点,为基于机器人的缺陷纸板剔除奠定了基础。

基于弱监督的口腔鳞状细胞癌病理图像分割

考虑到口腔鳞状细胞癌病理图像的超高分辨率,文中提出用简单的曲线粗略勾画三类前景区域,使得前景区域标签是包含背景区域的粗标签,仅耗费专业精细标注1/6的时间。文中利用粗标签中前景区域含噪声,但背景区域都是干净标签这一事实,通过多个背景模板滤除误标的前景像素,实现对前景部分的精细化分割。具体地,文中提出基于背景相似度感知的平均教师模型(BS-MT),通过抽取高度多样性和鲁棒性的背景模板,指导学生网络利用模板滤波滤除背景像素而生成高质量的前景标签。在自建的OSCC-CA数据集,该方法的mIoU比U-Net和其他弱监督方法分别高出2.5%和1.1%以上。

三维点云弱监督语义分割研究进展综述

在三维点云语义分割任务中,使用少量标注的点云数据进行语义分割可以节省人力标注成本,近年来得到学术界的普遍关注。传统的三维点云语义分割方法多利用完全监督的方式,这类方法往往需要耗费人力和时间去标注大量点云,而使用弱监督方式只需要对点云进行少量的标注就能达到和完全监督方法相同的目的。文章回顾和讨论了近年来三维点云弱监督语义分割的发展,从不同角度总结了弱监督语义分割的相关方法,基于这些方法,在四个公开数据集上对其结果进行了定量分析与讨论,最后总结了三维点云弱监督语义分割存在的挑战,并展望了未来的发展方向。

双分支协同策略的弱监督行为检测

弱监督行为检测旨在使用视频级标签定位动作的起止边界及识别相应的行为类别。现有的模型依然存在行为定位不完整、背景干扰等问题。对此,提出了双分支协同策略,为背景帧引入辅助类,采用权重共享机制的非对称式训练,使得该模型能够抑制背景帧的激活以提高定位性能。在优化分支提出中心损失项来学习每个动作类的聚类中心,并惩罚特征与其中心之间的距离及最小类内变化,从而增强特征的可辩别性;基本分支丢弃其动作类的中心区域,同时学习背景特征,通过迭代训练挖掘与其行为相关的不明显区域,有助于更好的模拟背景,实现行为的完整性定位。该算法在THUMOS14和ActivityNet1.2数据集上进行实验验证并与其他相关文献进行比较,结果表明了所提出算法的可行性。

弱监督学习算法下土地光学遥感图像分类

由于土地细节特征较多,类型复杂多样,图像采集难度较大,在不同的时间和区域,土地特征也会发生变化,因此土地分类过程较为复杂。针对以上问题,提出基于弱监督学习的土地光学遥感图像分类方法。利用伪中值滤波法去除光学遥感图像噪声,并通过模糊对比度增强法增强图像对比度;基于此,利用弱监督定位网络获取图像的感兴趣示例,并将子概念层引入多示例聚合网络计算感兴趣示例和标签之间的匹配分数,实现土地图像分类。实验结果表明,上述方法的土地分类准确,且Kappa系数更接近于1,说明所提方法应用性能较优。

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.

基于边界辅助的弱监督语义分割网络

由于弱监督语义分割任务中种子区域的随机生长机制,导致弱监督语义分割网络经常出现错分割和漏分割的问题,为此,提出一种基于边界辅助的弱监督语义分割网络。该网络利用边界信息和语义信息,为种子区域的生长提供参考,使种子区域可以自然生长至目标边界,并在目标被遮挡或重叠时正确区分目标类别,生成可以覆盖更完整目标的伪像素掩码。以此伪像素掩码作为监督信息训练分割网络,可以改善弱监督语义分割网络由于伪像素掩码无法准确覆盖目标区域导致的错分割和漏分割问题,提升弱监督语义分割网络精度。在通用数据集PASCAL VOC 2012验证集和测试集上对该网络进行评估,mIoU分别达到71.7%和73.2%。实验结果表明,其网络性能优于当前大多数图像级弱监督语义分割方法。

基于高分辨率类激活映射算法的弱监督目标实时检测

受益于深度学习的发展,目标检测技术在各类视觉任务中得到广泛关注。然而,获取目标的边框标注需要高昂的时间和人工成本,阻碍了目标检测技术在实际场景中的应用。为此,该文在仅使用图像类别标签的基础上,提出一种基于高分辨率类激活映射算法的弱监督目标实时检测方法,降低网络对目标实例标注的依赖。该方法将目标检测细划分为弱监督目标定位和目标实时检测两个子任务。在弱监督定位任务中,该文利用对比层级相关性传播理论设计了一种新颖的高分辨率类激活映射算法(HR-CAM),用于获取高质量目标类激活图,生成目标伪检测标注框。在实时检测任务中,该文选取单镜头多盒检测器(SSD)作为目标检测网络,并基于类激活图设计目标感知损失函数(OA-Loss),与目标伪检测标注框共同监督SSD网络的训练过程,提高网络对目标的检测性能。实验结果表明,该文方法在CUB200和TJAB52数据集上实现了对目标准确高效的检测,验证了该文方法的有效性和优越性。

基于弱监督表示学习的热红外目标跟踪

由于热红外成像技术具有更强的穿透雾、霾、雨、雪的能力,在恶劣天气条件下的成像效果几乎不受影响,使得基于热红外图像的目标跟踪任务越来越被研究者重视。针对基于卷积神经网络的热红外目标跟踪算法在模型训练过程中需要的带有标签的数据不足的问题,提出了一种基于弱监督表示学习的方法,利用少量的标签数据及大量的无标签数据进行模型训练,从而用于热红外目标跟踪任务。首先,利用主动学习的指导在大量无标签的数据中挑选最具有代表性的训练样本;然后,给定每个样本序列的首帧目标的真实标签,利用基础跟踪器生成该序列中其他图像帧中目标的伪标签;之后,利用带有真实标签和伪标签的训练数据进行模型训练;最后,利用训练好的模型在热红外目标跟踪算法测试数据集上进行模型测试。实验结果表明:该方法可以在减少模型训练对标签数据需求的同时保证跟踪器的准确性。

基于弱监督与光谱指数的哨兵2号图像裸土提取

利用哨兵2号图像进行裸土区动态制图对环境管理和生态恢复具有重要意义。深度学习技术已经彻底改变了土地利用与土地覆盖分类的方法,包括裸露土地区域的映射。然而,目前的深度学习方法存在两个主要问题,即标记成本高和模型性能较差的问题。在本文中,我们开发了一种新的深度语义分割网络O-Net来解决当前的问题。O-Net具有典型的编码器–解码器结构,其中编码器和解码器都可以实例化为一个特定的全卷积网络,其中编码器用于预测裸土面积的提取,解码器用于重建输入图像斑块的裸土指数。我们基于弱监督(如不完全或不准确的标签)来训练网络参数。在我们的注释浙江数据集上的实验表明,所提出的方法可以实现较先进的性能。

基于候选区域生成的弱监督图像语义分割算法

针对现有弱监督语义分割方法依赖于初始响应以及分类任务,只关注区分目标对象区域,无法通过完整的区域来优化损失函数的问题。论文提出了一种基于候选区域生成的语义分割算法,用于图像级标注的弱监督图像语义分割。该算法首先在分类网络中引入混合数据增强方案,再通过制定相应的策略,对图像特征进行聚类,构建子类目标并生成子类标签,从而使得训练过程不仅仅依赖于可区分的对象区域。在PASCAL VOC 2012数据集上进行了全面的实验和分析,与其他弱监督语义分割算法相比,论文提出的算法表现出良好的性能:通过使用混合数据增强以及自监督的候选区域生成的方法,使原始图像产生更加完整的响应映射,将交并比(IoU)提高了2.1%,提高了最终分割网络的性能。

一致性对比采样网络的弱监督时序动作定位

弱监督时序动作定位使用视频级标签,不需要高成本的动作实例标签,具有重要的研究价值。弱监督时序动作定位的难点在于,视频中的前景片段被淹没在背景片段中,难以得到精确的前景样本用于训练模型。关注于分析背景和前景片段在时间类激活序列上的差异,提出一致性对比采样网络。该网络使用多头注意力模块来增强行为特征。为了缓解前景样本被背景样本干扰的问题,该网络设计了易混淆样本的随机采样策略,用于学习前景采样的提议分布。为了促进前景分布的收敛,该网络联合考虑多阶段的前景采样规则,设计多阶段一致性采样模块。此外,针对前景和背景过渡区域的前景样本和背景样本较为相似,难以区分的问题,该网络设计对比采样模块,并联合考虑多阶段一致性采样,用于挖掘出困难前景样本,并使用对比学习优化困难前景样本的特征。在THUMOS 14和Activity v1.3数据集上进行实验验证。实验结果表明,提出的方法达到现有弱监督时序动作定位方法的性能。

弱监督目标检测相关研究

弱监督目标检测是一种利用图像级别的标签来检测图像中多个或单个示例边界框的计算机视觉任务,具有很高的挑战性。本文首先介绍了弱监督目标检测的背景、问题定义和基本框架,然后对当前的弱监督目标检测算法进行了总结和分析,比较了它们的优缺点,最后探讨了该领域未来的研究方向。

结合局部标记序关系的弱监督标记分布学习

标记分布学习(label distribution learning,LDL)是一种用于解决标记多义性的新颖学习范式。现有的LDL方法大多基于完整数据信息进行设计,然而由于高昂的标注成本以及标注人员水平的局限性,很难获取到完整标注数据信息,且会导致传统LDL算法性能的下降。为此,本文提出了一种新型的结合局部序标记关系的弱监督标记分布学习算法,通过维持尚未缺失标记之间的相对关系,并利用标记相关性来恢复缺失的标记,在数据标注不完整的情况下提升算法性能。在14个数据集上进行了大量的实验来验证算法的有效性。

基于弱监督数据集的猪只图像实例分割

在智慧养殖研究中,基于深度学习的猪只图像实例分割方法,是猪只个体识别、体重估测、行为识别等下游任务的关键。为解决模型训练需要大量的逐像素标注图像,以及大量的人力和时间成本的问题,采用弱监督猪只分割策略,制作弱监督数据集,提出一种新的特征提取骨干网络RdsiNet:首先在ResNet-50残差模块基础上引入第2代可变形卷积,扩大网络感受野;其次,使用空间注意力机制,强化网络对重要特征的权重值;最后引入involution算子,借助其空间特异性和通道共享性,实现加强深层空间信息、将特征映射同语义信息连接的功能。通过消融实验和对比实验证明了RdsiNet对于弱监督数据集的有效性,实验结果表明其在Mask R-CNN模型下分割的mAP_(Semg)达到88.6%,高于ResNet-50、GCNet等一系列骨干网络;在BoxInst模型下mAP_(Semg)达到95.2%,同样高于ResNet-50骨干网络的76.7%。而在分割图像对比中,使用RdsiNet骨干网络的分割模型同样具有更好的分割效果:在图像中猪只堆叠情况下,能更好地分辨猪只个体;使用BoxInst训练的模型,测试图像中掩码具有更高的精细度,这更有利于开展下游分析。

基于特征增强和损失优化的弱监督目标检测算法

针对弱监督目标检测中只能检测出图像中最具有辨别性部分和训练过程极易陷入局部最优问题,提出了一种特征增强和损失优化的弱监督目标检测算法。该算法设计了一种高效可选择通道注意力模块,该模块通过关联通道的选择来提高其局部信息的交互能力,以此来扩大最具辨别性的示例目标区域;此外,通过对网络回归损失函数施加针对性的动态权重,使其能够自动弱化回归分支中伪标注边界框不准确性的影响,提高目标定位的精度。在PASCAL VOC 2007及PASCAL VOC 2012数据集上的实验表明,相比其他同类算法,该算法能够有效地提高弱监督目标检测的精度。同时,由于该算法引入的额外训练参数和计算负担几乎可以忽略不计,因此还具有良好的高效性。

尺度自适应生成调控的弱监督视频实例分割

视频实例分割是车辆辅助驾驶多目标感知和场景理解的一项关键技术。针对弱监督视频实例分割仅使用边界框对网络进行训练严重制约交通场景大尺度动态范围目标分割精度的问题,本文提出尺度自适应生成调控弱监督视频实例分割网络(Scale Adaptive Generation Regulation weakly supervised video instance segmentation network,SAGRNet)。首先,设计一种多尺度特征映射贡献度动态自适应调控模块,通过动态调整不同尺度特征映射信息贡献度取代原有的线性加权以强化对目标局部位置和整体轮廓的聚焦能力,解决了车辆、行人等目标由于成像距离远近造成的尺度动态范围过大问题;其次,构建目标实例多细粒度空间信息聚合生成调控模块,通过聚合基于不同空洞率提取的多细粒度空间信息生成权重参数以调控各尺度特征,实现了细化实例边界和增强跨通道信息交互掩码特征映射表征能力,有效弥补了实例边缘信息匮乏导致边缘轮廓分割mask连续性缺失问题。最后,为缓解边界框标签监督信息弱化,引入正交损失和颜色相似性损失缩小模型预测mask与真实边界框偏差并计算逐像素点对间标签属性归类模糊问题。Youtube-VIS2019提取的交通场景数据集实验结果表明,SAGRNet相较于弱监督基准网络平均分割精度提升5.1%达到38.1%,为实现多目标感知和实例级场景理解提供了有效算法依据。