基于弱语义样本的对比学习句嵌入方法

为了有效消除句嵌入在语义特征空间的各向异性问题,提出一种基于弱语义样本的对比学习句嵌入方法,旨在生成有效句嵌入的同时,提升模型对文本语义相似性的识别效果。首先,采用标记重复算法构建相似样本并作为遮掩语言模型的输入,预测生成包含弱语义关系的样本;然后,将原始样本重复输入不同失活率的转换器,抽取不同的全局语义特征;最后,通过对比学习调整特征权重值,构建句嵌入。在公开数据集上进行系列对比实验,结果表明:基于弱语义样本的句嵌入表示方法性能优于其他方法,获得77.38%的相似性评估分数,为句嵌入生成和语义相似度识别任务提供了一种有效的解决方案。

基于弱语义注意力的遥感图像可解释目标检测

近些年来随着遥感技术的快速发展,遥感图像目标检测成为了当前的研究热点.针对遥感图像背景复杂以及现有目标检测模型缺乏可解释性等问题,本文提出了一种基于弱语义注意力的遥感图像可解释目标检测方法.具体地,首先通过多层级特征金字塔来解决遥感图像中目标尺度变化范围大的问题.其次,利用检测框的角度回归来解决遥感图像目标定向的问题.然后,基于弱语义分割网络产生强化目标特征的注意力权重值,抑制背景噪声.最终用网络剖析的分析方法,获取模型中卷积核对应的可解释性语义概念.实验结果表明,本文提出的算法在遥感图像目标检测的准确性以及对背景噪声抑制上有较好的表现,并且通过可解释性算法在一定程度上使本文提出的模型易于理解.

基于弱语义嵌入的图像相似性度量

提出了一种旨在缩小“语义鸿沟”的弱语义嵌入方法及其相似性度量模型。在该方法中，用户反馈的相关图像被当成查询图像的弱语义直接嵌入到视觉特征向量中，从而使固定的视觉特征向量成为可伸缩的包含语义和视觉特征的集合。根据心理学中集合论相似性理论，图像之间的相似性被表示成语义特征与视觉相似性之比。基于Corel图像库的实验结果表明，该方法在基于内容的图像检索中是非常有效的。

时间Petri网弱语义模型的形式化分析

时间Petri网存在强语义和弱语义两种模型,弱语义模型更适合建模和分析外部环境触发的冲突选择问题,但其形式语义和可达性分析方面的研究,却很少有人问津。利用带标号的变迁系统定义时间Petri网弱语义模型的形式语义,采用时间戳状态类方法分析它的可达性,并证明了可达性问题的可判性和状态类时间戳的全局时间性质。

基于弱语义分割的轻量化交通标志检测网络

针对现有网络在检测高分辨率交通标志图片时速度过慢、精确度较低等问题,提出一种轻量化交通标志检测网络。在MobileNetv3-Large基础上对YOLOv4网络的骨干部分进行优化,针对数据集的特点舍弃部分耗时层,更改第8层和第14层的输出通道数,并改进基础模块中通道域注意力网络的注意力机制,使输出的权重数值能更准确地表征特征的重要程度。在检测头前加入基于弱语义分割的动态增强附件,利用其输出作为空间权重分布来矫正激活区域,以避免提取能力下降导致误检、漏检问题,最终构成YOLOv4-SLite网络。采用滑窗剪裁的方法对高分辨率图片进行训练和预测,从而减少训练时间及增加样本的多样性。在TT100K交通标志数据集上的实验结果表明,相较于YOLOv4基准网络,YOLOv4-SLite网络的mAP@0.5仅下降了0.2%,但模型大小减少了96.5%,响应速度提升了227%,精确度与速度的平衡效果达到了预期。

三维点云弱监督语义分割研究进展综述

在三维点云语义分割任务中,使用少量标注的点云数据进行语义分割可以节省人力标注成本,近年来得到学术界的普遍关注。传统的三维点云语义分割方法多利用完全监督的方式,这类方法往往需要耗费人力和时间去标注大量点云,而使用弱监督方式只需要对点云进行少量的标注就能达到和完全监督方法相同的目的。文章回顾和讨论了近年来三维点云弱监督语义分割的发展,从不同角度总结了弱监督语义分割的相关方法,基于这些方法,在四个公开数据集上对其结果进行了定量分析与讨论,最后总结了三维点云弱监督语义分割存在的挑战,并展望了未来的发展方向。

基于特征融合的端到端弱监督语义分割

弱监督语义分割是一项极其具有挑战性的任务,它仅以图像级标签作为监督。现有的方法大都将骨干模型最后一层卷积层特征图与分类器权重相乘得到最具有判别力的区域,然而,仅仅得到最显著的特征对语义分割任务来说是不够的。遵循融合多层特征具有更加丰富的语义信息这一事实,将不同层的特征图进行融合,对融合后的特征图进行目标对象定位。将该方法迁移到一个端到端的网络框架中,语义分割性能显著提升。该端到端网络在Pascal VOC2012数据集的验证集上达到了62.5%的结果。

多类别标签弱监督语义分割热力图生成算法

针对弱监督语义分割过程中,类激活映射只关注影响分类结果的像素点,而忽略了图像内弱监督学习过程中出现的不确定像素点,导致类激活映射无法生成高精度热力图的问题,提出一种多类别标签弱监督语义分割热力图生成算法。通过将图像特征与种子区域生成的多类别标签相结合,构造一种注意力机制,使得算法可以关注到每类中的像素点,解决了弱监督语义分割过程中出现的不确定像素点分类问题,并生成高精度热力图,进一步提高弱监督语义分割算法的精度。在PascalVOC2012数据集进行仿真测试,与该算法同类激活映射相比,平均交并比提升14.57%。在无人车自主驾驶等领域具有较好的应用前景。

基于深度卷积神经网络的弱监督图像语义分割

图像语义分割是计算机视觉领域重要识别任务,其目标是估计图像中的像素级目标类标签。最近,深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)已经成为解决图像语义分割的主流方法。然而,学习DCNNs需要大量的已标注训练数据(Ground Truth,GT),而现有数据集中的GT在数量和多样性方面因标注成本巨大而受到诸多限制。弱监督方法则考虑利用图像级标签和物体框之类的弱标注信息解决图像语义分割中的标注问题。相比于全监督的像素级图像标注,图像分类的GT(图像级标签)和目标检测的GT(物体框)更容易获得,因而可以直接借用为弱标注信息训练分类模型。弱监督语义分割的主要挑战在于标注信息的不完整性,即缺失了物体精确的边界信息。文中对基于DCNNs的弱监督语义分割方法进行了全面的阐述,描述了如何克服这些限制并讨论了提高其性能的可能研究方向。

基于显著性背景引导的弱监督语义分割网络

目前基于图像级标注的弱监督语义分割方法大多依赖类激活初始响应以定位分割对象区域.然而,类激活响应图通常只集中在对象最具辨别性的区域,存在目标区域范围较小、边界模糊等缺点,导致最终分割区域不完整.针对此问题,文中提出基于显著性背景引导的弱监督语义分割网络.首先通过图像显著性映射和背景迭代产生背景种子区域.然后将其与分类网络生成的类激活映射图融合,获取有效的伪像素标签,用于训练语义分割模型.分割过程不再完全依赖最具判别性的类激活区域,而是通过图像显著性背景特征与类激活响应信息相互补充,这样可提供更精确的像素标签,提升分割网络的性能.在PASCAL VOC 2012数据集上的实验验证文中方法的有效性,同时分割性能较优.

基于弱监督语义分割的灯盏花无人机遥感种植信息提取

为及时掌握种植空间信息,保护和利用灯盏花,针对灯盏花垄间边界模糊,精细标记训练数据集获取困难问题,提出一种基于结合RGB波段最大差异法和弱监督语义分割的无人机遥感灯盏花种植信息提取方法。首先,对灯盏花进行边框级标记,制作弱标记数据集,减少标记时间成本;然后采用轻量级U-Net网络对弱标记数据集进行弱监督语义分割,实现灯盏花粗提取;最后,采用RGB波段最大差异法去除粗提取结果中的非灯盏花,实现灯盏花种植区精细提取。实验结果表明,提出方法在选取的3个灯盏花场景中交并比(Intersection-over-union,IoU)分别为90.55%、90.74%、86.63%,精度均高于面向对象分类法和最大似然法,并通过消融实验验证了方法的有效性。

弱监督语义分割的对抗学习方法

大多数弱监督语义分割的解决方案都利用图像级监督信息产生的类激活特征图进行训练学习。类激活特征图只能发现目标最具判别力的部分,它与真实的像素级标签信息存在较大差距,所以训练效果并不理想。对来自原图像及其仿射变化图像的类激活特征图进行对抗学习来达到更好的训练效果。首先将图像及对其进行仿射变化得到的图像输入孪生网络,使用图像级分类标签得到各自的类激活特征图,然后将这两组类激活特征图输入辨别网络进行对抗学习,训练孪生网络使得原图像与其仿射变化图像的类激活特征图逼近,从而有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能。在PASACAL VOC 2012数据集上,在验证集上的平均交并比为63.7%,测试集上的平均交并比为65.7%,与当前其他先进弱监督语义分割的方法进行对比,验证集与测试集上的平均交并比提高了1.2%和1.3%。该对抗性学习方案能有效利用等变注意力机制,学习更多的有效信息并缩小类激活特征图和真实的像素级标签之间的差距,提高弱监督的性能且达到了良好的分割效果。

一类命题逻辑的一般弱框架择类语义

命题逻辑的一般弱框架择类语义是相干邻域语义的变形,其特点是:采用择类运算来刻画逻辑常项;语义运算与逻辑联结词之间有清晰的对应关系,可以从整体上处理一类逻辑,具有普适性。本文将这种语义用于一类B、C、K、W命题逻辑,包括相干逻辑R及其线性片段、直觉主义逻辑及其BCK片段等,并借助典范框架和典范赋值,证明了这些逻辑系统的可靠性和完全性。

基于自监督图像对的弱监督语义分割算法

为了降低语义分割任务的标注成本,提出一种基于自监督图像对的弱监督语义分割算法Co-Net。首先,将一对图像分别输入骨干网络中提取图像对特征;然后,将特征展开加入位置信息送入编码层中进行编码;接着,将编码特征送入协同注意力模块(CoAM)以及双向自注意力模块(BiAM)中进行信息相互表征;最后,将图像区域掩码模型(MRM)以及图像对匹配(IPM)两种自监督任务用于网络训练,学习图像对中的全局关联以及局部关联,以此得到更加精确的初始化种子。仅使用图像级标签进行弱监督语义分割,在Pascal VOC 2012验证和测试集上分别实现了69.8%和70.3%的平均交并比(mIoU),相较于同样为图像对输入的算法GroupWSSS(Group-Wise Semantic mining for weakly Supervised Semantic Segmentation),验证集、测试集上的mIoU分别提高了1.6、1.8个百分点。实验结果表明,所提算法可以获得更加完整的目标激活区域。

显著性引导的目标互补隐藏弱监督语义分割

目的 图像级弱监督语义分割方法利用类别标签训练分割网络,可显著降低标注成本。现有方法大多采用类激活图定位目标物体,然而传统类激活图只能挖掘出物体中最具辨识性的区域,直接将其作为伪标签训练的分割网络精度较差。本文提出一种显著性引导的弱监督语义分割算法,可在获取更完整类激活图的基础上提高分割模型的性能。方法 首先通过显著图对目标进行互补随机隐藏,以获得互补图像对,然后融合互补图像对的类激活图作为监督,提高网络获取完整类激活图的能力。其次引入双重注意力修正模块,利用全局信息修正类激活图并生成伪标签训练分割网络。最后使用标签迭代精调策略,结合分割网络的初始预测、类激活图以及显著图生成更精确的伪标签,迭代训练分割网络。结果 在PASCAL VOC 2012(pattern analysis,statistical modeling and computational learning visual object classes 2012)数据集上进行类激活图生成实验与语义分割实验,所生成的类激活图更加完整,平均交并比有10.21%的提升。语义分割结果均优于对比方法,平均交并比提升6.9%。此外在COCO 2014(common object in context 2014)数据集上进行了多目标的语义分割实验,平均交并比提升0.5%。结论 该算法可获得更完整的类激活图,缓解了弱监督语义分割中监督信息不足的问题,提升了弱监督语义分割模型的精度。

基于深度学习的弱监督语义分割方法综述

语义分割是计算机视觉领域的基本任务,旨在为每个像素分配语义类别标签,实现对图像的像素级理解。得益于深度学习的发展,基于深度学习的全监督语义分割方法取得了巨大进展。然而,这些方法往往需要大量带有像素级标注的训练数据,标注成本巨大,限制了其在诸如自动驾驶、医学图像分析以及工业控制等实际场景中的应用。为了降低数据的标注成本并进一步拓宽语义分割的应用场景,研究者们越来越关注基于深度学习的弱监督语义分割方法,希望通过诸如图像级标注、最小包围盒标注、线标注和点标注等弱标注信息实现图像的像素级分割预测。首先对语义分割任务进行了简要介绍,并分析了全监督语义分割所面临的困境,从而引出弱监督语义分割。然后,介绍了相关数据集和评估指标。接着,根据弱标注的类型和受关注程度,从图像级标注、其他弱标注以及大模型辅助这3个方面回顾和讨论了弱监督语义分割的研究进展。其中,第2类弱监督语义分割方法包括基于最小包围盒、线和点标注的弱监督语义分割。最后,分析了弱监督语义分割领域存在的问题与挑战,并就其未来可能的研究方向提出建议,旨在进一步推动弱监督语义分割领域研究的发展。

作为语言学分支学科的语义学(二)

19世纪,语义演变规律的研究促成了语义学学科的独立。现今语言学发展的时代毋庸置疑是语义时代。语义学在语言学各分支学科中占据核心地位,这是由于人类语言的主要功能既是作为交际的手段,也是特定信息的编码和解码手段。语言语义学流派林林总总,究其各自的特点可归结为两大主要学派:一派主张强语义学,亦称外在语义学;一派主张弱语义学,亦称内在语义学。两大学派均认为,语义学研究对象是语言单位及其表达式的意义,但对意义的理解截然不同。

层级标签语义引导的极限多标签文本分类策略

极限多标签文本分类任务具有标签集大、类间关系复杂、数据分布不平衡等特点,是具有挑战性的研究热点。现有模型对标签语义信息利用不足,性能有限。对此,该文提出一种利用层级标签语义信息引导的极限多标签文本分类模型提升策略,在训练和预测过程中给予模型层级标签引导的弱监督语义指导信息,利用这种弱监督信息规约多标签文本分类任务中要对应的多标签语义边界。在标准数据集上的实验结果表明,该文所提策略能够有效提升现有模型性能,尤其在短文本数据集中增效显著,宏精准率最高提升21.23%。

一种复杂场景下高精度交通标志检测模型

交通标志检测在智能交通领域的安全保障上具有重要作用。对于部分外观相似的交通标志在尺度变化下,现有模型难以提取它们之间的细微差异,导致标志被错误分类。此外,在复杂场景下,其他相似物体容易被误检为交通标志。为此,提出一种逐层特征细化检测模型。根据交通标志特点提出分层聚类锚框和分组损失,分层聚类锚框根据目标尺度对数据集分层并通过K-means聚类算法获取各层锚框,更好地适应交通标志灵活的尺度变化,分组损失对外观相似的类别分组并设计损失函数,指导模型学习相似交通标志间的细微差距,从而降低错误分类。在Neck层加入弱语义分割模块和特征细化模块,通过弱语义分割模块学习浅层特征上下文信息,从而分割出可信区域和非可信区域,利用特征细化模块挖掘非可信区域的上下文信息,主动学习并消除造成误检的干扰,从而降低对其他相似物体的误检。弱语义分割模块和特征细化模块结合通道注意力构建逐层细化特征金字塔,实现对多尺度特征的整体优化并提高模型精确率。实验结果表明,该方法在TT100K和GTSDB交通标志数据集上的AP_(50)指标分别达到97.0%和98.6%。

弱监督深度语义分割网络的多源遥感影像水体检测

目的深度语义分割网络的优良性能高度依赖于大规模和高质量的像素级标签数据。在现实任务中,收集大规模、高质量的像素级水体标签数据将耗费大量人力物力。为了减少标注工作量,本文提出使用已有的公开水体覆盖产品来创建遥感影像对应的水体标签,然而已有的公开水体覆盖产品的空间分辨率低且存在一定错误。对此,提出采用弱监督深度学习方法训练深度语义分割网络。方法在训练阶段,将原始数据集划分为多个互不重叠的子数据集,分别训练深度语义分割网络,并将训练得到的多个深度语义分割网络协同更新标签,然后利用更新后的标签重复前述过程,重新训练深度语义分割网络,多次迭代后可以获得好的深度语义分割网络。在测试阶段,多源遥感影像经多个代表不同视角的深度语义分割网络分别预测,然后投票产生最后的水体检测结果。结果为了验证本文方法的有效性,基于原始多源遥感影像数据创建了一个面向水体检测的多源遥感影像数据集,并与基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络进行比较,交并比(intersection-over-union,IoU)分别提升了5.5%和7.2%。结论实验结果表明,本文方法具有收敛性,并且光学影像和合成孔径雷达(synthetic aperture radar,SAR)影像的融合有助于提高水体检测性能。在使用分辨率低、噪声多的水体标签进行训练的情况下,训练所得多视角模型的水体检测精度明显优于基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络。