融合自监督对比学习的雾天街景语义分割算法

针对雾天环境能见度低导致街道物体识别困难、分割速度慢等问题,提出了一种融合自监督对比学习的雾天街景语义分割算法。该算法选用轻量级网络MobileNetV2作为主干网络,设计深度聚合空洞空间金字塔池化模块,并使用带有扩张系数的深度可分离卷积替换普通卷积丰富特征多样性。然后通过融合对比学习框架,增加语义相似像素的相似度,保持不同语义像素之间的距离,从而提高模型对小目标物体细节边缘的表达能力和辨别能力。最后提出一种新的融合损失函数,采用监督学习和自监督学习共同指导网络训练,学习深度特征表示。实验结果表明,该模型在Foggy Cityscapes数据集上的平均交并比可达到74.35%,类别平均像素准确率为83.59%,像素准确率可达到95.85%,相比语义分割网络DeepLabV3+模型分别提高了3.82%、3.99%和1.02%,同时模型参数量为2.88M,比DeepLabV3+模型的参数量缩减近55%,优化了网络计算消耗。该算法在雾天语义分割中拥有良好的性能,在降低模型参数量的同时保持了高分割精度,具有良好的鲁棒性。

基于乳腺超声视频流和自监督对比学习的肿瘤良恶性分类系统

乳腺超声广泛应用于乳腺肿瘤诊断,基于深度学习的肿瘤良恶性分类模型可以有效地辅助医生诊断,提高效率,降低误诊率,然而,由于标注数据的高成本问题,限制了此类模型的开发和应用.为此,从乳腺超声视频中构建了无标注预训练数据集,包含11805个目标样本数据和动态生成的正、负样本数据集(样本量分别为188880和1310355个).基于该数据集,搭建了三胞胎网络并进行了自监督对比学习.此外,还发展了Hard Negative Mining和Hard Positive Mining方法来选取困难的正负样本构建对比损失函数,加快模型收敛.参数迁移后,将三胞胎网络在SYU数据集上进行微调和测试.实验结果表明,与基于ImageNet预训练的若干SOTA模型以及与前人针对乳腺超声的多视图对比模型相比,提出的三胞胎网络模型具有更强的泛化能力和更好的分类性能.此外,还测试了模型对标注数据量的需求下限,发现仅使用96个标注数据,模型性能即可达到AUC=0.901,敏感度为0.835.

用于语义分割的自监督对比式表征学习

为了提升语义分割模型的精度,并减少逐像素标注大规模语义分割数据集的人力和时间成本,研究了自监督对比式表征学习的预训练方法,并结合语义分割任务的特点,设计了全局-局部交叉对比学习(GLCCL)方法。该方法将全局图像和局部分块后的一系列图像块输入到网络中分别编码全局和局部视觉表征,并通过构建包含全局对比、局部对比和全局-局部交叉对比的损失函数来指导模型训练,使得模型能够同时学习全局和局部区域的视觉表征以及跨区域语义相关性。使用该方法预训练BiSeNet再迁移到语义分割任务时,对比现有的自监督对比式表征学习和有监督预训练方法分别具有0.24%和0.9%平均交并比(MIoU)的性能提升。实验结果表明,该方法能够采用无标注的数据训练语义分割模型而实现分割效果的提升,具有一定的实用价值。

基于自监督对比学习与方面级情感分析的联合微调模型

方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层结构重合,从而限制了整体模型性能。由于对比学习方法有助于改善预训练语言模型在词语级别和句子级别的表示,设计了一种结合自监督对比学习与方面级情感分析的联合微调模型(self-supervised contrastive learning aspect-based sentiment analysis,SSCL-ABSA)。该模型以简洁的下游结构联合两种学习任务,实现从不同角度微调预训练基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)模型,有效促进了方面级情感分析效果的提升。具体地,首先在BERT编码阶段,将评论文本与方面词拼接成两个片段输入BERT编码器,得到各词特征表示。之后根据下游结构需求,对不同的词特征采用池化操作。一方面池化所有词特征用于方面级情感分析,另一方面池化两个片段的方面词特征用于自监督对比学习。最终结合两种任务以联合学习的方式微调BERT编码器。在3个公开数据集上进行实验评估,结果表明SSCL-ABSA方法优于其他同类对比方法。借助t-分布随机近邻嵌入(t-distributed stochastic neighbor embedding,t-SNE)方法,形象地可视化了SSCL-ABSA有效改善了BERT模型的实体表示效果。

基于正样本重构对比学习的小样本高光谱图像分类研究

对比学习作为一种有效的预训练方式,通过区分正负样本对,促使编码器学到良好的视觉表征,使用少量样本即可获得优越的模型性能。然而现有的对比学习方法,仅通过数据增强这一单一方式构造正样本,导致所构建的正样本缺乏真实性和丰富性,限制了模型的性能。为缓解这一问题,提出一种基于正样本重构的对比学习框架。通过构造样本支持集,搜索当前样本的最近邻域作为正样本,将正样本扩充到真实场景,进一步提升算法的分类性能。实验结果表明,在公开的高光谱图像数据集Pavia University和Houston上,所提出的算法仅使用每类10个标记样本即可获得优越的分类效果,在减少算法数据依赖的同时,提升了模型性能。

基于对比学习MocoV2的COVID-19图像分类

肺炎是一种常见多发感染性疾病,老年人和免疫力较弱者容易感染,尽早发现有助于后期治疗。肺部病变的位置、密度和清晰度等因素会影响肺炎图像分类的准确性。随着深度学习的发展,卷积神经网络被广泛应用于医学图像分类任务中,然而网络的学习能力依赖训练样本的数量和标签。针对电子计算机断层扫描(Computed Tomography,CT)的肺炎图像分类研究,提出一种基于自监督对比学习的网络模型(MCLSE),可以从无标记的数据中学习特征,提高网络模型的准确率。本文模型(MCLSE)首先设计辅助任务,从无标记的图像中挖掘表征完成预训练,提高模型在向量空间中学习数据映射关系的能力。其次,使用卷积神经网络提取特征,为了有效捕获更高层次的特征信息选择SENet网络改进分类模型,建模特征通道的相关性。最后,用训练好的权重加载改进后的分类模型中,下游任务中使用标记数据再次训练网络。在公开数据集SARS-CoV-2 CT和CT Scans for COVID-19 Classification上进行实验,实验结果表明MCLSE对整体样本分类的准确率分别达到99.19%和99.75%,较主流模型有很大提升。

通用域适应综述

域适应问题放宽了传统机器学习问题关于训练样本和测试样本同分布的假设,在域间差异存在的情况下从富有标签的源域迁移知识到缺少标签的目标域.但现有域适应方法大多依赖于对源域和目标域标签集合的相对关系的假设,不贴合实际应用场景,因此,通用域适应问题考虑如何在缺少源域和目标域的标签集合先验信息的情况下,实现对目标域的标记.在此过程中,通用域适应方法需要判定目标域样本是否属于源域类别,克服域间差异和潜在的类别差异,在源域和目标域共有类上完成标签的迁移.首先从问题设置与方法策略2方面,对通用域适应方法进行梳理;然后通过实验对比了典型方法,进而分析了通用域适应问题的研究难点;随后整理了现有方法的应用情况,对与之有关的实际应用问题进行了分析;最后探讨了通用域适应问题未来研究方向.

基于虚拟节点策略的自监督对比学业预警模型

针对大多数学业预警方法忽略了学生社交行为对于学业的影响,且存在数据不平衡问题和长尾分布问题,提出一种基于虚拟节点策略的自监督对比学业预警模型(SCEW)。通过图神经网络对学生成绩、学生社交行为进行融合得到联合图嵌入;利用虚拟节点策略缓解数据不平衡问题的影响;基于自更新策略,采用节点级对比学习将自监督学习集成到网络的训练中,缓解长尾分布问题的影响。在真实数据集上的实验结果表明,SCEW模型的性能优于现有的主流方法。

结合自对比图神经网络与双预测器的会话推荐模型

基于会话的推荐旨在利用短时匿名会话预测用户行为.现有结合图神经网络与对比学习的会话推荐模型大多采用联合优化交叉熵损失与对比学习损失的方法,但二者所起作用相似,同时需要构建大量复杂的正负样本,为模型带来负担.此外,简单的线性预测器不能较好地预测带有用户随机行为的数据.针对上述问题,文中提出结合自对比图神经网络与双预测器的会话推荐模型(Session-Based Recommendation Model with Self Contrastive Graph Neural Network and Dual Predictor,SCGNN).首先,使用双视图建模原始会话,采用改进的图神经网络学习物品嵌入与会话嵌入,并通过自对比学习优化物品表示.然后,提出用户行为感知因子,应对用户随机行为带来的影响.最后,采用决策森林预测器与线性预测器对物品进行预测,并提出软标签生成策略,通过协同过滤与当前会话类似的历史会话以辅助预测.在Tmall、Diginetica、Nowplaying数据集上的实验表明文中模型的有效性.

注射用泮托拉唑钠中有关物质研究

目的提高注射用泮托拉唑钠中有关物质的质量标准。方法色谱柱为Thermo Hypersil ODS C18柱(125 mm×4.0 mm,5μm),流动相为0.01 mol/L磷酸二氢钾缓冲液(用20%磷酸调pH至7.0)-[水-乙腈(1∶99,V/V)],梯度洗脱,流速为1.0 mL/min,检测波长为290 nm(杂质A,B,D+F,E)和305 nm(杂质C),柱温为40℃,进样量为20μL。采用加校正因子的主成分自身对照法计算有关物质的含量,杂质A,B,D+F,E按校正因子1.0计算,杂质C按校正因子0.3计算。结果在拟订色谱条件下,出峰顺序依次为杂质C、杂质A、泮托拉唑、杂质D+F、杂质E、杂质B,泮托拉唑与杂质D+F的分离度大于3.0;杂质A、杂质B、杂质C、杂质D+F、杂质E、泮托拉唑的检测限分别为0.24,0.29,0.80,0.71,0.30,0.30 ng。调整流动相梯度洗脱程序后,杂质D和杂质F的分离度大于1.0;检测限均为0.01μg/mL;加样回收率均在90%~110%范围内,RSD低于10.0%(n=9)。6批注射用泮托拉唑钠样品中均检出杂质A(C16H15N3O5F2S)、杂质C(C8H6F2N2OS)、杂质D+F(C17H17F2N3O4S,对映异构体)。结论该方法操作简单、专属性强,可用于注射用泮托拉唑钠中有关物质的质量控制。拟订杂质A、杂质C、其他单个杂质含量均不得过0.2%,杂质B、杂质E含量均不得过0.1%,杂质D、杂质F含量均不得过0.5%,总杂质含量不得过1.0%。

无负采样的正样本增强图对比学习推荐方法PAGCL

对比学习(CL)因能够提取数据本身包含的监督信号而被广泛应用于推荐任务。最近的研究表明,CL在推荐方面的成功依赖于对比损失——互信息噪声对比估计(InfoNCE)损失带来的节点分布的均匀性。此外,另一项研究证明贝叶斯个性化排序(BPR)损失的正项与负项分别带来的对齐性和均匀性有助于提高推荐性能。由于在CL框架中对比损失能够带来比BPR负项更强的均匀性,BPR负项存在的必要性值得商榷。实验分析表明在对比框架中BPR的负项是不必要的,并基于这一观察提出了无需负采样的联合优化损失,可应用于经典的CL方法并达到相同或更高的性能。此外,与专注于提高均匀性的研究不同,为进一步加强对齐性,提出一种新颖的正样本增强的图对比学习方法(PAGCL),该方法使用随机正样本在节点表示层面进行扰动。在多个基准数据集上的实验结果表明,PAGCL在召回率及归一化折损累积增益(NDCG)这两个常用指标上均优于SOTA方法自监督图学习(SGL)、简单图对比学习(SimGCL)等,且相较于基模型轻量化图卷积(LightGCN)的NDCG@20提升最大可达17.6%。

基于查询语义特性的稠密文本检索模型

针对现有稠密文本检索模型(dense passage retrieval,DPR)存在的负采样效率低、易产生过拟合等问题,提出了一种基于查询语义特性的稠密文本检索模型(Q-DPR)。首先,针对模型的负采样过程,提出了一种基于近邻查询的负采样方法。该方法通过检索近邻查询,快速地构建高质量的负相关样本,以降低模型的训练成本。其次,针对模型易产生过拟合的问题,提出了一种基于对比学习的查询自监督方法。该方法通过建立查询间的自监督对比损失,缓解模型对训练标签的过拟合,从而提升模型的检索准确性。Q-DPR在面向开放领域问答的大型数据集MSMARCO上表现优异,取得了0.348的平均倒数排名以及0.975的召回率。实验结果证明,该模型成功地降低了训练的开销,同时也提升了检索的性能。

生成式与对比式耦合的声纹识别自监督预训练方法

当前,自监督学习技术已成为缓解声纹识别任务有标签训练数据不足问题的主要手段.然而,相关研究目前仅注重学习样本的全局特征,忽略了对样本局部特征的学习.为了解决该问题,本文提出了一种耦合生成式建模和对比式建模的声纹识别自监督框架.该框架不仅保留了对比式建模对所学全局特征的约束,同时引入了生成式建模对所学局部特征的约束,使得特征提取模型学习到更具判别性的特征.基于此框架,本文提出了一种新的声纹识别自监督学习方法DINO-MFM.实验结果表明,DINO-MFM比其他自监督方法具有更好的性能表现,相较于对比式方法DINO,等错率下降了6.4%.

基于对比学习的心电信号情绪识别方法

现有的机器学习和深度学习在解决基于心电信号的情绪识别问题时主要使用全监督的学习方法。这种方法的缺点在于需要大量的有标签数据和计算资源。同时,全监督方法学习到的特征表示通常只能针对特定任务,泛化性较差。针对这些问题,提出了一种基于对比学习的心电信号情绪识别方法,该方法分为预训练和微调两步。预训练的目的是从未标记的心电数据中学习特征表示,具体为:设计了两种简单高效的心电信号增强方式,将原始数据通过这两种数据增强转换成两个相关但不同的视图;接着这两种视图在时间对比模块中学习鲁棒的时间特征表示;最后在上下文对比模块中学习具有判别性的特征表示。微调阶段则使用带标记数据来学习情绪识别任务。在三个公开数据集上的实验表明,该方法在心电信号情绪识别准确率上与现有方法相比提高了0.21%~3.81%。此外,模型在半监督设定场景中表现出高有效性。

面向RGB-D语义分割的多模态任意旋转自监督学习

基于RGB-D数据的自监督学习受到广泛关注,然而大多数方法侧重全局级别的表示学习,会丢失对识别对象至关重要的局部细节信息.由于RGB-D数据中图像和深度具有几何一致性,因此这可以作为线索来指导RGB-D数据的自监督特征表示学习.在本文中,我们提出了ArbRot,它可以无限制地旋转角度并为代理任务生成多个伪标签用于自监督学习,而且还建立了全局和局部之间的上下文联系.本文所提出的ArbRot可以与其他对比学习方法联合训练,构建多模态多代理任务自监督学习框架,以增强图像和深度视图的特征表示一致性,从而为RGB-D语义分割任务提供有效的初始化.在SUN RGB-D和NYU Depth Dataset V2数据集上的实验结果表明,多模态任意旋转自监督学习得到的特征表示质量均高于基线模型.开源代码:https://github.com/Physu/ArbRot.

基于半监督对比学习的地震相智能识别方法研究

近年来,基于无监督学习和有监督学习的深度神经网络在地震相智能识别中发挥了重要的作用。但在实际应用中,无监督学习因缺少先验知识的引导,而识别精度相对较低。有监督学习需依赖大量标签信息,而实际情况难以满足该要求。提出一种半监督对比学习地震相识别方法,采用无标签数据和有标签数据共同学习以优化模型的性能和学习能力,从全部数据中学习相似样本之间的特征和不相似样本的差异,尽可能缩小同类地震相的类内距离并尽可能扩大类间距离;然后,利用少量的标签学习,将相类型和学习到的特征对应起来;最终实现全区的地震相高精度识别。将该方法应用于SEAM AI地震数据和南海某工区地震数据,获得了地震相识别结果,并将其与常规有监督地震相识别方法得到的结果进行对比,发现在少量标签的情况下,半监督对比学习地震相识别方法能有效识别不同类别的地震相,提高了地震相识别精度,具有良好的应用前景。

基于自相似与对比学习的图像跨域转换算法

图像跨域转换,又称图像翻译,是一种旨在将源域的图像转换为目标域的图像的技术,具体来说是使生成图像在保持源域图像的结构(轮廓、姿态等)的同时具有目标域图像的风格(纹理、颜色等).图像跨域转换技术在视觉领域有着广泛的应用,如照片编辑和视频特效制作.近年来,该技术在深度学习尤其是生成对抗网络的基础上得到了飞速发展,也取得了令人印象深刻的结果,但是迁移后的生成图像仍然存在颜色模式坍塌、内容结构无法保持等问题,针对这些问题,提出了一种基于自相似性与对比学习的图像跨域转换算法.该算法利用预先训练的深度神经网络模型提取图像的内容特征和风格特征,将感知损失和基于自相似性的损失作为图像内容损失函数,同时使用一种宽松的最优传输损失和基于矩匹配计算的损失作为图像风格损失函数对提出的神经网络进行训练,并通过将生成图像和目标域图像标记为正样本对,将生成图像和源域标记为负样本进行对比学习.在4个数据集上对提出的算法进行了实验验证,结果表明提出的算法在生成的结果图像上较好地保持了源域图像的内容结构,同时减少颜色的模式坍塌,且使生成的图像风格与引导图像的风格更加一致.

深度对比学习综述

在深度学习中,如何利用大量、易获取的无标注数据增强神经网络模型的特征表达能力,是一个具有重要意义的研究问题,而对比学习是解决该问题的有效方法之一,近年来得到了学术界的广泛关注,涌现出一大批新的研究方法和成果.本文综合考察对比学习近年的发展和进步,提出一种新的面向对比学习的归类方法,该方法将现有对比学习方法归纳为5类,包括:1)样本对构造;2)图像增广;3)网络架构;4)损失函数;5)应用.基于提出的归类方法,对现有对比研究成果进行系统综述,并评述代表性方法的技术特点和区别,系统对比分析现有对比学习方法在不同基准数据集上的性能表现.本文还将梳理对比学习的学术发展史,并探讨对比学习与自监督学习、度量学习的区别和联系.最后,本文将讨论对比学习的现存挑战,并展望未来发展方向和趋势.

对比学习研究综述

由于传统的监督学习方法很大程度上依赖于大量的标注数据,近年来,无需外部监督信息的自监督学习方法受到了极大关注.对比学习是一种有效的自监督学习方法,它通过对比相似样本和不相似样本,使得模型能够学习到样本的重要内在特征,进而应用于下游任务,在计算机视觉和自然语言处理等领域得到了越来越广泛的应用.本文系统地梳理了对比学习研究现状.首先介绍了对比学习的起源和主要思想,然后归纳了对比学习在设计映射函数、正负例构造和损失函数构造等方面的研究动态,接着重点介绍了面向计算机视觉和自然语言处理的对比学习研究;最后,分析了现有研究存在的问题,探讨了对比学习未来的研究趋势和发展方向.

基于自监督对比学习的信号调制识别算法

近年来,基于深度学习的信号调制识别技术发展迅速,但大多数解决方案以监督学习方法为主,需要大量带标签样本。考虑到信号数据样本分析标注难度大、成本高,提出了一种通过自监督对比学习利用大量无标签样本进行模型预训练、基于预训练特征值提取及利用少量带标签样本进行调制识别训练的学习方法,可大幅降低训练所需的带标签样本数量。在RadioML2018.01A上的试验表明,所提方法仅需1%的带标签数据就能达到全数据集上与监督学习模型相当的性能,且带标签数据减少至0.1%时,对信噪比大于等于8 dB的24类调制信号的识别准确率仍然能达到93%以上。