医学图像分割的无监督域适应研究综述

医学图像分割在医学图像处理领域中具有广泛的应用前景,通过定位和分割出感兴趣的器官、组织或病变区域,为诊断和治疗提供辅助信息。但不同模态医学图像之间存在域偏移问题,这会导致在实际部署时分割模型的性能大幅下降。域适应技术是解决该问题的有效途径,尤其是无监督域适应,因其不需要目标域标签信息而成为医学图像处理领域的研究热点。目前,针对医学图像分割的无监督域适应研究的综述报告相对较少,对近年医学图像分割的无监督域适应的相关研究进行了整理、分析和总结,并对未来进行了展望,希望帮助相关研究人员快速了解并熟悉该领域的研究现状及趋势。

基于信息融合子域适应的不同工况下谐波减速器故障诊断方法

针对工业机器人谐波减速器不同工况数据分布差异大,部分工况数据标签缺失以及单一传感器获取信息不全面,导致诊断准确率不高的问题,提出一种信息融合子域适应的不同工况下谐波减速器故障诊断方法。该方法将源域和目标域一维振动数据利用小波变换构建时频图;使用基于小波变换的图像融合方法整合多个传感器的时频信息并构建融合图像;提出多表示特征提取结构的改进残差网络以充分挖掘融合样本多表示特征,同时,在无监督场景下将源域和目标域融合样本的多表示特征进行子域适应处理,减小两域的各个子域间的分布差异,从而将知识从标签丰富的源域迁移到标签缺失的目标域,最终实现不同工况下谐波减速器的故障诊断。通过搭建工业机器人谐波减速器故障实验台并进行实测,所提方法在所有迁移任务中平均准确率可达98.8%,能够有效实现无监督场景中不同工况下谐波减速器的故障诊断。

基于深度域适应迁移学习的滚动轴承故障诊断方法研究

在实际工业生产中,滚动轴承故障数据稀疏,构建的小样本数据集易导致模型过拟合,需要进行数据增强构成训练域。由于机械设备在运行中存在工况时变性,导致训练数据和测试数据之间存在差异,进而造成轴承故障诊断准确率不高,故提出一种基于生成对抗网络和多核最大均值差异(MK-MMD)的深度域适应迁移学习方法。文中通过有限元模拟获得大量带有标签的仿真故障数据,在此基础上构建深度域适应迁移学习的故障诊断模型,并利用凯斯西储大学的轴承数据集对轴承故障诊断模型进行测试。此外,通过与卷积神经网络(CNN)、深度适配网络(DAN)和深度域自适应网络(DANN)的故障诊断结果对比,证明基于有限元模拟的数据增强和迁移学习的轴承故障诊断方法可有效提高轴承故障诊断的准确度。

基于半监督学习的域适应实体解析算法

实体解析旨在查找两个数据实体是否引用同一实体,是许多自然语言处理任务中的一项基本任务。现有的基于深度学习的实体解析解决方案通常需要大量的标注数据,即使利用预训练的语言模型进行训练,仍然需要数千个标签才能达到令人满意的准确性。现实场景中,这些标注数据并不容易获得。针对上述问题,提出了一个基于半监督学习的域适应实体解析模型。首先,在源域上训练一个分类器,然后利用域适应减小源域和目标域的分布差异,同时用数据增强后的目标域软伪标签加入源域迭代训练,从而实现从源域到目标域的知识迁移。在13个来自相同或不同领域的数据集上对所提模型进行了对比实验和消融实验,实验结果表明,与无监督基线模型相比,所提模型在多个数据集上的F1值平均提升了2.84%,9.16%和7.1%;与有监督基线模型相比,所提模型只需要20%~40%的标签就可以达到与有监督学习相当的性能。消融实验进一步证明了所提模型的有效性,其总体上可以获得更好的实体解析结果(相关代码已开源1))。

基于多源域适应的缺陷类别预测方法

随着规模和复杂性的迅猛膨胀,软件系统中不可避免地存在缺陷.近年来,基于深度学习的缺陷预测技术成为软件工程领域的研究热点.该类技术可以在不运行代码的情况下发现其中潜藏的缺陷,因而在工业界和学术界受到了广泛的关注.然而,已有方法大多关注方法级的源代码中是否存在缺陷,无法精确识别具体的缺陷类别,从而降低了开发人员进行缺陷定位及修复工作的效率.此外,在实际软件开发实践中,新项目通常缺乏足够的缺陷数据来训练高精度的深度学习模型,而利用已有项目的历史数据训练好的模型往往在新项目上无法达到良好的泛化性能.因此,首先将传统的二分类缺陷预测任务表述为多标签分类问题,即,使用CWE(common weakness enumeration)中描述的缺陷类别作为细粒度的模型预测标签.为了提高跨项目场景下的模型性能,提出一种融合对抗训练和注意力机制的多源域适应框架.该框架通过对抗训练来减少域(即软件项目)差异,并进一步利用域不变特征来获得每个源域和目标域之间的特征相关性.同时,该框架还利用加权最大均值差异作为注意力机制,以最小化源域和目标域特征之间的表示距离,从而使模型可以学习到更多的域无关特征.在构建的包含8个真实世界开源项目的数据集上的实验表明,所提方法对比最先进的基线方法取得了显著的性能提升.

基于域适应的图像语义分割综述

随着深度学习技术的迅速发展,语义分割算法在性能提升的同时依赖于大规模成对图像数据及其耗时耗力的像素级标注.人工制作的合成图像以规模大、易标注的特点,替代真实图像有效降低了训练成本.然而,合成图像与真实图像的域间差异性降低了分割网络的泛化能力.针对域间差异问题,研究者提出域适应语义分割(Domain Adaptive Semantic Segmentation,DASS)算法.该算法通过提取合成图像与真实图像的跨域共享知识,减小域间差异,提升分割网络在真实图像上的泛化能力.本文根据网络结构对主流DASS算法进行分类,分析了不同算法的性能对比结果,并提出未来研究方向.研究结果表明:早期的DASS算法利用生成对抗网络对齐源域和目标域的边缘分布,但网络结构复杂,并且只能实现两域的全局对齐,无法实现不同类别之间的精细对齐,性能较低;后续算法逐渐转向自训练网络结构,利用预训练的分割网络在目标域生成伪标签,为下一轮训练提供监督,结构简单,性能表现优于早期算法;随着Transformer网络的出现,其强大的特征提取能力进一步提升了DASS算法的准确性.

多源域适应方法综述

域适应是解决源域样本和目标域样本不满足独立同分布问题的迁移学习范式,是当下研究的重点方法。然而实际情况下获取源域样本的渠道和方法并不唯一,这会导致源域中存在多种不同分布的样本。多源域适应方法是解决源域样本分布多样性问题的有效途径,其主要研究各源域分布间的关系和与目标域分布对齐的策略,进一步减轻各域之间的域偏移,具有实用意义和挑战价值。随着深度学习技术的不断进步,多源域适应方法主要使用深度神经网络提取各域的域不变特征作为分布对齐的依据,结合使用度量准则衡量分布差异或者利用对抗思想对齐域间分布。经过理论证明和实验验证,多源域适应方法训练的模型比单源域方法训练的模型具有更好的泛化性能,更符合现实需求。通过介绍多源域适应的研究现状和相关概念,对现有算法进行总结和综述,按照迁移方式不同对多源域适应方法进行分类,进一步分析多源域适应方法性能的实验结果,阐述其存在的不足和缺点,并对多源域适应领域的发展和趋势进行预测。

通用域适应综述

域适应问题放宽了传统机器学习问题关于训练样本和测试样本同分布的假设,在域间差异存在的情况下从富有标签的源域迁移知识到缺少标签的目标域.但现有域适应方法大多依赖于对源域和目标域标签集合的相对关系的假设,不贴合实际应用场景,因此,通用域适应问题考虑如何在缺少源域和目标域的标签集合先验信息的情况下,实现对目标域的标记.在此过程中,通用域适应方法需要判定目标域样本是否属于源域类别,克服域间差异和潜在的类别差异,在源域和目标域共有类上完成标签的迁移.首先从问题设置与方法策略2方面,对通用域适应方法进行梳理;然后通过实验对比了典型方法,进而分析了通用域适应问题的研究难点;随后整理了现有方法的应用情况,对与之有关的实际应用问题进行了分析;最后探讨了通用域适应问题未来研究方向.

无监督域适应迁移学习在旋转机械故障诊断中的应用

故障诊断在旋转机械领域具有重要的意义,而深度学习和迁移学习的发展为提高故障诊断的准确性和鲁棒性提供了新的途径。针对旋转机械故障诊断问题,提出了一种基于深度对抗神经网络(domain-adversarial neural network, DANN)和多核最大平均差异(multiple kernel maximum mean discrepancy, MK-MMD)的无监督域适应迁移学习方法。首先,收集了源工况和目标工况下的振动信号数据并通过快速傅里叶变换(fast Fourier transform, FFT)转化为频域信号。然后,构建了一个ResNeXt-50特征提取器,并使用DANN和MK-MMD方法进行特征映射和域适应,从而实现源工况到目标工况的迁移学习。试验结果表明,该方法能提高对故障特征的识别精度,且在不同工况下的迁移试验中具有更好的鲁棒性。

基于深度学习域适应的飞机结冰图像气泡提取方法

针对采用深度学习方法提取结冰显微图像中的气泡需要大量标注数据,但人工标注气泡任务较为困难的问题,提出了一种基于风格迁移网络CycleGAN和图像分割网络Attention U-Net的域适应提取方法。该方法通过程序模拟气泡形态生成的图像为源域,结冰显微图像为目标域,通过CycleGAN将源域图像转为目标域风格,采用风格转换后的源域数据集训练Attention U-Net网络。通过对比实验对无标注结冰图像和少量标注图像两种情况进行验证。实验结果表明,在无标注图像的情况下,可实现无监督的结冰显微图像的气泡提取;在只有少量标注图像的情况下,该方法可实现更精确的气泡提取。

基于多源域适应JYPLS迁移的间歇过程质量预测

针对间歇过程数据不足,单源域迁移存在模型偏移,跨域信息损失导致建模效果不佳、负迁移等问题,结合域适应学习和多源域学习方法的优势,提出一种基于多源域适应联合Y偏最小二乘(joint-Y partial least squares,JYPLS)迁移的间歇过程质量预测方法。该方法通过迁移学习使用相似旧过程的数据辅助新过程建模,提高建模效率和模型预测精度;采用多源域适应的方式,通过引入多个源域,有效避免了负迁移;基于域适应思想减少源域和目标域之间的边缘概率分布差异,使得源域知识在目标域更好地泛化。最后,通过青霉素发酵过程的仿真案例验证了所提方法的有效性。

基于域适应对抗网络的眼底图像联合分割方法

由于数据集之间存在域偏移问题,基于深度学习的语义分割网络在不同数据集之间进行视盘视杯分割性能存在很大差异,这使得不同的医学站点之间进行精确的图像分析和诊断具有一定的挑战性。针对这一问题,提出了一种U-Net结合域对抗网络(domain adversarial via U-Net network,DAUNet)的无监督域适应视盘视杯联合分割方法,并在视盘视杯分割领域取得了不错的性能。首先,利用对抗思想结合目标数据先验特征信息生成与目标数据集相似的数据,预先调整网络参数;其次,通过对抗学习源域和目标域的域变特征,从而降低域偏移的影响,提高分割性能。在REFUGE、Drishti-GS和RIM-ONE-r3共3个数据集之间进行跨数据集的域适应实验和消融实验。实验结果表明,DAUNet网络在以REFUGE作为源域,RIM-ONE-r3作为目标域上视杯的Dice系数,视盘的Dice系数和CDR的绝对错误率分别为0.6486、0.7898、0.0725,优于CADA的分割结果。在消融实验中,视盘分割和视杯分割在有对抗下分别优于无对抗8.00%、4.59%。提出的U型域对抗网络综合了U-Net和域对抗网络(domain-adversarial neural network,DANN)模型的优点,DANN模型中的生成器和判别器联合工作时,会相互对抗并优化分割和判别能力,从而显著提高不同数据集之间的分割性能。

可判别性标签语义指导的域适应检索

从不同领域准确检索相似的对象,域适应检索解决了信息检索中的域偏移问题.然而,现有的方法仍然存在两个问题:a)忽略了类结构差异造成的域偏移(跨域和域内不同类的距离较近);b)忽略了特征与标签之间的语义差异.为了解决上述两个问题,本文提出了一种高效的可判别性标签语义指导学习(DLSG)方法.该方法探索源域和目标域的类结构,通过拉大不同类的距离使得类别更具有判别性.然后通过标签语义指导学习(LSG)来增强特征的标签语义,以提高学习的有效性.此外,动态对齐边缘分布和条件分布,以减少域差异.最后,采用两步哈希策略生成高质量的哈希码.在多个跨域检索数据集上的实验表明,DLSG的性能得到了提高.

基于半监督域适应的微弱光环境下行人检测研究

为了解决可见光图像在微弱光环境下会出现检测性能下降的问题,本文提出了一种半监督域适应的行人检测算法。首先,结合均值教师模型和YOLOv8检测器搭建半监督检测网络;其次,使用图像融合算法和风格迁移算法相结合的方式生成伪图像进行伪交叉训练,减少图像之间的域差异问题;最后,将基于Transform的混合注意力机制引入主干特征提取网络,在提升图像分辨率的同时进一步提升检测精度。实验结果表明:在LLVIP数据集和KAIST数据集上,该算法的检测精度分别达到89.3%和66.8%,相比SSDA-YOLO算法分别高出7.6%和19.8%;相比Efficient Teacher算法分别高出4%和8.7%;相比全监督算法ICAFusion分别高出1.8%和17.9%。与以往的算法相比,该算法具有更高的检测精度。

全局-实例特征对齐域适应检测方法及系统设计

在实际应用检测模型时,由于真实场景和训练数据集间的差异,检测算法的效果受到较大影响。为了在目标场景中获得更好的检测效果,通常需要采集、标注数据后训练,不仅成本高昂且流程复杂。提出基于注意力机制的全局-实例域适应检测算法与系统,仅需采集部分真实场景数据即可进行迁移学习,实现模型快速训练和边缘端-云端结合的远程部署。该域适应检测算法中,基于注意力机制的全局特征对抗学习算法可减弱背景特征在迁移学习中的负作用;基于字典学习的实例级特征对齐方法,对实例级特征进行高精度对齐。经过实验对比,本文的方法达到了接近SOTA(state-of-the-art)的水平,并通过消融实验定量地证明了本方法对于域适应检测效果的提升。本文将提出的域适应检测技术与具有数据传输链路的边缘端系统结合,在实际场景中使检测效果提升近10个点。

基于归一化控制器的光伏图像无监督域适应缺陷检测

为解决在太阳电池数据集域偏移问题,提出一种针对动态开放场景下光伏缺陷检测的数据归一化控制器(DNC),以提高网络的域适应能力。在测试阶段,该文的DNC方法通过修改模型参数,根据小批次样本数据(0.5%)来实现领域统计纠正。DNC可将目标域产生域偏移的数据映射到与源域数据相同的分布空间,而无需提前标注数据或访问目标域的全部数据。实验结果表明,DNC能显著提高目标检测模型对域偏移数据的适应能力。仅使用少量未标记的目标域数据(少于0.5%)就可在分布外数据上获得显著的性能提升,同时不会降低模型的预测速度(FPS)。

特征互斥化的目标检测域适应方法

当前,蒸馏学习已成为目标检测无监督域适应领域中的一种常用技术手段。然而蒸馏带来的特征偏移会导致目标域上伪标签的准确性较低,不利于目标域的精确检测。因此提出特征互斥化方法,包括特征分布互斥化和特征属性互斥化。其中特征分布互斥化鼓励网络对不同类别的特征分布进行互斥,特征属性互斥化促使分类器对不同类别主要使用的属性进行互斥。还提出强弱增强一致性方法对网络的预测输出进行一致性约束,促使网络提取的特征中主要包含与目标域检测相关的属性,进一步提高特征互斥化方法的效果。所提方法在多个域适应场景上进行了广泛的实验,在相同实验设置下的结果表明,所提方法较其他先进方法具有更好的有效性。

基于无源域适应的脑电情绪识别

现有脑电情绪识别中的域适应方法利用源域数据及其特征分布来训练模型,不可避免地需要频繁访问源域,可能会导致源域受试者的隐私信息泄露。针对该问题,本研究提出一种基于高斯混合模型、核范数最大化和Tsallis熵的无源域适应(GNTSFDA)脑电情绪识别方法。首先,基于源域数据和本研究所提出的CNN和Transformer特征混合(CTFM)网络,利用交叉熵损失训练得到源域模型;然后,通过高斯混合模型聚类生成目标域数据的伪标签以构建分类损失;最后,基于伪标签和分类损失在目标域数据上对源域模型再训练以更新其参数,从而得到目标域模型,训练过程中还利用核范数最大化损失来提升模型预测的类判别性和多样性,同时利用Tsallis熵损失来减少模型预测的不确定性。GNTSFDA方法采用留一被试交叉验证的实验范式分别在SEED(源域14个受试者,目标域1个受试者)、SEED-IV(源域14个受试者,目标域1个受试者)和DEAP(源域31个受试者,目标域1个受试者)公开数据集上进行了实验。结果显示,在3个数据集上,目标域模型情绪识别的准确率分别为80.20%、61.20%和58.89%,相较于源域模型分别提升8.98%、7.72%和6.54%。GNTSFDA方法仅需要访问源域模型参数,而不是源域,从而有效地保护了源域受试者的隐私信息,在脑电情绪识别的实际应用中具有重要意义。

结合原型的两阶段遥感图像无监督域适应分割模型

遥感图像数据量较大,地物类别较多,局部特征与全局特征差距较大,域内特征差异较明显,导致传统的迁移学习难以有效提升模型的推广性能。为此,在传统基于对抗对齐域间特征的无监督域适应模型基础上,提出一种结合原型的两阶段遥感图像无监督域适应分割模型。引入原型表达类别特征,通过原型获取模块获取和更新原型,利用原型施加模块并结合自注意力,将类别全局特征施加到裁剪得到的局部图像特征中,使分割网络兼顾局部和全局类别信息,更好地提取两个域的不变特征。利用目标域图像的伪标签将目标域图像分为易分割和难分割图像,通过对抗和自训练的方式减少目标域的域内特征差异,以便更好地提取目标域难易图像的域内不变特征。利用已知像素类别的分割预测图计算每个像素和相邻像素的上下文关系,生成像素上下文关系图,通过使输出级判别网络判别输入的两个域分割结果的像素上下文关系图来自于哪个域,迫使分割网络更好地提取域不变上下文关系,缓解同谱异物现象。在两个数据集上的实验结果表明,所提模型可以有效缓解局部特征与全局特征差距较大、域内特征差异明显以及同谱异物现象带来的模型迁移性能下降问题,相较于先进的域适应分割方法更具有优势。

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.