基于多源域适应的缺陷类别预测方法

随着规模和复杂性的迅猛膨胀,软件系统中不可避免地存在缺陷.近年来,基于深度学习的缺陷预测技术成为软件工程领域的研究热点.该类技术可以在不运行代码的情况下发现其中潜藏的缺陷,因而在工业界和学术界受到了广泛的关注.然而,已有方法大多关注方法级的源代码中是否存在缺陷,无法精确识别具体的缺陷类别,从而降低了开发人员进行缺陷定位及修复工作的效率.此外,在实际软件开发实践中,新项目通常缺乏足够的缺陷数据来训练高精度的深度学习模型,而利用已有项目的历史数据训练好的模型往往在新项目上无法达到良好的泛化性能.因此,首先将传统的二分类缺陷预测任务表述为多标签分类问题,即,使用CWE(common weakness enumeration)中描述的缺陷类别作为细粒度的模型预测标签.为了提高跨项目场景下的模型性能,提出一种融合对抗训练和注意力机制的多源域适应框架.该框架通过对抗训练来减少域(即软件项目)差异,并进一步利用域不变特征来获得每个源域和目标域之间的特征相关性.同时,该框架还利用加权最大均值差异作为注意力机制,以最小化源域和目标域特征之间的表示距离,从而使模型可以学习到更多的域无关特征.在构建的包含8个真实世界开源项目的数据集上的实验表明,所提方法对比最先进的基线方法取得了显著的性能提升.

不同工况及类别下热力系统故障诊断的多源域自适应方法

针对不同负荷工况下,热工参数数据分布差异大且故障类别不一致的问题,提出了一种基于多源样本加权域对抗网络的热力系统故障诊断方法。首先,构建领域共享的一维卷积神经网络以提取多个源域和目标域的深度判别特征;其次,引入加权机制和域一致性损失度量样本,以降低仅存在于源域的故障类别的负迁移影响;然后,通过多域判别器的对抗学习实现每对源域和目标域的特征差异对齐;最后,构建多分类器对齐模块以提高预测的一致性,从而实现多源域不同工况下热力系统故障的准确诊断。借助某600MW超临界机组全范围仿真系统进行故障仿真实验,结果验证了所提方法的鲁棒性和优越性。

基于多源域自适应残差网络的滚动轴承故障诊断

针对传统无监督领域自适应方法扩展到多工况滚动轴承故障诊断场景适用性较弱的问题,提出了一种多源域自适应残差网络(multi-source domain adaptive residual network,MDARN),通过对齐来自多个源域的相关子域,从而提高模型在多工况下的故障诊断性能。首先,利用ResNeXt残差网络从源域和目标域充分提取可迁移特征;然后,引入局部最大平均差异(local maximum mean difference,LMMD)准则,以两个源域的子域为基础对齐目标域中相关子域,减少相关子域间和全局域间的分布差异;最后,利用美国凯斯西储大学轴承数据集和MFS机械综合故障试验台产生的真实的轴承振动数据集,对所提方法进行了试验验证。结果表明,该方法在多工况下的平均故障诊断精度高达99.76%。与现有代表性方法相比,所提方法具有更好的故障诊断效果。

基于多源域适应JYPLS迁移的间歇过程质量预测

针对间歇过程数据不足,单源域迁移存在模型偏移,跨域信息损失导致建模效果不佳、负迁移等问题,结合域适应学习和多源域学习方法的优势,提出一种基于多源域适应联合Y偏最小二乘(joint-Y partial least squares,JYPLS)迁移的间歇过程质量预测方法。该方法通过迁移学习使用相似旧过程的数据辅助新过程建模,提高建模效率和模型预测精度;采用多源域适应的方式,通过引入多个源域,有效避免了负迁移;基于域适应思想减少源域和目标域之间的边缘概率分布差异,使得源域知识在目标域更好地泛化。最后,通过青霉素发酵过程的仿真案例验证了所提方法的有效性。

融合时频特征的多源无监督域自适应轴承故障诊断方法

无监督域自适应已成为多工况下轴承故障诊断的一种重要方法。然而,现有多源无监督域自适应方法往往忽略不同视角信号对于跨域故障诊断的贡献,不足以全面表达轴承的故障特征。此外,这些方法的不同源域对同一目标域的预测结果存在差异。为此,提出一种融合时频特征的多源无监督域自适应(time-frequency features fused multi-source unsupervised domain adaptation,TFFMUDA)轴承故障诊断方法。该方法以时域和频域信号为输入,通过特征耦合机制实现两种故障特征的互补,并利用分类器对齐策略增强了不同源域对于同一目标域的诊断一致性。通过实际轴承故障案例的试验结果表明,所提方法相较于现有无监督域自适应轴承故障诊断方法能获得更清晰的故障类决策边界并具有更好的目标域诊断精度。

基于类别感知与重加权的多源域自适应算法

多源域自适应是迁移学习中的一个重要分支,类别偏移是多源域自适应领域的热点难题之一,其本质是源域和目标域类别分布不匹配的问题。针对此问题,提出了一种基于类别感知与重加权的多源域自适应算法,该算法通过类别感知策略增强相似类别间的正向迁移;同时,引入重加权矩匹配策略,减少不同层面的分布差异;此外,利用伪标签构建自适应权重,有效降低类别偏移的影响。在Digits-five和Office-Caltech10两个数据集上的任务分类准确率分别达到了94.11%和97.18%,实验结果表明,所提算法相比于当前典型的多源域自适应算法在类别偏移场景下的准确性方面有显著提升。

局部一致性主动学习的源域无关开集域自适应

无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠正,得到两个对应的可信集合.最后,LCAL引入开集损失和信息最大化损失来进一步促使公共类和开放类分离,引入交叉熵损失来实现公共类的辨别.在Office-31、Office-Home和VisDA-C这3个公开的基准数据集上的大量实验表明:在少量有价值的目标域样本的帮助下,LCAL不仅显著优于现有的源域无关开集域自适应方法,还大幅度超过了现有的主动学习方法的表现,在某些迁移任务上可以提升20%.

基于无源域适应的脑电情绪识别

现有脑电情绪识别中的域适应方法利用源域数据及其特征分布来训练模型,不可避免地需要频繁访问源域,可能会导致源域受试者的隐私信息泄露。针对该问题,本研究提出一种基于高斯混合模型、核范数最大化和Tsallis熵的无源域适应(GNTSFDA)脑电情绪识别方法。首先,基于源域数据和本研究所提出的CNN和Transformer特征混合(CTFM)网络,利用交叉熵损失训练得到源域模型;然后,通过高斯混合模型聚类生成目标域数据的伪标签以构建分类损失;最后,基于伪标签和分类损失在目标域数据上对源域模型再训练以更新其参数,从而得到目标域模型,训练过程中还利用核范数最大化损失来提升模型预测的类判别性和多样性,同时利用Tsallis熵损失来减少模型预测的不确定性。GNTSFDA方法采用留一被试交叉验证的实验范式分别在SEED(源域14个受试者,目标域1个受试者)、SEED-IV(源域14个受试者,目标域1个受试者)和DEAP(源域31个受试者,目标域1个受试者)公开数据集上进行了实验。结果显示,在3个数据集上,目标域模型情绪识别的准确率分别为80.20%、61.20%和58.89%,相较于源域模型分别提升8.98%、7.72%和6.54%。GNTSFDA方法仅需要访问源域模型参数,而不是源域,从而有效地保护了源域受试者的隐私信息,在脑电情绪识别的实际应用中具有重要意义。

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.

基于多源域适应和数据增强的跨项目开源软件缺陷预测

通过挖掘软件代码仓库数据预测软件缺陷是提高软件质量和增强软件安全性的重要方法。人们提出了多种基于机器学习的方法挖掘软件代码仓缺陷数据预测软件缺陷。然而,由于从不同代码仓提取的软件缺陷数据具有异质性,因此机器学习的预测效果往往并不理想。为此,本文提出一种基于多源域适应和数据增强的缺陷预测方法。该方法通过挖掘各种源代码仓和目标代码仓之间的特征相似性提高预测的准确性:一方面利用带权重的最大平均方差使特征分布距离最小,另一方面利用注意力机制提高与目标代码仓高度相似的源代码仓权重。对比实验结果表明,本文所提方法在软件缺陷预测效果最佳。

多源域联合对齐的自适应故障诊断方法

单源域自适应故障诊断方法常出现域不匹配的问题,导致负迁移和泛化能力不足。同时,实际工业中往往包含多个源域数据,且目标域中包含的信息在不同源域中存在较大差异。因此,提出一种多源域联合对齐的自适应故障诊断方法。首先,面对多传感信号,采用平均拼接融合方法,形成融合信号;其次,提出嵌入可迁移残差模块的多尺度特征提取模块,既保证多尺度的特征提取,又增强模型的非额外参数化可迁移性。最后,结合自适应超参数和多核最大均值差异作为正则项减少网络层中数据分布的差异。将可迁移残差模块作为结构优化策略和多核最大均值差异作为统计变换策略联合使用,称为联合对齐。实验结果表明:整个模型无需引入多余的超参数,即可实现多源域的高准确率故障诊断需求。

多源域适应方法综述

域适应是解决源域样本和目标域样本不满足独立同分布问题的迁移学习范式,是当下研究的重点方法。然而实际情况下获取源域样本的渠道和方法并不唯一,这会导致源域中存在多种不同分布的样本。多源域适应方法是解决源域样本分布多样性问题的有效途径,其主要研究各源域分布间的关系和与目标域分布对齐的策略,进一步减轻各域之间的域偏移,具有实用意义和挑战价值。随着深度学习技术的不断进步,多源域适应方法主要使用深度神经网络提取各域的域不变特征作为分布对齐的依据,结合使用度量准则衡量分布差异或者利用对抗思想对齐域间分布。经过理论证明和实验验证,多源域适应方法训练的模型比单源域方法训练的模型具有更好的泛化性能,更符合现实需求。通过介绍多源域适应的研究现状和相关概念,对现有算法进行总结和综述,按照迁移方式不同对多源域适应方法进行分类,进一步分析多源域适应方法性能的实验结果,阐述其存在的不足和缺点,并对多源域适应领域的发展和趋势进行预测。

基于多源域适应的单细胞智能分类

单细胞核糖核酸(RNA)测序技术被成功应用于产生人体组织和器官的高分辨率细胞图谱,这加深了研究者们对人类疾病组织中细胞异质性的理解。细胞注释是单细胞RNA测序数据分析中非常关键的一步,许多典型的模型利用一个有标签的单细胞参考数据集去注释目标数据集,但目标数据集中部分细胞类型可能不在参考数据集中。整合多个参考数据集可以更好地覆盖目标数据集中的细胞类型,然而多个参考数据集和目标数据集之间存在因测序技术差异等原因造成的批次效应。为此,提出一种基于多源域适应的单细胞分类模型,利用多个已标注细胞类型的参考数据集分别与未标注细胞类型的目标数据集进行对抗训练,消除了批次效应。采用虚拟对抗训练,进一步提升模型预测结果对数据点周围局部微小扰动或噪声的鲁棒性,防止过拟合。在多个单细胞数据集上的实验结果表明,该模型比目前主流模型的细胞识别精度至少提升了5个百分点,为新测序的单细胞身份鉴定提供了新的选择和参考。

基于深度对比聚类的无源无监督域适应通信辐射源个体识别方法

针对传统聚类在处理特定问题时所展现的局限性,将结构保持和特征不变性思想引入无源无监督域适应,提出了一种基于深度对比聚类的无源无监督域适应通信辐射源个体识别方法。该方法首先对目标域进行数据增强,构建正样本对和负样本对;其次通过最大化正对相似度和最小化负对相似度的方式获得具有域不变性的特征;最后最大化相同样本在不同增强方式下聚类结果的相似度,以保持特征提取前后目标域样本的结构特性。为了验证所提方法的有效性,在ORACLE射频指纹数据集和实采数据集上进行了实验,结果表明该方法在通信辐射源个体识别任务中具有显著的性能优势。

基于区分显著性的无源域适应辐射源个体识别

针对无法通过源域数据进行分布对齐和对抗训练,以及利用目标域数据标签训练分类器的问题,深入研究利用目标域数据的结构特性进行域适应,关注无源无监督场景下的通信辐射源个体识别任务。将类内散度小、类间散度大的思想引入到无源无监督域适应问题,提出一种基于区分显著性的无源无监督域适应通信辐射源个体识别方法。利用源域模型生成目标域数据的伪标签,并基于伪标签计算各类质心,进而构造区分显著性约束条件,引导特征提取层向目标域特征类内散度小、类间散度大的方向优化,通过提高目标域特征的可区分性提升迁移效果。在公开数据集及自建数据集上的实验结果均优于对比方法,验证了方法的可行性。

基于多目标优化的多源域自适应算法

多源域自适应是迁移学习中的一项重要技术,其目标是利用多个源域的知识来提升目标域的学习性能。然而,目前的多源域自适应方法大多关注于源域与目标域之间的差异,忽略了源域的选取问题。为了解决上述问题,提出了基于多目标优化的多源域自适应算法,使用多目标优化来增强各源域之间不相似域的效应和源域与目标域之间相似域的效应。此外,使用粒子群优化算法来优化以上两个目标。对五个基准的评估表明了所提出的模型的有效性。

球谐域自适应混响抵消与声源定位算法

提出了一种基于球谐域的自适应混响抵消与声源定位算法,该方法通过去混响处理改善语音质量,并提高球谐域定位算法在混响环境下的定位性能。推导了基于多通道线性预测的自适应混响抵消算法在球谐域的表达式,针对刚球模型提出分阶处理的去混响方法,并对去混响后的信号进行波达方向估计。采用32元球阵的仿真结果表明,相比于球谐域不分阶去混响方法,该方法最大可减少约2/3的运算量,同时语音PESQ得分及SRMR均显著提高。利用实验数据对算法性能进行测试,实验结果验证了该方法在实际声学环境中去混响和声源定位的有效性。

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景。常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类。源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的。基于动态残差块的多源域自适应算法不是从域的角度而是从数据自身特征映射生成神经网络参数,不需要域标签,将多源域自适应问题转化为单源域问题。而且动态残差块能够跨阶段的根据输入数据特征改变网络参数,更好地让网络参数拟合未经训练的目标域数据分布,简化了多源域自适应的模型设计复杂程度,减少了数据准备工作量。实验结果表明,在模型中引入动态残差块,与静态模型相比准确率提高了8.1%,同时也节约了模型运行的时间和空间。

多源域子域自适应的滚动轴承剩余寿命预测方法

针对单一源域信息有限、域自适应对齐粒度不足导致滚动轴承剩余寿命(remain useful life,RUL)预测精度低的问题,提出了一种多源域子域自适应(multi-source subdomain adaption network,MS_SAN)的滚动轴承剩余寿命预测方法。首先,将采集的原始振动信号进行快速傅里叶变换得到频域信号作为模型的输入。其次,利用一维卷积将多个源域与目标域数据映射到一个公共的特征空间,采用局部最大均值差异将每个源域与目标域的退化阶段在独立的特征空间进行领域自适应,缩小多个源域与目标域之间的分布差异。最后,通过综合各领域RUL预测模块的输出得到最终轴承剩余寿命预测结果。在PHM2012数据集上的测试结果表明该方法的预测准确率高于对比方法,能够对滚动轴承剩余寿命进行有效的预测。

SSD联合邻域伪标签的无源域旋转机械迁移诊断研究

针对迁移诊断中存在的源域和目标域分布差异导致的负迁移以及过分依赖源域样本带来的数据隐私问题,提出一种利用邻域信息优化伪标签监督训练的无源域自适应(source-free domain adaptation,SFDA)迁移诊断方法以实现在无源域样本情况下的迁移诊断。首先,通过奇异谱分解(singular spectrum decomposition,SSD)方法对数据进行降噪处理,使得样本具有更丰富的故障信息,然后,基于一维卷积神经网络构建特征提取器以提取域不变特征;其次,采用对比学习框架拉近同一类样本特征,利用聚合邻域信息精炼后的伪标签进行自监督学习;最后,基于智能诊断模型完成跨设备变工况下滚动轴承健康状态的识别。通过两个滚动轴承数据集间的跨设备迁移诊断验证所提方法的有效性。试验结果表明:所提方法能够充分挖掘不同设备间故障特征信息,提高无源无监督跨域条件下的迁移诊断精度。