基于多源域适应的缺陷类别预测方法

随着规模和复杂性的迅猛膨胀,软件系统中不可避免地存在缺陷.近年来,基于深度学习的缺陷预测技术成为软件工程领域的研究热点.该类技术可以在不运行代码的情况下发现其中潜藏的缺陷,因而在工业界和学术界受到了广泛的关注.然而,已有方法大多关注方法级的源代码中是否存在缺陷,无法精确识别具体的缺陷类别,从而降低了开发人员进行缺陷定位及修复工作的效率.此外,在实际软件开发实践中,新项目通常缺乏足够的缺陷数据来训练高精度的深度学习模型,而利用已有项目的历史数据训练好的模型往往在新项目上无法达到良好的泛化性能.因此,首先将传统的二分类缺陷预测任务表述为多标签分类问题,即,使用CWE(common weakness enumeration)中描述的缺陷类别作为细粒度的模型预测标签.为了提高跨项目场景下的模型性能,提出一种融合对抗训练和注意力机制的多源域适应框架.该框架通过对抗训练来减少域(即软件项目)差异,并进一步利用域不变特征来获得每个源域和目标域之间的特征相关性.同时,该框架还利用加权最大均值差异作为注意力机制,以最小化源域和目标域特征之间的表示距离,从而使模型可以学习到更多的域无关特征.在构建的包含8个真实世界开源项目的数据集上的实验表明,所提方法对比最先进的基线方法取得了显著的性能提升.

基于多源域适应和数据增强的跨项目开源软件缺陷预测

通过挖掘软件代码仓库数据预测软件缺陷是提高软件质量和增强软件安全性的重要方法。人们提出了多种基于机器学习的方法挖掘软件代码仓缺陷数据预测软件缺陷。然而,由于从不同代码仓提取的软件缺陷数据具有异质性,因此机器学习的预测效果往往并不理想。为此,本文提出一种基于多源域适应和数据增强的缺陷预测方法。该方法通过挖掘各种源代码仓和目标代码仓之间的特征相似性提高预测的准确性:一方面利用带权重的最大平均方差使特征分布距离最小,另一方面利用注意力机制提高与目标代码仓高度相似的源代码仓权重。对比实验结果表明,本文所提方法在软件缺陷预测效果最佳。

基于多源域适应的单细胞智能分类

单细胞核糖核酸(RNA)测序技术被成功应用于产生人体组织和器官的高分辨率细胞图谱,这加深了研究者们对人类疾病组织中细胞异质性的理解。细胞注释是单细胞RNA测序数据分析中非常关键的一步,许多典型的模型利用一个有标签的单细胞参考数据集去注释目标数据集,但目标数据集中部分细胞类型可能不在参考数据集中。整合多个参考数据集可以更好地覆盖目标数据集中的细胞类型,然而多个参考数据集和目标数据集之间存在因测序技术差异等原因造成的批次效应。为此,提出一种基于多源域适应的单细胞分类模型,利用多个已标注细胞类型的参考数据集分别与未标注细胞类型的目标数据集进行对抗训练,消除了批次效应。采用虚拟对抗训练,进一步提升模型预测结果对数据点周围局部微小扰动或噪声的鲁棒性,防止过拟合。在多个单细胞数据集上的实验结果表明,该模型比目前主流模型的细胞识别精度至少提升了5个百分点,为新测序的单细胞身份鉴定提供了新的选择和参考。

多源域适应方法综述

域适应是解决源域样本和目标域样本不满足独立同分布问题的迁移学习范式,是当下研究的重点方法。然而实际情况下获取源域样本的渠道和方法并不唯一,这会导致源域中存在多种不同分布的样本。多源域适应方法是解决源域样本分布多样性问题的有效途径,其主要研究各源域分布间的关系和与目标域分布对齐的策略,进一步减轻各域之间的域偏移,具有实用意义和挑战价值。随着深度学习技术的不断进步,多源域适应方法主要使用深度神经网络提取各域的域不变特征作为分布对齐的依据,结合使用度量准则衡量分布差异或者利用对抗思想对齐域间分布。经过理论证明和实验验证,多源域适应方法训练的模型比单源域方法训练的模型具有更好的泛化性能,更符合现实需求。通过介绍多源域适应的研究现状和相关概念,对现有算法进行总结和综述,按照迁移方式不同对多源域适应方法进行分类,进一步分析多源域适应方法性能的实验结果,阐述其存在的不足和缺点,并对多源域适应领域的发展和趋势进行预测。

基于类特征对齐的多源域适应辐射源个体识别方法

无监督域适应方法在通信辐射源个体识别任务中得到了深入研究和广泛应用。无监督域适应方法通过学习已标记的源域样本的域不变特征,实现对未标记的目标域的识别。然而,在复杂的电磁环境下,源域信号可能会受到多重因素的影响,导致多个源域的特征分布与目标域存在显著差异,甚至彼此之间也有所不同。鉴于这种情况,从分布差异的角度出发,提出了一种基于类特征联合对齐的多源域适应方法,并构建了一种称为类别特征对齐网络(Category Feature Alignment Network,CFAN)的深度神经网络模型,能够提取发射器的指纹特征。大量的实验结果验证了这种方法能够有效提高识别准确率。

模型参数自适应迁移的多源域适应

在新领域中,常常存在样本不充分或标记不足的问题。针对此问题,人们提出了域适应,该方法利用相关领域(源域)的知识来提高当前领域(目标域)学习性能。单个源域的知识往往不充分且类别完全相同的多个源域难以满足,同时域之间存在漂移问题。而现有的多源域适应模型难以解决类别不完全一致的问题,因此给多源域适应带来了较大的挑战。为此提出了一种基于模型参数自适应迁移的方法(Adaptive Transfer for ModelParameter,ATMP),通过对每个源域的模型参数进行私有和公有模型参数字典学习,同时将多个源域中所学的模型参数字典作为目标域的模型参数字典,然后通过对字典系数的行稀疏约束实现源域和目标域模型参数的自适应选择。除此之外,该方法迁移的是模型参数而不是数据本身,因此有效实现了对源域数据的隐私保护。经过一系列实验表明,在相关数据集上的实验显示了本文所提方法在聚类性能上的显著有效性。

不同工况及类别下热力系统故障诊断的多源域自适应方法

针对不同负荷工况下,热工参数数据分布差异大且故障类别不一致的问题,提出了一种基于多源样本加权域对抗网络的热力系统故障诊断方法。首先,构建领域共享的一维卷积神经网络以提取多个源域和目标域的深度判别特征;其次,引入加权机制和域一致性损失度量样本,以降低仅存在于源域的故障类别的负迁移影响;然后,通过多域判别器的对抗学习实现每对源域和目标域的特征差异对齐;最后,构建多分类器对齐模块以提高预测的一致性,从而实现多源域不同工况下热力系统故障的准确诊断。借助某600MW超临界机组全范围仿真系统进行故障仿真实验,结果验证了所提方法的鲁棒性和优越性。

基于多源域自适应残差网络的滚动轴承故障诊断

针对传统无监督领域自适应方法扩展到多工况滚动轴承故障诊断场景适用性较弱的问题,提出了一种多源域自适应残差网络(multi-source domain adaptive residual network,MDARN),通过对齐来自多个源域的相关子域,从而提高模型在多工况下的故障诊断性能。首先,利用ResNeXt残差网络从源域和目标域充分提取可迁移特征;然后,引入局部最大平均差异(local maximum mean difference,LMMD)准则,以两个源域的子域为基础对齐目标域中相关子域,减少相关子域间和全局域间的分布差异;最后,利用美国凯斯西储大学轴承数据集和MFS机械综合故障试验台产生的真实的轴承振动数据集,对所提方法进行了试验验证。结果表明,该方法在多工况下的平均故障诊断精度高达99.76%。与现有代表性方法相比,所提方法具有更好的故障诊断效果。

融合时频特征的多源无监督域自适应轴承故障诊断方法

无监督域自适应已成为多工况下轴承故障诊断的一种重要方法。然而,现有多源无监督域自适应方法往往忽略不同视角信号对于跨域故障诊断的贡献,不足以全面表达轴承的故障特征。此外,这些方法的不同源域对同一目标域的预测结果存在差异。为此,提出一种融合时频特征的多源无监督域自适应(time-frequency features fused multi-source unsupervised domain adaptation,TFFMUDA)轴承故障诊断方法。该方法以时域和频域信号为输入,通过特征耦合机制实现两种故障特征的互补,并利用分类器对齐策略增强了不同源域对于同一目标域的诊断一致性。通过实际轴承故障案例的试验结果表明,所提方法相较于现有无监督域自适应轴承故障诊断方法能获得更清晰的故障类决策边界并具有更好的目标域诊断精度。

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.

基于多目标优化的多源域自适应算法

多源域自适应是迁移学习中的一项重要技术,其目标是利用多个源域的知识来提升目标域的学习性能。然而,目前的多源域自适应方法大多关注于源域与目标域之间的差异,忽略了源域的选取问题。为了解决上述问题,提出了基于多目标优化的多源域自适应算法,使用多目标优化来增强各源域之间不相似域的效应和源域与目标域之间相似域的效应。此外,使用粒子群优化算法来优化以上两个目标。对五个基准的评估表明了所提出的模型的有效性。

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景。常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类。源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的。基于动态残差块的多源域自适应算法不是从域的角度而是从数据自身特征映射生成神经网络参数,不需要域标签,将多源域自适应问题转化为单源域问题。而且动态残差块能够跨阶段的根据输入数据特征改变网络参数,更好地让网络参数拟合未经训练的目标域数据分布,简化了多源域自适应的模型设计复杂程度,减少了数据准备工作量。实验结果表明,在模型中引入动态残差块,与静态模型相比准确率提高了8.1%,同时也节约了模型运行的时间和空间。

基于域与样例平衡的多源迁移学习方法

针对如何有效使用多源域的决策知识去预测目标域样例标签的问题,提出一种平衡域与样例信息的多源迁移学习算法.为实现上述目的,本文提出了一种基于域与样例平衡的多源迁移学习方法(Multi-source Transfer Learning by Balancing both Domains and Instances,MTL-BDI).该方法的基本思想是将域层面和样例层面的双加权平衡项嵌入到迁移学习的原始目标函数中,然后利用交替优化技术对提出的目标函数进行有效求解.在文本和图像数据集上的大量实验表明,该方法在分类精度方面确实优于现有的多源迁移学习方法MCC-SVM(Multiple Convex Combination of SVM)、A-SVM(Adaptive SVM)、Multi-KMM(Multiple Kernel Mean Matching)和DAM(Domain Adaptation Machine).

结合对抗网络与条件均值的多源适应分类方法

生成适应网络利用对抗训练辅助模型进行域适应分类,但仅使用单源域学到的知识有限,且对抗训练不足以减少域差异,造成判别特征难以识别,影响分类精度。针对该问题,提出一种结合对抗网络与条件均值的多源适应分类方法(MSDACG)。对多个源域进行特征提取,提升特征学习的有效部分,对不同源和目标域特征使用特定域的生成对抗网络及条件最大均值差异拉近域间距离,采用差异损失约束由不同源域训练的分类器,实现利用多个源域的监督信息对目标域样本进行分类。实验结果表明,MSDACG模型能学到更优的域不变特征,与目前多源域适应算法比较,其图像生成质量和分类精度有明显提升。