虚拟对抗训练的跨域块对比半监督细胞核分割

针对目前细胞核的半监督对比学习语义分割质量高度依赖于平滑、正确伪标签的预测等问题,提出了虚拟对抗训练的跨域块对比学习半监督细胞核语义分割方法。该方法将虚拟对抗训练(VAT)方法融入到跨域块对比学习半监督细胞核语义分割模型中用以提升网络预测伪标签的平滑度与准确度,并使用像素自加权的一致性正则化损失替换原有的人工设置高置信度阈值的一致性正则化损失,对图像中各像素的损失自加权,正确地对网络预测的伪标签进行有效利用。实验结果表明,在有标签图片比例为1/32,1/16和1/8下,该方法在MoNuSeg数据集上的医学图像分割评估指标Dice系数和Jaccard系数分别较CDCL模型提升了0.96百分点和1.11百分点,0.74百分点和0.85百分点,1.40百分点和2.00百分点,在DSB数据集上的Dice系数和Jaccard系数分别较CDCL模型提升了1.69百分点和2.27百分点,1.47百分点和2.19百分点,1.24百分点和1.77百分点。

融合多个性化桥和自监督学习的跨域推荐算法

针对跨域推荐系统中目标域中项目交互较少的用户,提出一种融合多个性化桥和自监督学习的跨域推荐算法(MS-PTUPCDR)。首先,在目标域加入变分二部图编码器,使用变分推理框架生成潜在变量,目标域用户表示聚合其同构邻居信息。其次,将用户单一偏好桥扩展为用户多个性化偏好桥,将用户在多源域可转移的用户因子转移到目标域,在目标域加入多头注意力机制融合分别来自不同源域转换的用户潜在因子作为自监督学习的辅助任务。最后,在目标域中将聚合用户邻居因子和融合后的用户多源域转移用户因子进行自监督学习。在目标域通过用户自监督学习后的用户因子和目标域项目因子点积进行目标域项目评分预测。算法在Amazon和MovieLens两个数据集上进行实验,结果表明算法在MAE和RMSE两个评价指标上优于对比基线算法,在两个数据集上与最优对比基线算法相比,MAE平均提升1.96%,RMSE平均提升1.92%,验证了算法的有效性。

基于元学习和神经架构搜索的半监督医学图像分割方法

多数医学图像分割方法主要在相同或者相似医疗数据领域进行训练和评估,意味其需要大量像素级别的标注。但这些模型在领域分布外的数据集上面临挑战,被称为“域偏移”问题。通常使用固定的U形分割架构解决该问题,导致其无法更好地适应特定分割任务。文中提出了一种基于梯度的元学习与神经架构搜索方法,可以根据特定任务调整分割网络以实现良好的性能并且拥有良好的泛化能力。该方法主要使用特定任务进行架构搜索模块来进一步提升分割效果,再使用基于梯度的元学习训练算法提升泛化能力。在公共数据集M&Ms上,在5%标签数据下,其Dice和Hausdorff distance分别为79.62%、15.38%。在2%标签数据下,其Dice和Hausdorff distance分别为74.03%、17.05%。与其他主流方法相比,文中所提方法拥有更好的泛化能力。

使用词对齐半监督对抗学习的汉越跨语言摘要生成方法

是将输入的源语言文本生成目标语言摘要的过程.目前跨语言摘要任务大多是借助于机器翻译,而针对越南语这类低资源语言,机器翻译效果不佳是汉越跨语言摘要面临的挑战.针对该问题,提出了一种基于词对齐的半监督对抗学习汉越跨语言摘要生成方法,其思想是将汉越双语对齐到同一空间,得到对齐的双语特征,然后同时利用双语特征生成跨语言摘要.具体来讲,基于编解码框架,首先利用Bert编码器分别对输入的汉越文本进行向量表征;然后基于汉越双语词典的半监督对抗学习方法,实现双语词向量在同一语义空间对齐;最后基于注意力机制同时关注双语上下文向量,解码得到目标语言摘要.在收集的汉越摘要数据集上的实验结果表明,该方法可以有效提升汉越跨语言摘要模型的性能.

基于迁移学习的无监督跨域人脸表情识别

本文主要研究了基于迁移学习的无监督跨域人脸表情识别。在过去的几年里,提出的许多方法在人脸表情识别方面取得了令人满意的识别效果。但这些方法通常认为训练和测试数据来自同一个数据集,因此其具有相同的分布。而在实际应用中,这一假设通常并不成立,特别当训练集和测试集来自不同的数据集时,即跨域人脸表情识别问题。为了解决这一问题,本文提出将一种基于联合分布对齐的迁移学习方法(domain align learning)应用于跨域人脸表情识别,该方法通过找到一个特征变换,将源域和目标域数据映射到一个公共子空间中,在该子空间中联合对齐边缘分布和条件分布来减小域之间的分布差异,然后对变换后的特征进行训练得到一个域适应分类器来预测目标域样本标签。为了验证提出算法的有效性,在CK+、Oulu-CASIA NIR和Oulu-CASIA VIS这3个不同的数据库上做了大量实验,实验结果证明所提算法在跨域表情识别上是有效性的。

联合双映射域适应与图半监督标签估计的脑电情感识别方法

源自中枢神经系统活动的脑电信号具有不易伪装性而被广泛应用于情感识别领域,但非稳态及微弱等特性导致其存在个体差异性。为适应不同被试之间的数据分布差异,迁移学习被引入脑电情感识别领域。但现有方法一方面未实现域适应与标记估计的有效协同,另一方面仅关注识别精度与数据分布忽略了共享子空间的属性发掘。针对上述问题,本研究提出一种联合双映射域适应与图半监督标签估计的脑电情感状态识别方法。通过在SEED-IV情感数据集进行跨被试情感识别效果验证。该数据集为15名受试者在3个不同时段(Session1,Session2,Session3)播放具有明显情感倾向的影片进行脑电数据采集。结果显示,所提出的方法对SEED-IV中3个时段数据的平均识别精度(77.7%、78.5%、79.6%)均优于现有多种迁移模型,较经典的联合域适应(JDA)方法的平均识别精度有大幅提升(Session2:53.7%vs 78.5%);较新近提出的模型也有最低8.9%(Session2 vs MEKT)的精度提升。此外,通过特征重要性的角度对共享子空间蕴含的脑电情感激活模式进行发掘,并结合频段权重平均结果显示,相较于其他4个频段γ频段具有较高的重要性,并通过单向方差分析验证了与其余4个频段的显著性差异(P<0.05);脑地形图呈现的结果发现,(中央)顶叶脑区权重高于其他脑区。所进行的研究对于脑电情感激活模式的学习分析提供了参考。

基于锚图分类的在线半监督跨模态哈希

近年来,哈希算法由于其存储成本小、检索速度快的特点,在大规模多媒体数据的高效跨模态检索中受到了广泛关注。现有的跨模态哈希算法大多是有监督和无监督方法,其中有监督方法通常能够获得更好的性能,但在实际应用中要求所有数据都被标记并不具有可行性。此外,这些方法大多数是离线方法,面对流数据的输入需要付出高额训练成本且十分低效。针对上述问题,提出了一种新的半监督跨模态哈希方法——在线半监督锚图跨模态哈希(Online Semi-supervised Anchor Graph Cross-modal Hashing, OSAGCH),构建了半监督锚图跨模态哈希模型,在只有部分数据有标签的情况下,利用正则化锚图预测数据标签,并通过子空间关系学习哈希函数,一步生成统一的哈希码,同时针对流数据输入的情况对该模型进行了在线化学习,使其能够处理流数据。在公共多模态数据集上进行了实验,结果表明所提方法的性能优于其他现有方法。

利用高斯域的半监督回归和主动学习

介绍一种定义近邻图上的高斯域(GF)及用于降维和分类的GF的相关知识,提出一种用于半监督回归的高斯域,能自动设置模型参数和近邻数,利用监督和无监督数据进行熵值查询选择从而进行主动学习。实验将其与半监督学习法进行比较并验证了GF的有效性。

一种结合半监督Boosting方法的迁移学习算法

迁移学习是数据挖掘中的一个研究方向,试图重用相关领域的数据样本,将相关领域的知识"迁移"到新领域中帮助训练.当前,基于实例的迁移学习算法容易产生过度拟合的问题,不能充分利用相关领域中的有用数据.为了避免这个问题,通过引入目标领域的无标记样本参与训练,利用半监督Boosting方法,提出一种新的迁移学习算法,能够对样本的相关性进行更好的判断,减少选择性偏差的影响.在大量文本数据集上的实验表明了新算法的有效性.

基于自适应对抗学习的半监督图像语义分割

现有的自适应对抗学习方法采用固定惩罚因子在不同特征层进行监督学习,并采用FCN(Fully Convolutional Networks)作为判别器的基础框架,模型缺少泛化能力,在分割较复杂场景时易造成类感染和类漂移。针对该问题,提出了一种学习率自适应的对抗学习的图像语义分割方法。该方法设计了一种类似SegNet结构的网络判别器,采用最大池化进行非线性上采样,既继承了FCN的优势,可以输入任一大小的图像,又保留了相对精细化的特征相关性信息。由于提出的模型可以通过自适应学习率调整对抗损失与交叉熵损失的权值,从而更新生成器的分割网络,所以提高了语义分割的精度;此外,提出的模型在判别器中采用了SegNet框架代替FCN框架,克服了暴力池化问题,且能够将未标记目标数据集的边缘信息引入网络结构中,从而能有效纠正网络的边缘区域,较好地保持图像的边缘细节,从而使分割结果更为精细。在PASCAL VOC2012标准数据集进行实验,并与现有的性能较好的弱监督分割模型相比,实验结果表明:本文模型能够更精细地分割出较复杂背景的目标,有效地缓解类感染和类漂移,并且有效地保留了边缘细节。

一种半监督集成跨项目软件缺陷预测方法

软件缺陷预测方法可以在项目的开发初期,通过预先识别出所有可能含有缺陷的软件模块来优化测试资源的分配.早期的缺陷预测研究大多集中于同项目缺陷预测,但同项目缺陷预测需要充足的历史数据,而在实际应用中,可能需要预测项目的历史数据较为稀缺,或这个项目是一个全新项目.因此,跨项目缺陷预测问题成为当前软件缺陷预测领域内的一个研究热点,其研究挑战在于源项目与目标项目数据集间存在的分布差异性以及数据集内存在的类不平衡问题.受到基于搜索的软件工程思想的启发,提出了一种基于搜索的半监督集成跨项目软件缺陷预测方法 S^3EL.该方法首先通过调整训练集中各类数据的分布比例,构建出多个朴素贝叶斯基分类器;随后,利用具有全局搜索能力的遗传算法,基于少量已标记目标实例对上述基分类器进行集成,并构建出最终的缺陷预测模型.在Promise数据集及AEEEM数据集上与多个经典的跨项目缺陷预测方法(Burak过滤法、Peters过滤法、TCA+、CODEP及HYDRA)进行了对比.以F1值作为评测指标,结果表明:在大部分情况下,S^3EL方法可以取得最好的预测性能.

基于dropout正则化的半监督域自适应方法

针对机器学习中训练样本和测试样本概率分布不一致的问题,提出了一种基于dropout正则化的半监督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监督学习的角度出发,在源域数据中添加少量带标签的目标域数据,使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导,即使没有丰富的标签信息,神经网络依然可以很好地拟合目标域数据。实验结果表明,此算法在几种典型的数字数据集SVHN、MNIST和USPS的域自适应任务上的性能优于现有的其他算法,并且在涵盖广泛自然类别的真实数据集CIFAR-10和STL-10的域自适应任务上有较好的鲁棒性。

基于主动学习的图半监督分类算法

为抑制噪声数据对分类结果的影响,将噪声处理算法与高斯随机域算法相结合,提出一种带噪声系数的高斯随机域学习算法;针对样本集不平衡性数据分类问题,考虑主动学习在样本不平衡问题中的应用,将主动学习与图半监督算法相结合,提出一种鲁棒性强的主动学习图半监督分类算法。利用基于样本划分的主动学习方法,对正类的近邻样本集中样本与特定类样本形成的新样本集做总体散度排序,筛选出能使新样本集中总体散度最小的样本,代替正类的近邻样本集中所有样本,形成平衡类。在UCI标准数据集上的实验结果表明,与标准的图半监督算法相比,该算法的分类精度更高、泛化能力更强。

结合半监督与主动学习的复杂名词短语识别

为克服传统的全监督机器学习模型的训练依赖于大量的标注样本的弱点,给出一种半监督学习和主动学习相结合的算法。根据主动学习选择策略选择最有价值的句子来标注,结合半监督来充分利用未标注的句子。结合汉语语料的特点,改进主动学习选择策略。实验结果表明,与采用随机选择标注样本相比,在使用相同数目的训练样本的情况下,该算法可以使学习器的F-score调高10.2%,在分类器到达相同性能的情况下,人工标注量可以减少32%,学习器对标注样本的需求得到了有效降低。

半监督塑封烟盒退化图像修复算法

针对塑封烟盒底纹修复没有成对数据且无监督域转换算法无法处理退化图像的问题,为了去除薄膜并完成底纹信息的修复,提出一种半监督塑封烟盒退化图像修复算法。首先,由薄膜图像生成子网络提取真实塑封烟盒的薄膜信息;然后,利用生成的薄膜图片和真实的底纹图片以及随机掩码(mask)合成数据集;最后,使用合成数据集学习有薄膜到无薄膜两个域之间的转换。在烟盒数据集上的实验结果表明,视觉定性比较,所提算法更好地修复了受薄膜影响而退化的底纹信息;数据定量比较,所提算法的弗雷歇初始距离(FID)比CycleGAN、基于对比学习的非成对图像翻译网络(CUT)、基于双重对比学习的无监督图像翻译网络DCLGAN分别降低了14.42%、6.85%和3.00%,有利于提高图片质量和方便后续检测,且单张样本平均推理耗时为13.73 ms,能够满足工业生产的实时要求。

基于跨域自适应的立体匹配算法

虽然卷积神经网络(CNN)在有监督立体匹配任务中取得了较好的进展,但多数CNN算法的跨域表现较差。针对跨数据域的立体匹配问题,提出一种基于CNN的使用迁移学习实现域自适应立体匹配任务的跨域自适应立体匹配(CASM-Net)算法。所提算法使用一个可供迁移的特征提取模块提取丰富的广域特征用于跨域立体匹配任务;并且,设计一个自适应代价优化模块,从而通过自适应地利用不同感受野的相似度信息优化代价,进而得到最优的代价分布;此外,提出一个视差分数预测模块,以量化不同区域的立体匹配能力,并通过调整图像的视差搜索范围进一步优化视差结果。实验结果表明:在KITTI2012和KITTI2015数据集上,CASM-Net算法的2-PE-Noc、2-PE-All和3-PEfg相较于PSMNet(Pyramid Stereo Matching Network)算法分别降低了6.1%、3.3%和19.3%;在Middlebury数据集上,在未经重新训练的情况下,在和其他算法的对比中,CASM-Net算法在所有样本上取得了最优或次优的2-PE结果。可见,CASM-Net算法具有改善跨域立体匹配的作用。

基于半监督域适应模糊推理的球磨机负荷参数软测量

针对工况改变后数据分布差异造成模型失配的问题及球磨机运行时振动信号的不确定性,研究了半监督域适应模糊推理的球磨机负荷参数软测量方法。该方法首先集成多个约束条件寻找特征变换矩阵,将待测工况和历史工况数据投影到公共子空间;接着利用模糊C均值聚类对投影后的历史数据划分规则并建立模糊推理模型。仿真实验结果表明该方法具有较高的预测精度,可以有效削弱不确定因素的影响,解决工况改变后数据分布差异造成的模型失配问题。

图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的;2)对有标签样本使用传统的对抗跨模态检索方法进行学习;3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。

半监督多源域适应集成的球磨机负荷参数软测量

针对球磨机工况改变后,历史数据与待测数据分布差异导致的模型失配问题以及待测工况样本少的问题。研究了基于半监督域适应的球磨机负荷参数软测量方法。该方法考虑输出标签对特征变换矩阵的影响,首先集成约束条件寻找特征变换矩阵,将历史数据和待测数据投影到公共子空间;然后根据投影后的历史数据及少量有标签的待测数据建立回归模型,获得无标签待测数据负荷参数;考虑到不同工况历史数据有信息互补的特点,建立基于半监督多源域适应集成的软测量模型,进一步提高软测量模型的准确性。基于实验室球磨机多工况实验的数据测试,表明该方法能够有效提高球磨机负荷参数的预测精度。

基于对抗的一致性正则半监督辐射源个体识别方法

针对在有标签信号样本数量较少,待识别信号因复杂信道导致数据分布发生变化的实际场景中,传统通信辐射源个体识别技术识别率较低的问题,提出基于对抗的一致性正则半监督辐射源个体识别方法;该方法在一致性正则半监督模型上首次引入基于对抗的域适应思想,建立网络模型提取“域不变”特征,即不同信噪比条件下的信号数据的特征对齐,从而实现在原始信号上训练的模型,对其他信噪比下信号的高准确率识别;在ORACLE射频指纹数据集上通过设置不同条件的数据集展开实验,实验结果表明,基于对抗的一致性正则半监督模型比全监督方法以及经典的一致性正则半监督模型具有更高的识别准确率。