基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于多标签学习的代码评审意见质量评价

代码评审是现代软件开发过程中被广泛应用的最佳实践之一,其对于软件质量保证和工程能力提升都具有重要意义.代码评审意见是代码评审最主要和最重要的产出之一,其不仅是评审者对代码变更的质量感知,而且是作者修复代码缺陷和提升质量的重要参考.目前,全球各大软件组织都相继制定了代码评审指南,但仍缺少针对代码评审意见质量的有效的评价方式和方法.为了实现可解释的、自动化的评价,开展文献综述、案例分析等若干实证研究,并在此基础上提出一种基于多标签学习的代码评审意见质量评价方法.实验使用某大型软件企业的34个商业项目的共计17000条评审意见作为数据集.结果表明所提出的方法能够有效地评价代码评审意见质量属性和质量等级.除此以外,还提供若干建模经验,如评审意见标注和校验等,旨在帮助那些受代码评审困扰的软件组织更好地实施所提出的方法.

基于生成式对抗网络和正类无标签学习的知识图谱补全算法

随着知识图谱的应用越来越广泛,绝大多数真实世界的知识图谱通常具有不完备性,限制了知识图谱的实际应用效果。因此,知识图谱补全成为了知识图谱领域的热点。然而,现有方法大多集中在评分函数的设计上,少部分研究关注了负样本抽样策略。在改善负样本抽样的知识图谱补全算法的研究中,基于生成式对抗网络的方法取得了不错的进展。然而,现有研究并没有关注到负样本存在假阴性标签的问题,即生成的负样本中可能包含真实的事实。为了缓解假阴性标签问题,提出了一种基于生成式对抗网络和正类无标签学习的知识图谱补全算法。该方法利用生成式对抗网络生成无标签样本,并使用正类无标签学习缓解假阴性标签问题。在基准数据集上进行的大量实验证明了所提算法的有效性与准确性。

结合双流形映射的不完备多标签学习

在多标签学习中,有效利用标签相关性可以提高分类性能。然而,由于人工标注标签的主观性和实际应用中标签语义的相似性,通常只能观察到不完备的标签空间,导致标签相关性的估计不准确,使得算法性能下降。针对该问题,提出一种结合双流形映射的不完备多标签学习(ML-DMM)算法。构造两种流形映射,一种是保留实例数据空间局部结构信息的特征流形映射,另一种是基于迭代学习得到的标签相关性的标签流形映射。首先通过拉普拉斯映射构造数据的低维流形,然后通过回归系数矩阵和标签相关性矩阵将初始特征空间和初始标签空间分别映射到该低维流形上,形成一种双流形映射结构来提升算法性能,最后利用迭代学习得到的回归系数矩阵进行多标签分类。在8个多标签数据集及3种标签缺失率情况下的对比实验结果表明,ML-DMM算法性能优于其他针对缺失标签的多标签分类算法。

深度学习下椅子造型特征标签识别与智能设计

为了挖掘大数据图像的有效信息,准确识别海量照片中椅子造型特征并根据特征标签进行快速设计,研究一种基于深度学习的椅子造型特征智能设计方法。首先通过文献调研,确定基于类型学和形态分析法,为椅子造型特征要素选定标签;其次,运用MoblieNet网络构建大数据椅子图像的识别与分类模型,通过图像识别模型对获取的大批量椅子图像进行识别筛选,选择出符合要求的椅子图像;然后运用多标签学习模型建立椅子造型标签智能识别标注模型,验证模型有效性并识别标注椅子图像。最后,选定某标签的椅子图像可以构建训练数据集,通过生成对抗网络生成新图像,作为设计草图激活设计师灵感,更好地辅助智能设计。

一种基于深度学习的核酸结合蛋白多标签预测模型

核酸结合蛋白(nucleic acid-binding protein,NABP)包括DNA结合蛋白(DNA-binding protein,DBP)和RNA结合蛋白(RNA-binding protein,RBP),准确识别NABP有助于了解蛋白质的作用机制.为了解决NABP预测中的交叉预测问题,提出一种新的同时预测DBP和RBP的深度学习模型DeepDPRP,并采用多标签学习方法训练模型.利用双向长短期记忆网络从位置特异性得分矩阵中提取全局蛋白质序列特征,再用卷积神经网络从中捕捉更复杂的特征,同时结合基于结构模式的卷积模块以有效利用已发现的蛋白质结构特征.独立测试实验表明,DeepD‐PRP明显优于现有的核酸结合蛋白预测器,具有更高的性能和更低的交叉预测率.广泛的消融实验证明了该模型的有效性.

基于柔性神经树的多标签学习方法

深度神经网络在当下各领域的研究中都表现出极为突出的性能优势。但传统神经网络模型在处理多标签学习任务中面临的一系列问题,使其往往难以取得较好的预测精度。建立自适应强且可扩展多标签学习方法,是当前多标签学习领域的研究重点。在此提出了一种新的多标签学习方法,不单独处理任何一类标签,而是把样本的全部标签看作一个整体,对其进行编码,使用柔性神经树进行分类,进而将其拓展到处理多标签学习任务,对分类结果做译码。该方案既没有破坏样本多标签间的相关性,又是柔性神经树模型在多标签学习中的首次应用。在两类多标签蛋白质数据集上的实验结果表明,与其他常用多标签学习模型相比,提出的多标签学习方法能够在较大程度上提升多标签学习性能。

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features,LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations,LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明:结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.

基于特征集重构与多标签分类模型的谐波源定位方法

传统基于谐波状态估计的谐波源定位方法需要专门的同步相量量测装置,工程应用受到限制。为此,基于电能质量监测装置所采集的非同步量测数据,提出了基于特征集重构与多标签分类模型的谐波源定位方法。利用监测数据的充分统计量来挖掘量测时段的谐波信息,同时利用标签特定特征学习算法重构特征集,从而消除冗余特征以及无关特征对于谐波源定位精度的影响;提出基于邻接矩阵以及灵敏度分析的测点配置方法,结合电路网络拓扑信息实现测点的优化配置;提出基于改进极限学习机的谐波源定位方法,该方法以重构特征集为输入,建立多标签分类模型,实现谐波源定位。通过仿真与算例分析,验证了所提方法的可行性及有效性。

结合伪标签生成与噪声标签学习的弱监督点云分割

针对当前基于深度学习的点云分割技术对点级别标注训练数据的依赖问题,提出一种基于伪标签生成与噪声标签学习的弱监督点云分割框架.首先,利用点云具有非局部相似性的特点,基于局部-非局部图对点云数据进行建模;其次,基于关系图卷积网络,以半监督的方式为稀疏标注的点云训练集数据生成高质量的伪标签;最后,针对生成的伪标签中存在噪声标签的问题,设计一种利用含噪声标签数据准确训练现有点云分割网络的渐进式噪声鲁棒损失函数.在ShapeNet Part与S3DIS等公开点云分割数据集上的实验结果表明,该框架在推理阶段不增加模型额外运算量的情况下,当使用10%的标签时,在ShapeNet Part数据集上的分割精度与全监督方法相差0.1%;当使用1%的标签时,在S3DIS数据集上的分割精度与全监督方法相差5.2%.

利用标签相关性先验的弱监督多标签学习方法

多标签学习是一种非常重要的机器学习范式.传统的多标签学习方法是在监督或半监督的情况下设计的.通常情况下,它们需要对所有或部分数据进行准确的属于多个类别的标注.在许多实际应用中,拥有大量标注的标签信息往往难以获取,限制了多标签学习的推广和应用.与之相比,标签相关性作为一种常见的弱监督信息,它对标注信息的要求较低.如何利用标签相关性进行多标签学习,是一个重要但未研究的问题.提出了一种利用标签相关性作为先验的弱监督多标签学习方法(WSMLLC).该模型利用标签相关性对样本相似性进行了重述,能够有效地获取标签指示矩阵;同时,利用先验信息对数据的投影矩阵进行约束,并引入回归项对指示矩阵进行修正.与现有方法相比,WSMLLC模型的突出优势在于:仅提供标签相关性先验,就可以实现多标签样本的标签指派任务.在多个公开数据集上进行实验验证,实验结果表明:在标签矩阵完全缺失的情况下,WSMLLC与当前先进的多标签学习方法相比具有明显优势.

权重推断与标签平滑的轻量级人脸表情识别

针对轻量级网络在复杂环境下对面部表情的特征提取不够充分、模型参数存在冗余以及单标签数据集无法有效描述复杂情感倾向所带来的歧义表情等问题,提出了一种结合改进ShuffleNet与标签平滑学习的人脸表情识别方法。通过对原始网络的分析与剪裁,得到了改进后更紧凑的K5_Light_ShuffleNet,不仅优化了网络参数,还提高了模型的表征能力。为了增强模型对人脸表情图像局部细节特征的提取能力,抑制非表情特征,在模型中嵌入了设计的轻量化通道空间关键权重推断模块。通过标签平滑学习方法,在不引入额外信息的前提下,利用软标签分布监督网络的学习,以减少由于歧义表情对识别性能所带来的不利影响。实验结果表明,在公开的RAF-DB、AffectNet-7和AffectNet-8数据集上分别达到了86.91%、61.80%和58.75%的表情识别准确率,相较于目前其他人脸表情识别方法,其识别率有一定提高,同时模型参数量和计算量均保持在较低水平,利于其在实际中的应用。

基于不确定比例标签信息的多视角学习

针对现实应用中所获取的比例标签数据存在噪声污染而标注困难的局限性,提出将多视角学习应用到不确定比例标签学习中以提高分类器的准确率和稳定性。首先,所提出的方法利用核方法映射多视角信息到特征空间以及引入超实例标签表示比例标签信息,在将多视角信息与比例标签信息结合的同时将不确定比例标签数据的局限性考虑在内,以此构建基于不确定比例标签信息的多视角学习模型;而后利用拉格朗日方法将目标模型转换为对偶形式求解,并引入一个迭代框架解决目标模型以获取多视角分类器。最后,将所提出的方法应用于文本分类的数据集。实验结果表明提出的方法比已有的单一视角比例标签学习方法更具优越性,具体表现在更高的分类准确率和更不易受数据噪声影响等方面。

结合集成学习与迁移学习的标签比例学习方法

标签比例学习(LLP)是一种将实例放入包中的机器学习方法,它只提供包中的实例信息和标签比例信息,而不提供标签信息。针对多个相关任务的LLP问题,提出了一种基于迁移学习的标签比例集成学习模型,简称AT-LLP,该模型通过在任务之间构建共享参数来连接相关任务,将源任务中学习到的知识迁移到目标任务中,从而提高目标任务的学习效率。同时该算法引入了集成学习算法,在分类器多轮迭代的学习过程中,不断调整训练集的权重系数,进一步将弱分类器训练为强分类器。实验表明,所提AT-LLP模型比现有LLP方法具有更好的性能。

基于张量网络的多标签学习方法

利用关系分类模型,将标签之间的相关性以及特征对标签相关性的影响形式化为分数模型,通过要求模型能够区分真实数据和噪声数据的得分建立了基于张量网络的多标签分类模型.多个数据集上的实验表明,相较于传统多标签学习方法和已有考察标签相关性的多标签学习方法,本文方法在平均精确度和错误率等多标签评价指标上提升近一倍,且拥有更低的计算成本.

基于特征细化的多标签学习无监督行人重识别

针对无监督行人重识别中行人特征表达不充分以及训练过程产生噪声标签等问题,提出了一种基于特征细化的多标签学习无监督行人重识别方法。首先,为提高网络对关键区域信息的利用能力,设计多尺度通道注意力模块(Multi-scale channel attention module,MCAM),嵌入ResNet50网络的不同层来构建特征细化网络,并利用该网络对输入图像通道维度上的关键信息进行强化和关注,以获得更丰富的特征信息;其次,为降低训练过程中产生的噪声标签对网络的负面影响,设计多标签学习模块(Multi-label learning module,MLM),通过该模块进行正标签预测以生成可靠的伪标签;最后,利用多标签分类损失和对比损失进行无监督学习。在数据集Market-1501和DukeMTMC-reID上进行实验,结果表明该方法在这两个数据集上的平均精度均值分别达到82.8%和70.9%,首位命中率分别达到92.9%和83.9%。该方法使用注意力机制强化图像的特征信息,并通过正标签预测减少噪声标签,有效提升了无监督行人重识别的准确率,为无监督行人重识别领域提供了更鲁棒的方法。

基于多标签学习的探索性仿真实验因素筛选方法

探索性仿真实验是一种认识、研究战争的重要手段,但往往面临想定样本空间复杂程度高,空间维度爆炸等问题。针对上述问题,提出一种定性定量相结合的基于多标签学习的实验因素筛选方法。首先,基于定性分析设计并实施仿真预实验,采集处理实验数据,解决机器学习样本数据缺失问题;随后,引入输入控制层搭建深度神经网络,引入稀疏正则化,在多标签模型训练过程中实现特征选择;然后,回归定性分析,补充完善实验因素;最后,以某作战样式下立体投送行动仿真推演为背景进行实验验证。实验结果表明,筛选的实验因素与作战行动现实情况吻合。

基于多峰标签分布学习的多任务年龄估计方法

针对面部年龄估计中标签序数信息和类间相关性提取难的问题,提出一种多峰分布(MPD)年龄编码,并基于该年龄编码构建了一个多任务年龄估计方法MPDNet(MPD Network)。首先,利用MPD将年龄标签转化为年龄分布,以提取年龄标签间的相关信息,构建年龄老化趋势的阶段性;然后,采用一个轻量级网络进行多阶段的特征提取,并对提取的特征分别进行标签分布学习(LDL)和回归学习;最后,共享两个学习任务的输出,并在训练过程中通过反向传播互相优化,避免传统标签分布学习中对分布结果直接进行回归导致的误差传播。在MORPHⅡ数据集上的实验结果表明,MPDNet的平均绝对误差(MAE)达到2.67,与基于VGGNets(Visual Geometry Group Networks)构建的DEX(Deep EXpectation)、RankingCNN(Ranking Convolutional Neural Network)等方法相当,而参数仅为VGGNets的1/788.6;而且MPDNet也优于同体量的C3AE(extremely Compact yet efficient Cascade Context-based Age Estimation model)、SSR-Net(Soft Stagewise Regression Network)等方法。MPDNet能够较好地利用年龄标签间丰富的相关信息来提取更具判别力的年龄特征,提高年龄估计任务的预测精度。

基于深度学习的标签噪声学习算法综述

在深度学习算法的使用过程中,样本被正确标注与否直接影响着深度学习模型的构建与学习的效果。这些算法标注数据的过程是一个高成本、费精力的过程,并且在标注数据的过程中由于受到各种主客观因素的影响,往往会导致标签噪声的产生,这种情况在模型实际应用中非常常见。为了更好地研究和解决标签噪声这类问题,找到较为合理的模型标签噪声解决方案,尝试从深度学习的角度出发,研究现有的标签噪声学习算法有关文献,并将那些能让标签噪声被有效训练、合理消除的模型进行更深入研究。

基于深度学习多任务与标签分布的年龄估计研究

人脸通常受环境、习惯、基因、性别、种族等内外因素共同影响,因而准确的面部年龄估计是一个很具挑战性的课题。鉴于此,提出一种基于性别辅助任务的双分支年龄估计模型CUT-ResNet50,将标签分布学习应用于年龄估计,探究性别因素对年龄估计任务的影响。通过将共享参数层提取的低级特征输入到性别网络分支以提取性别特征后,再与共享参数层的低级特征融合,作为年龄网络分支的输入。引入标签分布学习,利用数据集相邻样本信息生成年龄的分布信息,减少人脸样本分布不均衡对年龄估计性能的影响,并重新训练双分支年龄估计模型。在公开的MORPH-II数据集与UTKFace数据集上,MAE分别达2.1和4.1,这表明添加了性别辅助任务的多任务学习与标签分布学习可以提升年龄估计准确度,从而证明了新设计模型的有效性。