基于多标签学习的代码评审意见质量评价

代码评审是现代软件开发过程中被广泛应用的最佳实践之一,其对于软件质量保证和工程能力提升都具有重要意义.代码评审意见是代码评审最主要和最重要的产出之一,其不仅是评审者对代码变更的质量感知,而且是作者修复代码缺陷和提升质量的重要参考.目前,全球各大软件组织都相继制定了代码评审指南,但仍缺少针对代码评审意见质量的有效的评价方式和方法.为了实现可解释的、自动化的评价,开展文献综述、案例分析等若干实证研究,并在此基础上提出一种基于多标签学习的代码评审意见质量评价方法.实验使用某大型软件企业的34个商业项目的共计17000条评审意见作为数据集.结果表明所提出的方法能够有效地评价代码评审意见质量属性和质量等级.除此以外,还提供若干建模经验,如评审意见标注和校验等,旨在帮助那些受代码评审困扰的软件组织更好地实施所提出的方法.

结合双流形映射的不完备多标签学习

在多标签学习中,有效利用标签相关性可以提高分类性能。然而,由于人工标注标签的主观性和实际应用中标签语义的相似性,通常只能观察到不完备的标签空间,导致标签相关性的估计不准确,使得算法性能下降。针对该问题,提出一种结合双流形映射的不完备多标签学习(ML-DMM)算法。构造两种流形映射,一种是保留实例数据空间局部结构信息的特征流形映射,另一种是基于迭代学习得到的标签相关性的标签流形映射。首先通过拉普拉斯映射构造数据的低维流形,然后通过回归系数矩阵和标签相关性矩阵将初始特征空间和初始标签空间分别映射到该低维流形上,形成一种双流形映射结构来提升算法性能,最后利用迭代学习得到的回归系数矩阵进行多标签分类。在8个多标签数据集及3种标签缺失率情况下的对比实验结果表明,ML-DMM算法性能优于其他针对缺失标签的多标签分类算法。

基于全局和局部目标点相关性的多标签学习

传统单标签学习一般都是假设一个示例仅仅与一个标签相关。然而,随着科技的发展和数据形式的日益复杂,现实中的学习问题,往往一个示例同时与多个标签相关,面对这种情况,多标签学习框架被提出。现有的多标签学习大多都是从标签相关性的角度考虑,而目标点的相关性也是一个值得研究的问题。目前目标点相关性算法都是只从全局角度,或者只是从局部角度研究多标签学习问题,这对实际情况并不完全适用。本文提出一种新的同时利用全局目标点相关性和局部目标点相关性的多标签学习算法。首先运用深度神经网络学习得到全局目标点的相关性,再使用k近邻算法将全局目标点划分为局部目标点,进而运用欧式距离度量局部目标点的相关性。最后,将全局目标点相关性和局部目标点相关性结合在一起得到一个最优解。8个多标签数据集上的实验结果验证了本文所提出算法的有效性和可行性。

基于柔性神经树的多标签学习方法

深度神经网络在当下各领域的研究中都表现出极为突出的性能优势。但传统神经网络模型在处理多标签学习任务中面临的一系列问题,使其往往难以取得较好的预测精度。建立自适应强且可扩展多标签学习方法,是当前多标签学习领域的研究重点。在此提出了一种新的多标签学习方法,不单独处理任何一类标签,而是把样本的全部标签看作一个整体,对其进行编码,使用柔性神经树进行分类,进而将其拓展到处理多标签学习任务,对分类结果做译码。该方案既没有破坏样本多标签间的相关性,又是柔性神经树模型在多标签学习中的首次应用。在两类多标签蛋白质数据集上的实验结果表明,与其他常用多标签学习模型相比,提出的多标签学习方法能够在较大程度上提升多标签学习性能。

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features,LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations,LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明:结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.

利用标签相关性先验的弱监督多标签学习方法

多标签学习是一种非常重要的机器学习范式.传统的多标签学习方法是在监督或半监督的情况下设计的.通常情况下,它们需要对所有或部分数据进行准确的属于多个类别的标注.在许多实际应用中,拥有大量标注的标签信息往往难以获取,限制了多标签学习的推广和应用.与之相比,标签相关性作为一种常见的弱监督信息,它对标注信息的要求较低.如何利用标签相关性进行多标签学习,是一个重要但未研究的问题.提出了一种利用标签相关性作为先验的弱监督多标签学习方法(WSMLLC).该模型利用标签相关性对样本相似性进行了重述,能够有效地获取标签指示矩阵;同时,利用先验信息对数据的投影矩阵进行约束,并引入回归项对指示矩阵进行修正.与现有方法相比,WSMLLC模型的突出优势在于:仅提供标签相关性先验,就可以实现多标签样本的标签指派任务.在多个公开数据集上进行实验验证,实验结果表明:在标签矩阵完全缺失的情况下,WSMLLC与当前先进的多标签学习方法相比具有明显优势.

基于张量网络的多标签学习方法

利用关系分类模型,将标签之间的相关性以及特征对标签相关性的影响形式化为分数模型,通过要求模型能够区分真实数据和噪声数据的得分建立了基于张量网络的多标签分类模型.多个数据集上的实验表明,相较于传统多标签学习方法和已有考察标签相关性的多标签学习方法,本文方法在平均精确度和错误率等多标签评价指标上提升近一倍,且拥有更低的计算成本.

基于特征细化的多标签学习无监督行人重识别

针对无监督行人重识别中行人特征表达不充分以及训练过程产生噪声标签等问题,提出了一种基于特征细化的多标签学习无监督行人重识别方法。首先,为提高网络对关键区域信息的利用能力,设计多尺度通道注意力模块(Multi-scale channel attention module,MCAM),嵌入ResNet50网络的不同层来构建特征细化网络,并利用该网络对输入图像通道维度上的关键信息进行强化和关注,以获得更丰富的特征信息;其次,为降低训练过程中产生的噪声标签对网络的负面影响,设计多标签学习模块(Multi-label learning module,MLM),通过该模块进行正标签预测以生成可靠的伪标签;最后,利用多标签分类损失和对比损失进行无监督学习。在数据集Market-1501和DukeMTMC-reID上进行实验,结果表明该方法在这两个数据集上的平均精度均值分别达到82.8%和70.9%,首位命中率分别达到92.9%和83.9%。该方法使用注意力机制强化图像的特征信息,并通过正标签预测减少噪声标签,有效提升了无监督行人重识别的准确率,为无监督行人重识别领域提供了更鲁棒的方法。

基于多标签学习的探索性仿真实验因素筛选方法

探索性仿真实验是一种认识、研究战争的重要手段,但往往面临想定样本空间复杂程度高,空间维度爆炸等问题。针对上述问题,提出一种定性定量相结合的基于多标签学习的实验因素筛选方法。首先,基于定性分析设计并实施仿真预实验,采集处理实验数据,解决机器学习样本数据缺失问题;随后,引入输入控制层搭建深度神经网络,引入稀疏正则化,在多标签模型训练过程中实现特征选择;然后,回归定性分析,补充完善实验因素;最后,以某作战样式下立体投送行动仿真推演为背景进行实验验证。实验结果表明,筛选的实验因素与作战行动现实情况吻合。

基于互信息的粒化特征加权多标签学习k近邻算法

传统基于k近邻的多标签学习算法,在寻找近邻度量样本间的距离时,对所有特征给予同等的重要度.这些算法大多采用分解策略,对单个标签独立预测,忽略了标签间的相关性.多标签学习算法的分类效果跟输入的特征有很大的关系,不同的特征含有的标签分类信息不同,故不同特征的重要度也不同.互信息是常用的度量2个变量间关联度的重要方法之一,能够有效度量特征含有标签分类的知识量.因此,根据特征含有标签分类知识量的大小,赋予相应的权重系数,提出一种基于互信息的粒化特征加权多标签学习k近邻算法(granular feature weighted k-nearest neighbors algorithm for multi-label learning,GFWML-kNN),该算法将标签空间粒化成多个标签粒,对每个标签粒计算特征的权重系数,以解决上述问题和标签组合爆炸问题.在计算特征权重时,考虑到了标签间可能的组合,把标签间的相关性融合进特征的权重系数.实验表明:相较于若干经典的多标签学习算法,所提算法GFWML-kNN整体上能取得较好的效果.

基于多标签学习的卷积神经网络的图像标注方法

针对图像自动标注中因人工选择特征而导致信息缺失的缺点,提出使用卷积神经网络对样本进行自主特征学习。为了适应图像自动标注的多标签学习的特点以及提高对低频词汇的召回率,首先改进卷积神经网络的损失函数,构建一个多标签学习的卷积神经网络(CNN-MLL)模型,然后利用图像标注词间的相关性对网络模型输出结果进行改善。通过在IAPR TC-12标准图像标注数据集上对比了其他传统方法,实验得出,基于采用均方误差函数的卷积神经网络(CNN-MSE)的方法较支持向量机(SVM)方法在平均召回率上提升了12.9%,较反向传播神经网络(BPNN)方法在平均准确率上提升了37.9%;基于标注结果改善的CNN-MLL方法较普通卷积神经网络的平均准确率和平均召回率分别提升了23%和20%。实验结果表明基于标注结果改善的CNN-MLL方法能有效地避免因人工选择特征造成的信息缺失同时增加了对低频词汇的召回率。

基于多视角多标签学习的读者情绪分类

传统的读者情绪分类主要从情感分析的角度出发,着重考量读者评论中体现出来的情感极性。然而现实中,读者评论的缺失有可能影响情绪分类的有效性和及时性。如何融合包括新闻文本和评论在内的多视角信息,对读者情绪进行更加准确的研判,成为了一个具有挑战性的问题。针对这一问题,构建了一种融合多视角信息的多标签隐语义映射模型(Multi-view Multi-label Latent Indexing,MV-MLSI),将不同视角下的文本特征映射到低维语义空间,同时建立特征和标签之间的映射函数,通过最小化重构误差对模型进行求解,并设计了相关算法,从而实现对读者情绪的有效预测。相比于传统模型,该模型不仅可以充分利用多视角的信息,而且考虑了标签之间的相关性。在新闻文本数据集上的实验表明,该方法可以获得更高的准确率和稳定性。

基于聚类提升树的多标签学习

为了探索多标签数据集中每个标签所具有的特定特征,针对标签特定特征进行有效的利用,提出基于聚类提升树的多标签学习方法(multi-label leaning based on boosting clustering trees,MLL-BCT).建立MLL-BCT整体框架,通过引入聚类特征树来挖掘数据样本之间的相关性,以树形结构保存数据的内在关联;通过引入随机子集训练每个标签的若干分类树来学习标签特定特征,增强特征对单个标签表达,提升分类性能.将所提出的方法在flag、emotions等11个数据集上与经典的特定特征领域多标签学习方法(LIFT、LLSF、REEL、LLSF-DL)进行对比试验.结果表明:新方法在各评估指标(Hamming Loss、One-error、Ranking Loss、Average Precision、Micro-averaged F-Measure)上均具有明显的性能提升,且方法具备简单灵活性.

大数据环境下基于关联规则的多标签学习算法

传统单标签挖掘技术研究中,每个样本只属于一个标签且标签之间两两互斥。而在多标签学习问题中,一个样本可能对应多个标签,并且各标签之间往往具有关联性。目前,标签间关联性研究逐渐成为多标签学习研究的热门问题。首先为适应大数据环境,对传统关联规则挖掘算法Apriori进行并行化改进,提出基于Hadoop的并行化算法Apriori_ING,实现各节点独立完成候选项集的生成、剪枝与支持数统计,充分发挥并行化的优势;通过Apriori_ING算法得到的频繁项集和关联规则生成标签集合,提出基于推理机的标签集合生成算法IETG。然后,将标签集合应用到多标签学习中,提出多标签学习算法FreLP。FreLP利用关联规则生成标签集合,将原始标签集分解为多个子集,再使用LP算法训练分类器。通过实验将FreLP与现有的多标签学习算法进行对比,结果表明在不同评价指标下所提算法可以取得更好的结果。

多标签学习中基于互信息的快速特征选择方法

针对传统的基于启发式搜索的多标记特征选择算法时间复杂度高的问题,提出一种简单快速的多标记特征选择(EF-MLFS)方法。首先使用互信息(MI)衡量每个维度的特征与每一维标记之间的相关性,然后将所得相关性相加并排序,最后按照总的相关性大小进行特征选择。将所提方法与六种现有的比较有代表性的多标记特征选择方法作对比,如最大依赖性最小冗余性(MDMR)算法和基于朴素贝叶斯的多标记特征选择(MLNB)方法等。实验结果表明,EF-MLFS方法进行特征选择并分类的结果在平均准确率、覆盖率、海明损失等常见的多标记分类评价指标上均达最优;该方法无需进行全局搜索,因此时间复杂度相较于MDMR、对偶多标记应用(PMU)等方法也有明显降低。

一种非负稀疏近邻表示的多标签学习算法

针对训练数据中的非线性流形结构以及基于稀疏表示的多标签分类中判别信息丢失严重的问题,该文提出一种非负稀疏近邻表示的多标签学习算法。首先找到待测试样本每个标签类上的k-近邻,然后基于LASSO稀疏最小化方法,对待测试样本进行非负稀疏线性重构,得到稀疏的非负重构系数。再根据重构误差计算待测试样本对每个类别的隶属度,最后实现多标签数据分类。实验结果表明所提出的方法比经典的多标签k近邻分类(ML-KNN)和稀疏表示的多标记学习算法(ML-SRC)方法性能更优。

基于实例结构的不完备多标签学习

针对现有标签缺失下多标签学习方案未能有效解决标签缺失的问题,提出了基于实例结构的不完备多标签学习方案,考虑实例特征和标签结构特点,利用数据标签向量几何相似度来补全缺失标签,利用加权排序来降低正关系学为负关系所带来的模型偏差,并利用低秩结构来俘获模型低秩结构。具体地,通过确保数据预测标签几何相似度与数据标签几何相似度的一致性来俘获数据流型结构;通过度量完备标签下和不完备标签下的排序损失来区分标签与实例的相关程度。实验结果表明,所提方案优于典型的标签缺失下的多标签学习方案,甚至在一些评估标准下其精度比最好对比方案提升了10%以上。

基于粒计算的K近邻多标签学习算法

K近邻多标签学习算法的近邻点个数取固定值,而没有考虑样本分布的特点,可能会将相似度高的点排除在近邻集外,或者将相似度低的点包含在近邻集内,影响分类器的性能。为此,将粒计算的思想引入近邻集的构建,提出一种新的K近邻多标签学习算法。通过粒度控制,确定近邻点集,使得领域内的样本点有高相似性,且此类样本能进入近邻集。实验结果表明,该算法的大多数评价指标均优于现有的多标签学习算法。

一种基于图卷积网络的文本多标签学习方法

多标签学习广泛应用于文本分类、标签推荐、主题标注等.最近,基于深度学习技术的多标签学习受到广泛关注,针对如何在多标签学习中有效挖掘并利用高阶标签关系的问题,提出一种基于图卷积网络探究标签高阶关系的模型TMLLGCN.该模型采用GCN的映射函数从数据驱动的标签表示中生成对象分类器挖掘标签高阶关系.首先,采用深度学习方法提取文本特征,然后以数据驱动方式获得基础标签关联表示矩阵,为更好地建模高阶关系及提高模型效果,在基础标签关联表示矩阵上考虑未标记标签集对已知标签集的影响进行标签补全,并以此相关性矩阵指导GCN中标签节点之间的信息传播,最后将提取的文本特征应用到学习高阶标签关系的图卷积网络分类器进行端到端训练,综合标签关联和特征信息作为最终的预测结果.在实际多标签数据集上的实验结果表明,提出的模型能够有效建模标签高阶关系且提升了多标签学习的效果.

基于径向基神经网络和正则化极限学习机的多标签学习模型

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.