面向非均匀分布数据的代价敏感标记分布学习

标记歧义近年来在机器学习和数据挖掘领域备受关注.标记分布学习(LDL)通过为样本分配概率标记来解决标记歧义问题.现有的LDL方法主要是为处理训练数据均匀分布的情况而设计的.然而,在实际应用中,训练数据往往呈现非均匀分布.因此,提出了一种代价敏感的标记分布学习方法(CSLDL),用以处理这种非均匀分布的数据.通过充分利用样本的密度信息,设计了一种新的损失函数.首先,将描述度集平均划分为多个区间,并统计这些区间中的样本个数,从而推导出每个类别标记的经验密度向量.其次,为了确保不同区间之间的连续性,利用邻居来对目标区间的经验密度进行修正.将经验密度向量与对称核进行卷积,以使每个区间不仅考虑当前区间,还考虑附近区间.最后,利用修正后的密度向量构建代价矩阵,并结合Kullback-Leibler(K-L)散度来处理非均匀分布的训练数据.CSLDL在10个真实世界的数据集上与6种最先进的算法进行了对比实验.实验结果充分验证了提出的方法的有效性和优越性.

基于深度森林与异质集成的标记分布学习方法

作为一种解决标签模糊性问题的新学习范式,标记分布学习(LDL)近年来受到了广泛的关注.为了进一步提升标记分布学习的预测性能,提出一种联合深度森林与异质集成的标记分布学习方法(LDLDF).所提方法采用深度森林的级联结构模拟具有多层处理结构的深度学习模型,在级联层中组合多个异质分类器增加集成的多样性.相较于其他现有LDL方法,LDLDF能够逐层处理信息,学习更好的特征表示,挖掘数据中丰富的语义信息,具有强大的表示学习能力和泛化能力.此外,考虑到深层模型可能出现的模型退化问题,LDLDF采用一种层特征重用机制(layer feature reuse)降低模型的训练误差,有效利用深层模型每一层的预测能力.大量的实验结果表明,所提方法优于近期的同类方法.

结合局部标记序关系的弱监督标记分布学习

标记分布学习(label distribution learning,LDL)是一种用于解决标记多义性的新颖学习范式。现有的LDL方法大多基于完整数据信息进行设计,然而由于高昂的标注成本以及标注人员水平的局限性,很难获取到完整标注数据信息,且会导致传统LDL算法性能的下降。为此,本文提出了一种新型的结合局部序标记关系的弱监督标记分布学习算法,通过维持尚未缺失标记之间的相对关系,并利用标记相关性来恢复缺失的标记,在数据标注不完整的情况下提升算法性能。在14个数据集上进行了大量的实验来验证算法的有效性。

基于标记分布学习的人脸年龄识别算法

针对人脸年龄识别可用数据集普遍不足的问题,为提升可用数据集不变情况下人脸年龄识别的精度,在深度学习(DL)框架中引入标记分布学习(LDL)策略,命名为DL-LDL,其中卷积神经网络用于自动提取人脸特征,改进的标记分布学习用于学习真实年龄及相邻年龄之间的模糊性和多义性,以丰富年龄信息,提高识别精度.将DL-LDL方法在MORPH和FG-NET这2个公开数据集上进行了试验测试.结果表明:DL-LDL方法提高了年龄识别的精度,与现有最先进的人脸年龄识别方法相比,在MORPH和FG-NET上的平均绝对误差分别降低了8.2%和13.8%.

基于粒的标记增强标记分布学习

标记分布学习能有效求解多标记学习任务,然而分类器构造以获得大规模具有更强监督信息的标注为前提,在许多应用中难以满足。一种替代的方案是以标记增强的方式从传统逻辑形式的标注中挖掘出隐含的数值型标记的重要程度。现有的标记增强方法大多假设增强后的标记需要在所有示例上保持原有逻辑标记的相关性,不能有效保持局部标记相关性。基于粒计算理论,提出了一种适用于标记分布学习的粒化标记增强学习方法。该方法通过k均值聚类构造具有局部相关性语义的信息粒,并在粒的抽象层面上,分别在图上依据逻辑标记的特性和属性空间的拓扑性质完成粒内示例的标记转化。最后,将得到的标记分布在示例层面进行融合,得到描述整个数据集标记重要程度的数值型标记。大量比较研究表明,所提出的模型可以显著地提升多标记学习的性能。

基于局部标记相关性的标记分布学习算法

针对大多数现有的标记分布学习算法从全局角度利用标记相关性,忽略了仅存于部分示例范围内的局部标记相关性,同时,算法性能会受到无关和冗余特征干扰的问题,提出一种基于局部标记相关性的标记分布学习算法(LDL-LLC)。通过对训练数据进行分组,将每组训练数据的标记相关性约束在标记输出上,探索和利用局部标记相关性,引入特征选择常用的范数约束,学习标记私有特征和共享特征。在多个真实标记分布数据集上的对比实验结果表明,LDL-LLC算法性能良好。

面向标记分布学习的标记增强

多标记学习(multi-label learning,MLL)任务处理一个示例对应多个标记的情况,其目标是学习一个从示例到相关标记集合的映射.在MLL中,现有方法一般都是采用均匀标记分布假设,也就是各个相关标记(正标记)对于示例的重要程度都被当作是相等的.然而,对于许多真实世界中的学习问题,不同相关标记的重要程度往往是不同的.为此,标记分布学习将不同标记的重要程度用标记分布来刻画,已经取得很好的效果.但是很多数据中却仅包含简单的逻辑标记而非标记分布.为解决这一问题,可以通过挖掘训练样本中蕴含的标记重要性差异信息,将逻辑标记转化为标记分布,进而通过标记分布学习有效地提升预测精度.上述将原始逻辑标记提升为标记分布的过程,定义为面向标记分布学习的标记增强.首次提出了标记增强这一概念,给出了标记增强的形式化定义,总结了现有的可以用于标记增强的算法,并进行了对比实验.实验结果表明:使用标记增强能够挖掘出数据中隐含的标记重要性差异信息,并有效地提升MLL的效果.

考虑标记间协作的标记分布学习

近些年来,作为一种新的有监督学习范式,标记分布学习(LDL)已被应用到多个领域,如人脸年龄估计、头部姿态估计、电影评分预测、公共视频监控中的人群计数等,并且在这些领域的相关任务上取得了一定性能上的进展.最近几年,很多关于标记分布学习的算法在解决标记分布学习问题时考虑到了标记之间的相关性,但是现有方法大多将标记相关性作为先验知识,这可能无法正确刻画标记之间的真实关系.此外,标记相关性通常用于在训练阶段调整假设空间,而最终的标记预测并未显式利用标记间的相关性.因此,提出一种新的标记分布学习方法——考虑标记间协作的标记分布学习(LDLCL).该方法旨在训练期望模型的同时,显式地考虑标记间的相关预测.具体来讲,首先提出假设:对于每个标记,最终的预测结果涉及到它自己的预测和其他标记的预测之间的协作.基于这一假设,提出一种通过标记空间中的稀疏重构来学习标记相关性的新方法;然后,将学习到的标记相关性无缝集成到模型训练中;最终,在标记预测时使用学习到的标记相关性.大量的实验结果表明,该方法优于近期的同类方法.

标记分布学习中目标函数的选择

标记分布学习是近年提出的一种新的机器学习范式。从理论上来说,这一范式可以看作是对多标记学习的泛化。已有的研究表明标记分布学习是一种有效的学习范式,能够很好地解决某些标记多义性问题。针对标记分布学习,已有一些预测效果不错的专门算法被提出来。针对这些专门的标记分布学习算法提出了一种泛化标记分布学习框架。在这个框架中,一个专门的标记分布学习算法由目标函数、输出模型和优化方法三部分组成。针对这个泛化框架中的目标函数部分展开研究。为了研究选择不同的距离作为目标函数对标记分布学习算法预测效果的影响,选取7个代表性距离作为研究对象。通过对5个真实标记分布数据集上的实验结果进行分析,结合每个距离的特点,提出了一些选取目标函数的具体建议。

基于自然邻居的标记分布学习

标记分布是一种新的机器学习范式,能很好地解决某些标记多义性问题,可看作多标记的泛化。传统的单标记学习和多标记学习均可看作标记分布学习的特例。已有的标记分布学习算法中,基于算法改造的AA-KNN(Algorithm Adaptation-KNN)是一种高效的算法,但任何涉及K近邻求解问题的算法在处理不同数据集时,参数K值的选取都是一个难题,不同的K值得到的结果明显不同。基于此,将自然最近邻居的概念引入标记分布学习,提出一种新的标记分布学习方法。对数据集使用自然最近邻居搜索算法查找每个样本的自然邻居,取自然邻居的标记分布均值作为预测结果。搜索算法不需要人工设置任何参数,同时搜索算法是一种被动搜索,其自适应计算得到每个样本的邻居。在6个数据集上使用6个评价指标进行实验,结果表明,与AA-KNN相比,结合自然最近邻居的标记分布学习算法不仅避免了人工设置参数的问题,而且取得了更优的效果。

结合谱聚类的标记分布学习

标记分布是一种新的学习范式,现有算法大多数直接使用条件概率建立参数模型,未充分考虑样本之间的相关性,导致计算复杂度增大。基于此,引入谱聚类算法,通过样本之间相似性关系将聚类问题转化为图的全局最优划分问题,进而提出一种结合谱聚类的标记分布学习算法(label distribution learning with spectral clustering,SC-LDL)。首先,计算样本相似度矩阵;然后,对矩阵进行拉普拉斯变换,构造特征向量空间;最后,通过K-means算法对数据进行聚类建立参数模型,预测未知样本的标记分布。与现有算法在多个数据集上的实验表明,本算法优于多个对比算法,统计假设检验进一步说明算法的有效性和优越性。

基于最小二乘法的标记分布学习

多标记学习在一定程度上解决了标记多义性问题,它主要关注实例对应的相关标记或者无关标记,而标记分布能够反映相关标记对于实例的重要程度.从重构标记分布的思想出发,利用最小二乘法建立模型,提出基于最小二乘法的标记分布学习(lsm-LDL).首先用特征重构标记,通过变换矩阵使得每一个标记能够表示为特征的一个线性组合;然后用最小二乘法建立优化模型;最后引入L_2范数规则化项,防止过拟合,保证泛化能力.在4个实际的数据集上进行实验,并与3种已有的标记分布学习算法在5种评价指标上进行比较,实验结果表明提出的lsm-LDL算法是有效的.

应用k-means算法实现标记分布学习

标记分布学习是近年来提出的一种新的机器学习范式,它能很好地解决某些标记多义性的问题。现有的标记分布学习算法均利用条件概率建立参数模型,但未能充分利用特征和标记间的联系。本文考虑到特征相似的样本所对应的标记分布也应当相似,利用原型聚类的k均值算法(k-means),将训练集的样本进行聚类,提出基于kmeans算法的标记分布学习(label distribution learning based on k-means algorithm,LDLKM)。首先通过聚类算法kmeans求得每一个簇的均值向量,然后分别求得对应标记分布的均值向量。最后将测试集和训练集的均值向量间的距离作为权重,应用到对测试集标记分布的预测上。在6个公开的数据集上进行实验,并与3种已有的标记分布学习算法在5种评价指标上进行比较,实验结果表明提出的LDLKM算法是有效的。

标记分布集成学习

标记分布学习是一种新型的学习范式,该文提出了一种适用于标记分布问题形式的Adaboost集成算法,能够有效地提升各种单独算法的预测精度。该文设计了一种新的用于反映排序损失的评价指标SortLoss。该文将Adaboost应用在标记分布学习问题上。实验结果表明,该文设计的Adaboost-LDL集成框架在13个真实数据集上能够显著提升标记分布学习算法的预测精度,该文的方法将排序损失指标SortLoss平均降低至原先的41.2%,KL散度指标平均降低至原先的68.5%。

基于标记增强和模糊辨识度的标记分布特征选择

特征选择作为多标记学习任务中关键预处理步骤,能够有效地解决高维多标记数据存在的维度灾难问题。在现有大部分的多标记学习中,标记是以逻辑分布的形式刻画,即示例中相关标记的重要性相同;然而,在许多现实生活中,每个示例的标记重要程度呈现差异性。本文提出了一种基于模糊相似性的标记增强算法,通过衡量示例中标记的模糊相关性,将传统的多标记数据转换为标记分布数据;分析了标记分布数据中在标记上的标记差异性和在特征上的模糊相对辨识关系,给出了在标记空间和特征空间上的模糊辨识度,并构造了衡量特征辨识能力的特征重要度;在此基础上,构建面向标记分布数据的特征选择算法,能获得按特征重要度降序的特征选择结果。最后通过在多个多标记数据集上实验对比和分析,进一步验证了算法的有效性和可行性。

局部协同视角下的鲁棒标记分布学习

已有标记分布学习(LDL)算法在一定程度上破坏不同标记间的关联性及标记分布的整体结构,同时,大多仅以提升标记分布的预测性能为目的,忽略计算代价和噪声鲁棒性在实际应用中的重要性.为了缓解上述不足,文中提出基于局部协同表达的标记分布学习算法(LCR-LDL).在LCR-LDL中,一个未标记样本可被视作由该未标记样本邻域构建的局部字典的协同表达,表达系数中的鉴别信息可用于重构未标记样本的标记分布.在15个真实的LDL数据集上的实验表明,LCR-LDL不仅可有效提升LDL的预测性能,而且具有较强的鲁棒性和轻量级的计算开销.

基于低秩表示的标记分布学习算法

针对标记分布学习算法忽略标记相关性信息及数据存在异常和噪声值的情况,文中提出基于低秩表示的标记分布学习算法(LDL-LRR).利用特征空间的基线性表示样本信息,实现对原始特征空间数据的降维.将低轶表示(LRR)迁移至标记空间,对模型施加低秩约束,把握数据的全局结构.分别使用增广拉格朗日乘子法和拟牛顿法求解LRR和目标函数,再通过最大熵模型预测标记分布.在10个数据集上的对比实验表明,LDL-LRR性能良好,效果稳定.

基于粗糙集的数据流多标记分布特征选择

针对传统特征选择算法无法处理流特征数据、冗余性计算复杂、对实例描述不够准确的问题,提出了基于粗糙集的数据流多标记分布特征选择算法。首先,将在线流特征选择框架引入多标记学习中;其次,用粗糙集中的依赖度替代原有的条件概率,仅仅利用数据自身的信息计算,使得数据流特征选择算法更加高效快捷;最后,由于在现实世界中,每个标记对实例的描述程度并不相同,为更加准确地描述实例,将传统的逻辑标记用标记分布的形式进行刻画。在多组数据集上的实验表明,所提算法能保留与标记空间有着较高相关性的特征,使得分类精度相较于未进行特征选择的有一定程度的提高。

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.

基于核极限学习机的标记分布学习

标记分布学习作为一种新的学习范式,利用最大熵模型构造的专用化算法能够很好地解决某些标记多样性问题,但是计算量巨大。基于此,引入运行速度快、稳定性更高的核极限学习机模型,提出基于核极限学习机的标记分布学习算法(KELM-LDL)。首先在极限学习机算法中通过RBF核函数将特征映射到高维空间,然后对原标记空间建立KELM回归模型求得输出权值,最后通过模型计算预测未知样本的标记分布。与现有算法在各领域不同规模数据集的实验表明,实验结果均优于多个对比算法,统计假设检验进一步说明KELM-LDL算法的有效性和稳定性。