结合集成学习与迁移学习的标签比例学习方法

标签比例学习(LLP)是一种将实例放入包中的机器学习方法,它只提供包中的实例信息和标签比例信息,而不提供标签信息。针对多个相关任务的LLP问题,提出了一种基于迁移学习的标签比例集成学习模型,简称AT-LLP,该模型通过在任务之间构建共享参数来连接相关任务,将源任务中学习到的知识迁移到目标任务中,从而提高目标任务的学习效率。同时该算法引入了集成学习算法,在分类器多轮迭代的学习过程中,不断调整训练集的权重系数,进一步将弱分类器训练为强分类器。实验表明,所提AT-LLP模型比现有LLP方法具有更好的性能。

面向类别比例偏移的半监督支持向量机方法

当未标记数据与有标记数据类别比例偏移较大时,半监督支持向量机性能不佳.基于此情况,文中提出面向类别比例偏移的半监督支持向量机方法.首先估计未标记数据类中心,然后对多个类别比例下的类中心进行最坏情况集成,从而提升半监督支持向量机的性能保障.实验表明,文中方法有效提升半监督支持向量机在类别比例偏移时的性能保障.

基于不确定比例标签信息的多视角学习

针对现实应用中所获取的比例标签数据存在噪声污染而标注困难的局限性,提出将多视角学习应用到不确定比例标签学习中以提高分类器的准确率和稳定性。首先,所提出的方法利用核方法映射多视角信息到特征空间以及引入超实例标签表示比例标签信息,在将多视角信息与比例标签信息结合的同时将不确定比例标签数据的局限性考虑在内,以此构建基于不确定比例标签信息的多视角学习模型;而后利用拉格朗日方法将目标模型转换为对偶形式求解,并引入一个迭代框架解决目标模型以获取多视角分类器。最后,将所提出的方法应用于文本分类的数据集。实验结果表明提出的方法比已有的单一视角比例标签学习方法更具优越性,具体表现在更高的分类准确率和更不易受数据噪声影响等方面。

基于生成对抗网络比例标签学习在信贷客户分类中的应用

由于隐私保护问题,银行无法完全获取客户的信息,特别是信贷客户的违约信息,从而加大了银行的财务风险。决策树、支持向量机等传统的机器学习方法基于标签已知的学习场景进行模型构建,但在没有标签的情况下构建分类模型是一个巨大的挑战。标签比例学习问题的提出,为这一困境提供了解决思路。在仅使用无标签样本的标签比例信息的条件下,构建一个分类模型,可以对信贷客户进行有效分类,具有重要的现实意义和实践价值。笔者将比例标签学习问题和机器学习中的流行算法生成对抗网络相结合,对UCI数据集German Credit Dataset进行随机分包,通过对比有无标签下算法的训练结果,证明了所提出算法的有效性。

基于混合比例估计的标签噪声学习方法

近年来,人工智能蓬勃发展,伴随着计算硬件算力的提升,深度学习已成为了人工智能算法的新范式.然而深度学习依赖大量精确标注的数据,在现实的多类别分类场景中,受限于标注成本和隐私数据保护等因素,大量精准标注的数据往往难以获得.近些年,移动众包和网络爬虫这类经济廉价的数据收集方法被广泛采用,但他们不可避免地引入了错误标注,即标签噪声.鉴于深度神经网络强大的数据拟合能力,标签噪声的存在将造成算法的过拟合,严重制约了深度学习方法的泛化能力.针对标签噪声问题,现有研究大多显式或隐式地依赖锚点(明确属于某一类别的样本),然而在现实场景中锚点难以获取,这使得现有解决方案不再适用.为解决这一问题,本文创造性地将多类别标签噪声学习问题转化为混合比例估计(mixture proportion estimation,MPE)问题,构建了一种不依赖锚点的满足统计一致性的学习算法.本文的主要贡献包括:(1)对现有的仅适用于二组成物MPE场景的R-MPE(regrouping-MPE)方法进行推广,提出了多组成物场景下不依赖不可约假设的MPE方法MR-MPE(multi-component oriented R-MPE);(2)理论上证明了多类别分类场景下标签噪声学习算法锚点假设和MPE问题不可约假设的等价性,并基于所提出的MR-MPE方法构建了不依赖锚点的满足统计一致性的算法.本文在合成噪声数据集和真实噪声数据集上分别与现有算法进行了对比实验,结果显示本文所提算法在多个数据集上均展现出了最优的性能;同时,在移除锚点的情况下,本文对算法的鲁棒性进行了测试,验证了所提算法不依赖锚点的特性.

基于比例标签学习的商业银行重要基金客户识别研究

现实中,由于隐私保护的限制,使得对重要客户的识别十分困难.具体地,很难获取商业银行重要基金客户的具体标签信息,这给建立相关的预测模型带来了极大的挑战.然而,通过特定的客户群估计重要基金客户所占比例是可行的.因此,提出了一种基于比例标签学习的商业银行重要基金客户挖掘新方法.方法的特点在于仅仅使用样本标签比例信息(label proportions information)去构建分类模型,进而有效地识别商业银行中的重要基金客户.同时,大量的实验结果表明了该方法的有效性,这对于有效解决隐私保护下的重要基金客户识别问题提供了一种新途径,具有明显的现实意义及实践价值.

基于LapESVR的比例标签学习模型

大数据时代,在实际应用中所面临的数据体量大幅增长,由于对数据进行详细标记的难度很大而且成本极高,弱标签数据已经成为了大数据时代所面临的主要数据。比例标签数据作为弱标签数据中的一个重要类型,有着广阔的应用场景,但目前仍未受到广泛关注。已有的比例标签学习模型在处理大规模问题时,计算速度往往较慢。为了提高学习速度,本文提出Lap-Inv Cal模型,利用LapESVR进行比例标签学习。大量实验表明,该模型在保证较高精度的同时,大幅提升了训练速度,能够广泛应用于大规模比例标签学习问题中。