基于矩阵填充的众包学习模型研究

本文提出一种鲁棒低秩近似算法(ROLA)来学习标注者之间潜在的相似性,进而解决标注数据集中的噪声。ROLA通过构造一个低秩矩阵模型,来捕获标签中的潜在相关信息,与问题的潜在特征向量。实验结果表明,ROLA在四个数据集上的准确率最高。并且与现有算法相比,在优化时间上也存在相应优势。

利用标注者相关性的深度生成式众包学习

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.

一种基于自训练的众包标记噪声纠正算法

针对众包标记经过标记集成后仍然存在噪声的问题,提出了一种基于自训练的众包标记噪声纠正算法(Selftraining-based label noise correction,STLNC).STLNC整体分为3个阶段:第1阶段利用过滤器将带集成标记的众包数据集分为噪声集和干净集.第2阶段利用加权密度峰值聚类算法构建数据集中低密度实例指向高密度实例的空间结构关系.第3阶段首先根据发现的空间结构关系设计噪声实例选择策略;然后利用在干净集上训练的集成分类器对选择的噪声实例按照设计的实例纠正策略进行纠正,并将纠正后的实例加入到干净集,再重新训练集成分类器;重复实例选择与纠正过程直到噪声集中所有的实例被纠正;最后用最后一轮训练得到的集成分类器对所有实例进行纠正.在仿真标准数据集和真实众包数据集上的实验结果表明STLNC比其他5种最先进的噪声纠正算法在噪声比和模型质量两个度量指标上表现更优.

基于众包学习的交互式特征选择方法

集成特征选择算法将多种特征选择方法结果结合在一起,旨在得到更加有效的特征子集.然而这些算法通常假设每种特征选择方法是平等的,没有考虑不同特征选择方法性能的差异性,导致少数方法选择出的有效特征被忽略.为解决这一问题,本文提出一种可以有效地结合不同特征选择方法优势,并利用专家的知识逐步改善所选特征的交互式特征选择方法.该方法包括一个基于众包学习的集成特征选择算法和一个基于该算法开发的可视分析系统.基于众包学习的集成特征选择算法利用众包学习模型对不同特征选择方法的性能进行建模,计算每种方法的可靠性,并在此基础上将这些方法的结果有机融合.可视分析系统提供了丰富的排序方式,帮助专家理解单个特征选择方法的特征选择结果和特征在分类任务中所起的作用,从而让专家交互迭代地改善现有特征子集.在4个真实世界数据集上的数值实验表明,相比于现有的集成特征选择算法,本文提出的算法能够带来0.63%~2.85%分类准确率的提升.此外,在文本和图像数据集上进行的两个案例分析表明,本文提出的可视分析系统能够进一步带来0.28%~5.24%的分类准确率提升.

一种基于Tri-training的众包标记噪声纠正算法

在众包学习中,使用标记集成算法得到的集成标记中仍然存在一定程度的标记噪声.本文受三重训练思想的启发,提出了一种基于tri-training的众包标记噪声纠正算法(Tri-Training-based Label Noise Correction,TTLNC).TTLNC首先使用过滤器获得干净集和噪声集,然后在干净集上进行bagging分别训练三个不同的分类器,并通过这些分类器重新标注噪声集中的实例,同时按照实例分配策略将实例分配给相应的训练集.最后在新训练集上重新训练三个不同的分类器,并用新分类器的分类结果重新标注所有实例.在仿真标准数据和真实众包数据集上的实验结果表明TTLNC比其他四种最先进的噪声纠正算法在噪声比和模型质量两个度量指标上表现更优.

一种基于预过滤和聚类处理的众包标签噪声纠正方法

面向众包标注数据,提出一个新的标签噪声纠正方法MCNC(modified cluster-based noise correction)。利用实例多标签集合的信息进行预过滤,构建过滤器进行二次噪声过滤。在原始数据集上进行聚类学习,对两次过滤中去除的实例进行重新标注。在22个数据集上的实验结果表明,MCNC可以有效提升数据集的集成标签质量,从而提高目标分类器的性能。