多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法(DTrBoost)可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。

多源域分布下优化权重的迁移学习Boosting方法

深度决策树迁移学习Boosting方法(DTrBoost)仅能适应一个源域与一个目标域的训练数据,无法适应多个不同分布的源域的样本。此外,DTrBoost方法同步地从源域中学习数据至目标域模型,并没有根据重要程度量化学习知识的权重。在实践中,对于某数据集的数据按照某一或某些特征划分出来的数据往往分布不一致,并且这些不同分布的数据对于最终模型的重要性也不一致,知识迁移的权重也因此不平等。针对这一问题,提出了多源域优化权重的迁移学习方法,主要思想是根据不同分布的源域空间计算出到目标域的KL距离,利用KL距离的比值计算出不同分布的源域样本的学习权重比例,从而优化整体梯度函数,使学习方向朝着梯度下降最快的方向进行。使用梯度下降算法能使模型较快收敛,在确保迁移学习效果的同时,也能确保学习的速度。实验结果表明,提出的算法在整体上实现了更好的性能并且对于不同的训练数据能够实现自适应效果,分类错误率平均下降0.013,在效果最好的OCR数据集上下降0.030。