可能性分布距离度量:一种鲁棒的域适应学习方法

领域适应(DA)学习旨在解决训练数据集与测试数据集分布不一致问题而广受关注,现有方法大多采用最小化领域间最大均值差(MMD)或其变体来解决域分布不一致问题。然而,领域中存在的噪声数据将会导致领域均值发生明显漂移,会在一定程度上影响基于MMD及其变体的学习方法的适应性能。故此,提出了可能性分布距离度量下的一种鲁棒的域适应学习方法:首先,将传统MMD准则变换为新颖的可能性聚类模型来削弱噪声数据所带来的影响,以此构建一种鲁棒的可能性分布距离度量(P-DDM)准则,并通过引入模糊熵正则项来进一步提升领域分布配准的鲁棒有效性。其次,基于P-DDM准则,提出一种鲁棒的域适应视觉分类机(C-PDDM),其引入图拉普拉斯矩阵来保留源域与目标域内部数据间的几何结构一致性,以提升标签传播性能,同时通过最大化利用源域判别信息进行最小化领域判别误差,以进一步提升学习模型的泛化性能。理论分析证实,在一定条件下,所提P-DDM是传统分布距离度量方法MMD准则的一个上界,因而通过最小化P-DDM能有效优化MMD目标。最后,与几个代表性的领域适应学习方法进行比较,在6个视觉基准数据集(Office31、Office-Caltech、Office-Home、PIE、MNIST-UPS和COIL20)上的实验结果显示,该方法在泛化性能上平均提升了5%左右,在鲁棒性能上平均提升了10%左右。

稀疏标签传播:一种鲁棒的领域适应学习方法

稀疏表示因其所具有的鲁棒性,在模式分类领域逐渐得到关注.研究了一种基于稀疏保留模型的新颖领域适应学习方法,并提出一种鲁棒的稀疏标签传播领域适应学习(sparse label propagation domain adaptation learning,简称SLPDAL)算法.SLPDAL通过将目标领域数据进行稀疏重构,以实现源领域数据标签向目标领域平滑传播.具体来讲,SLPDAL算法分为3步:首先,基于领域间数据分布均值差最小化准则寻求一个优化的核空间,并将领域数据嵌入到该核空间;然后,在该嵌入核空间,基于l1-范最小化准则计算各领域数据的核稀疏重构系数;最后,通过保留领域数据间核稀疏重构系数约束,实现源领域数据标签向目标领域的传播.最后,将SLPDAL算法推广到多核学习框架,提出一个SLPDAL多核学习模型.在鲁棒人脸识别、视频概念检测和文本分类等领域适应学习任务上进行比较实验,所提出的方法取得了优于或可比较的学习性能.

多核局部领域适应学习

领域适应(或跨领域)学习旨在利用源领域(或辅助领域)中带标签样本来学习一种鲁棒的目标分类器,其关键问题在于如何最大化地减小领域间的分布差异.为了有效解决领域间特征分布的变化问题,提出一种三段式多核局部领域适应学习(multiple kernel local leaning-based domain adaptation,简称MKLDA)方法:1)基于最大均值差(maximum mean discrepancy,简称MMD)度量准则和结构风险最小化模型,同时,学习一个再生多核Hilbert空间和一个初始的支持向量机(support vector machine,简称SVM),对目标领域数据进行初始划分;2)在习得的多核Hilbert空间,对目标领域数据的类别信息进行局部重构学习;3)最后,利用学习获得的类别信息,在目标领域训练学习一个鲁棒的目标分类器.实验结果显示,所提方法具有优化或可比较的领域适应学习性能.

领域适应核支持向量机

领域适应学习是一种新颖的解决先验信息缺少的模式分类问题的有效方法,最大化地缩小领域间样本分布差是领域适应学习成功的关键因素之一,而仅考虑领域间分布均值差最小化,使得在具体领域适应学习问题上存在一定的局限性.对此,在某个再生核Hilbert空间,在充分考虑领域间分布的均值差和散度差最小化的基础上,基于结构风险最小化模型,提出一种领域适应核支持向量学习机(Kernel support vector machine for domain adaptation,DAKSVM)及其最小平方范式,人造和实际数据集实验结果显示,所提方法具有优化或可比较的模式分类性能。

领域适应学习算法研究与展望

领域适应学习旨在利用源领域中带标签的样本来解决目标领域的学习问题,其关键在于如何最大化地减小领域间的分布差异,有效解决领域间数据分布的变化。对当前领域适应学习算法进行了归纳和分类,总结了每类算法的特点,分析了5个相关典型算法并比较了其性能。最后指出了领域适应学习值得进一步探索的方向。

基于迁移局部线性编码的跨域图像表示方法

针对传统的编码方法通常仅考虑编码的稀疏性,忽略编码的局部性,且难以处理数据域特征分布不一致的问题,将迁移稀疏编码与局部约束项相结合,提出基于迁移局部线性编码的跨域图像表示方法.通过K均值聚类均衡学习初始字典基,然后利用局部约束将样本集映射到本地坐标系中并最小化特征的重构编码,学习更具代表性的图像表示,同时考虑数据域的分布差异和几何特征,保证了编码的局部平滑性和鲁棒性.在3个跨域图像数据集上的实验表明,迁移局部线性编码方法可以有效提高跨域图像的分类精度.