隐私保护的SVM快速分类方法

许多核分类方法的决策函数可以表示为支持向量的组合,如SVM,而支持向量含有非常重要的隐私信息,因此,在分类决策时可能会暴露此类信息,同时分类速度受限于支持向量的个数,如SVM的分类复杂度为O(|SVs|).为解决上述两个问题,本文基于最小包含球球心在原始空间中的代理原像,提出了一种隐藏支持向量信息并能快速实现分类的SVM方法,称为隐私保护的快速SVM分类方法(Fast Classification Approach of SVM with Privacy Preservation,FCA-SVMWPP).同时提供了两种求解代理球心原像的方法,分别称为QP解法和直接解法.UCI和PIE人脸数据集的实验结果表明,本文方法可解决上述两个问题并具有较好的效果.

大样本领域自适应支撑向量回归机

针对回归问题中存在采集数据不完整而导致预测性能降低的情况,根据支撑向量回归机(support vector regression,简称SVR)等价于中心约束最小包含球(center-constrained minimum enclosing ball,简称CC-MEB)以及相似领域概率分布差异只与两域各自的最小包含球中心点位置有关的理论新结果,提出了针对大数据集的领域自适应核心集支撑向量回归机(adaptive-core vector regression,简称A-CVR).该算法利用源域CC-MEB中心点对目标域CC-MEB中心点进行校正,从而提高目标域的回归预测性能.实验结果表明,这种领域自适应算法可以弥补目标域缺失数据的不足,大大提高回归预测性能.

基于中心加权的局部核向量机算法

为了解决大规模非线性分类中局部学习的不平衡性问题,提出一种改进的局部支持向量机算法,在高维特征空间中聚类后,为每一个簇构造局部非线性支持向量机。为了克服簇内样本的分布不均衡问题,根据闭合超平面不规则边界的几何特点,经过梯度下降寻找稳定均衡向量,以此构造簇几何中心;再结合簇密度中心共同约束类心形成双重加权中心。然后通过求解加权最小闭球问题实现对大规模样本向量的分类。对照实验显示,除了个别数据集以外,改进的算法在训练时间、测试时间以及测试精度等方面都比另外两种分类算法表现更佳。

基于数据分类的领域自适应新算法

一般的机器学习都假设训练数据与测试数据分布相同,而领域自适应算法则是在不同数据分布条件下进行知识传递和学习,在数据挖掘、数据校正、数据预测等领域有着广泛的应用。支持向量机SVM的主要思想是针对二分类问题,在高维空间寻找一个最优分类超平面,以保证最小的分类错误率。CCMEB理论由Tsang I提出的,是一种改进了核向量机CVM的最小包含球算法,在大样本数据集处理上有着较快的速度。而CCMEB理论同样适用于二分类的SVM数据集。将SVM理论、CCMEB理论与概率分布理论相结合,提出了一种全新的基于数据分类的领域自适应算法CCMEB-SVMDA,该算法通过计算各自分类数据组的包含球球心,能够有效地对不同领域数据进行整体校正和相似度识别,具有较好的便捷性和自适应性。在UCI数据、文本分类等数据上对该算法进行了验证,取得了较好的效果。

一种新颖的领域自适应概率密度估计器

传统概率密度估计法建立好密度估计模型后,无法将源域知识传递给相关目标域密度估计模型。提出用无偏置v-SVR的回归函数来表示传统概率密度估计法获得密度估计信息,并说明无偏置v-SVR等价于中心约束最小包含球及概率密度回归函数可由中心约束最小包含球中心点表示。在上述理论基础上提出中心点知识传递领域自适应概率密度估计法,用于解决因目标域信息不足而无法建立概率密度函数的场景。实验表明,此种领域自适应方法进行领域间知识传递的同时,还能达到源域隐私保护的目的。

面向大规模数据属性效应控制的核心向量回归机

属性效应在现实生活中广泛存在,如果不加以控制,将会严重影响回归学习的性能.针对大规模数据属性效应控制的非线性回归学习问题,提出了快速等均值核心向量回归机(fast equal mean-core vector regression,FEM-CVR).首先基于间隔最大化目标学习准则,通过施加等均值约束条件,提出了等均值支持向量回归机(equal mean-support vector regression,EM-SVR).在此基础上,证明了EMSVR等价于一个中心约束最小包含球(center constrained-minimum enclosing ball,CC-MEB)问题,然后通过引入近似最小包含球理论,得到原始输入数据集的压缩集即核心集(core set),进一步提出了针对大规模数据属性效应控制的最小包含球快速非线性回归学习方法 FEM-CVR,并从理论上对相关性质进行了深入分析.实验表明:该方法能够快速处理针对大规模数据属性效应控制的非线性回归学习问题,具有较好的泛化能力,并且其时间复杂度上限与数据集大小无关,仅与最小包含球近似参数ε-有关.

领域自适应的最小包含球设计方法

支持向量域描述(SVDD)算法适用于异常点检测,但对于不同领域样本组的整体快速识别则力不从心.为此,基于SVDD算法提出一种基于最小包含球的领域自适应算法(MEB-DA),并将其发展为基于中心约束型最小包含球的领域自适应法(CCMEB-DA),以满足大样本数据的快速计算.该算法通过计算各自数据组的包含球球心对不同领域数据进行整体校正和相似度识别,具有较好的便捷性和自适应性.将所提出的算法应用于无限保真(WIFI)数据的室内定位和人脸识别检测,均取得了较好的效果,从而验证了所提出算法的有效性和快速性.