v-软间隔罗杰斯特回归分类机

坐标下降(Coordinate Descent,CD)方法是求解大规模数据分类问题的有效方法,具有简单操作流程和快速收敛速率。为了提高罗杰斯特回归分类器(Logistic Regression Classifier,LRC)的泛化性能,受v-软间隔支持向量机的启发,该文提出一种v-软间隔罗杰斯特回归分类机(v-Soft Margin Logistic Regression Classifier,v-SMLRC),证明了v-SMLRC对偶为一等式约束对偶坐标下降CDdual并由此提出了适合于大规模数据的v-SMLRC-CDdual。所提出的v-SMLRC-CDdual既能最大化类间间隔,又能有效提高LRC的泛化性能。大规模文本数据集实验表明,v-SMLRC-CDdual分类性能优于或等同于相关方法。

基于逻辑回归的多任务域快速分类学习算法

采用多任务学习方式主要是通过对不同任务域之间的共性特征进行寻找并共享而完成,而对于不同任务域的学习来说,采用知识迁移加速的方式可以为每个任务域构建分类器。鉴于此,本文提出基于罗杰斯特回归模型的多任务学习方法,并在人工及真实数据集上进行验证,结果表明该此种学习算法在实际应用的过程中具有较高的识别率,具有令人满意的识别速度以及鲁棒性。

基于逻辑回归的多任务域快速分类学习算法

多任务学习通过寻找并共享不同任务域之间的共性特征来完成学习,利用知识迁移加速不同任务域的学习为每个任务域构建一个分类器。提出了一种基于罗杰斯特回归模型的多任务学习方法 MTC-LR(Multi-task Coupled Logistic Regression)。"罗杰斯特回归模型"已经被成功应用于单任务分类器上,该模型被众多实验证明是有效的,正是这种方法给人们带来了启示。从理论上证明了通过构造多任务分类器的"开销函数"和"差异性度量函数",MTC-LR算法可以提高多任务分类器的各自分类精度。相比传统的基于SVM的多任务学习方法,MTC-LR并不依赖于核方法而是通过共轭梯度下降法寻找各个分类器的最优参数。同时MTC-LR与采用"罗杰斯特回归模型"的快速算法CDdual更容易结合,可扩展至大样本的多任务分类学习。正是基于上述发现,为了充分高效利用大样本的多任务域数据,满足大样本的快速运算,在MTC-LR算法的基础上,结合最新的CDdual(The Dual Coordinate Descent Method)算法,提出了MTC-LR的快速算法MTC-LR-CDdual,并对该算法进行了相关的理论分析。将该算法在人工数据集和真实数据集上进行了验证,实验结果表明该算法有着较高的识别率、快速的识别速度和较好的鲁棒性。

基于多源的跨领域数据分类快速新算法

研究跨领域学习与分类是为了将对多源域的有监督学习结果有效地迁移至目标域,实现对目标域的无标记分类.当前的跨领域学习一般侧重于对单一源域到目标域的学习,且样本规模普遍较小,此类方法领域自适应性较差,面对大样本数据更显得无能为力,从而直接影响跨域学习的分类精度与效率.为了尽可能多地利用相关领域的有用数据,本文提出了一种多源跨领域分类算法(Multiple sources cross-domain classification,MSCC),该算法依据被众多实验证明有效的"罗杰斯特回归模型"与"一致性方法"构建多个源域分类器并综合指导目标域的数据分类.为了充分高效利用大样本的源域数据,满足大样本的快速运算,在MSCC的基础上,本文结合最新的CDdual(Dual coordinate descent method)算法,提出了算法MSCC的快速算法MSCC-CDdual,并进行了相关的理论分析.人工数据集、文本数据集与图像数据集的实验运行结果表明,该算法对于大样本数据集有着较高的分类精度、快速的运行速度和较高的领域自适应性.本文的主要贡献体现在三个方面:1)针对多源跨领域分类提出了一种新的"一致性方法",该方法有利于将MSCC算法发展为MSCC-CDdual快速算法;2)提出了MSCC-CDdual快速算法,该算法既适用于样本较少的数据集又适用于大样本数据集;3)MSCC-CDdual算法在高维数据集上相比其他算法展现了其独特的优势.