基于β-混合输入的经验风险最小化回归的学习速率(英文)

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形.

m依赖过程经验风险最小化算法的泛化性能

m依赖过程作为非独立序列的典型样本,其经验风险最小化的泛化性能不容忽视.为了研究基于m依赖过程经验风险最小化算法的推广能力,我们将基于独立同分布序列的相关结论推广到m依赖过程情形中,进一步利用m依赖过程的Bernstein不等式,建立该序列经验风险最小化原则一致收敛的指数界.

基于经验风险的中心文本分类算法

采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验结果表明,该方法是提高中心分类法分类性能的一种有效方法.

区别性知识利用的迁移分类学习

目前的迁移学习模型旨在利用事先准备好的源域数据为目标域学习提供辅助知识,即从源域抽象出与目标域共享的知识结构时,使用所有的源域数据。然而,由于人力资源的限制,收集真实场景下整体与目标域相关的源域数据并不现实。提出了一种泛化的经验风险最小化选择性知识利用模型,并给出了该模型的理论风险上界。所提模型能够自动筛选出与目标域相关的源域数据子集,解决了源域只有部分知识可用的问题,进而避免了在真实场景下使用整个源域数据集带来的负迁移效应。在模拟数据集和真实数据集上进行了仿真实验,结果显示所提算法较之传统迁移学习算法性能更佳。域相关的源域数据并不现实。提出了一种泛化的经验风险最小化选择性知识利用模型,并给出了该模型的理论风险上界。所提模型能够自动筛选出与目标域相关的源域数据子集,解决了源域只有部分知识可用的问题,进而避免了在真实场景下使用整个源域数据集带来的负迁移效应。在模拟数据集和真实数据集上进行了仿真实验,结果显示所提算法较之传统迁移学习算法性能更佳。

SVM算法及其在乳腺X片微钙化点自动检测中的应用

支持矢量机(SVM)是一种新的统计学习方法,其学习原则是使结构风险最小,而非经典学习方法所遵循经验风险最小原则.这使得SVM具有更强的泛化能力.并且,由于SVM求解的是凸二次优化问题,使之能保证所找到的极值解就是全局最优解.本文首次将SVM算法用于乳腺X影像微钙化点自动检测中,对临床实际病例的试用结果表明,同目前常用的基于经验风险最小的人工神经网络(ANN)分类方法相比,SVM具有更高的识别率,值得应用推广.

基于复拟随机样本的统计学习理论的理论基础

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。

复合ICA-SVM机械状态模式分类

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。

基于统计学习的试题难度系数修正算法

试题的难度系数是自动生成考试试卷、影响考试质量的一个重要因素。然而,如何准确确定试题的难度系数是考试系统的一个难点。提出将试题的难度系数分为理论难度系数G和样本难度系数Gk,并将序列{Gk}构造到Hilbert空间上,利用Hilbert空间的完备性,得出了序列{Gk}收敛于G。最后利用统计学习理论的经验风险最小准则,构造了Gk的一个学习器模型,该模型建立在严密的数学理论基础之上,具有收敛速度快和根据考试样本数据进行学习修正的特点。

一种基于粗糙变量的学习算法的基础研究

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。

基于双重随机样本的统计学习理论的理论基础

介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统计学习理论并构建相应的支持向量机奠定了理论基础。

受噪声影响的复hybrid样本的学习理论关键定理

结合机会测度理论和统计学习理论,提出了机会空间上受噪声影响的复hybrid样本的复期望风险泛函、复经验风险泛函以及复经验风险最小化原则的定义,给出并证明了机会空间上受噪声影响的复hybrid样本的学习理论的关键定理.

基于支持向量机的移动网络性能综合评价策略

为了实现移动网络各粒度网元的自动综合评价,针对现有的移动网络性能综合评价方法在应用中存在的问题,提出了一种新的以结构风险最小原则为理论基础的支持向量机评价方法。理论分析表明,该方法可以克服BP神经网络的评价方法中存在的过拟合以及可能收敛于局部极小点的问题;也避免了主成份分析法导致的信息丢失问题。实验结果表明,采用基于支持向量机的评价方法比之基于BP的方法,预测误差更小,过程更可控,而且更好地保持了不同样本评价间的差异。

噪声影响的泛空间上的学习理论关键定理

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。

泛空间上学习理论的关键定理

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。

Sugeno测度空间基于复样本的统计学习理论

引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则严格一致性等定义;证明并构建了基于复g_λ随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复g_λ随机样本的统计学习理论奠定了理论基础。

基于Hybrid样本的学习过程一致收敛速度的界

学习过程收敛速度的界是统计学习理论的重要组成部分,这些界决定了学习机器的推广能力.以机会理论和Hybrid变量的概念为基础,讨论了基于Hybrid样本的学习过程一致收敛速度的界,并给出了这些界和函数容量之间的关系.

受噪声影响的复g_λ样本的学习理论的关键定理

关键定理是统计学习理论的重要组成部分。但是,目前的研究主要集中在实随机变量且样本不受噪声影响。引入了复gλ随机变量、准范数的定义,提出了受噪声影响的复gλ样本的经验风险泛函、期望风险泛函以及经验风险最小化原则严格一致性的定义;给出并证明了受噪声影响的复gλ样本的学习理论的关键定理,为系统建立基于复gλ样本的统计学习理论奠定了理论基础。

受噪声影响的复拟随机样本的STL关键定理

引入了拟概率空间上复拟随机样本受噪声影响的复经验风险泛函、复期望风险泛函、复经验风险最小化原则以及严格一致性的定义,提出并证明了拟概率空间上复拟随机样本受噪声影响的学习理论关键定理,为系统建立拟概率空间上基于噪声影响的复拟随机样本的统计学习理论奠定了基础.

随机学习规则下的可学习性和LOO稳定性分析(英文)

学习算法的可学习性是统计学习理论的基本问题.本文指出,一个随机学习问题具有可学习性当且仅当存在AERM且一致LOO稳定的学习规则.同时,得到随机学习规则下通用学习算法的一些结果.

基于随机粗糙样本的统计学习理论研究

介绍随机粗糙理论的基本内容。提出随机粗糙经验风险泛函,随机粗糙期望风险泛函,随机粗糙经验风险最小化原则等概念。最后证明基于随机粗糙样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。