基于随机粗糙样本的结构风险最小化原则

提出了退火熵,生长函数和VC维等概念,构建了基于VC维的学习过程一致收敛速度的界。然后以这些界为基础,给出基于随机粗糙样本的结构风险最小化原则。最后证明该原则是一致的并且推导出了关于渐近收敛速度的界。

粗糙随机样本的结构风险最小化原则

介绍了粗糙随机理论的基本内容,提出了退火熵、生长函数和VC维等概念.并在此基础上构建了基于VC维的学习过程一致收敛速度的界;随后给出了粗糙随机样本的结构风险最小化原则;最后证明了在此原则下收敛速度渐进分析的一些相关性质.

基于复随机样本的结构风险最小化原则

统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机的重要基础.基于此,研究了基于复随机样本的统计学习理论的结构风险最小化原则.首先,给出了标志复可测函数集容量的退火熵、生长函数和VC维的定义,并证明了它们的一些性质;其次,构建了基于复随机样本的学习过程一致收敛速度的界;最后,给出了基于复随机样本的结构风险最小化原则,证明了该原则是一致的,同时推导出了收敛速度的界.

基于模糊随机样本的结构风险最小化原则

基于模糊随机样本,提出了熵、退火熵、生长函数和VC维等概念,并在此基础上构建了基于VC维的学习过程一致收敛速度的界;给出了基于模糊随机样本的结构风险最小化原则(FSSRM原则),证明了基于FSSRM原则下收敛速度渐进分析的相关性质。

双重随机样本的结构风险最小化原则

提出退火熵、生长函数和VC维等概念,构建基于VC维的学习过程一致收敛速度的界。以这些界为基础,给出基于双重随机样本的结构风险最小化原则。最后证明该原则是一致的并且推导出了关于渐近收敛速度的界。

m依赖过程经验风险最小化算法的泛化性能

m依赖过程作为非独立序列的典型样本,其经验风险最小化的泛化性能不容忽视.为了研究基于m依赖过程经验风险最小化算法的推广能力,我们将基于独立同分布序列的相关结论推广到m依赖过程情形中,进一步利用m依赖过程的Bernstein不等式,建立该序列经验风险最小化原则一致收敛的指数界.

基于随机粗糙样本的统计学习理论研究

介绍随机粗糙理论的基本内容。提出随机粗糙经验风险泛函,随机粗糙期望风险泛函,随机粗糙经验风险最小化原则等概念。最后证明基于随机粗糙样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。

基于粗糙随机样本学习理论的关键定理

结合粗糙随机理论和粗糙统计学的知识,对粗糙随机样本下的统计学习理论学习过程的一致性和关键定理等进行了推广,提出了粗糙风险泛函、粗糙经验风险最小化归纳原则(RERM)和非平凡一致性的概念,并给出了粗糙随机样本下的学习理论的关键定理及其证明。

求解无约束优化问题的随机三项共轭梯度法

为了求解无约束随机优化问题,我们提出了一种带方差缩减的随机三项共轭梯度法(STCGVR), 此方法可以用来解决非凸随机问题。 在算法的每次内循环迭代开始时,三项共轭梯度方向以最速 下降方向重新开始迭代,有效地提高了收敛速度。 在适当的条件下,讨论了该算法的性质和收敛 性。 数值结果表明,我们的方法对于求解机器学习问题具有巨大的潜力。

基于复拟随机样本的统计学习理论的理论基础

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。

一种基于粗糙变量的学习算法的基础研究

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。

基于双重随机样本的统计学习理论的理论基础

介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统计学习理论并构建相应的支持向量机奠定了理论基础。

受噪声影响的复拟随机样本的STL关键定理

引入了拟概率空间上复拟随机样本受噪声影响的复经验风险泛函、复期望风险泛函、复经验风险最小化原则以及严格一致性的定义,提出并证明了拟概率空间上复拟随机样本受噪声影响的学习理论关键定理,为系统建立拟概率空间上基于噪声影响的复拟随机样本的统计学习理论奠定了基础.

基于算法稳定的ERM原则一致性的研究

通过对变一误差估计下算法稳定的研究,提出了不依赖于样本分布的CO稳定的概念,证明了CO稳定不仅是变一误差估计条件下ERM原则一致性的充要条件,而且也是学习算法具有推广性的充分条件.

一类新的随机三项共轭梯度算法

针对经验风险最小化(ERM)这一无约束优化问题,使用随机优化算法.为了提高损失函数值的下降速度,考虑三项共轭梯度法的优点,提出一类新的随机三项共轭梯度算法.并将新算法与经典的随机梯度下降(SGD)类算法和已有的随机共轭梯度算法CGVR进行比较,数值结果表明新算法比SGD类算法在求解ERM问题上更有优势.

噪声影响的泛空间上的学习理论关键定理

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。

受噪声影响的复hybrid样本的学习理论关键定理

结合机会测度理论和统计学习理论,提出了机会空间上受噪声影响的复hybrid样本的复期望风险泛函、复经验风险泛函以及复经验风险最小化原则的定义,给出并证明了机会空间上受噪声影响的复hybrid样本的学习理论的关键定理.

泛空间上学习理论的关键定理

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。

Sugeno测度空间上的一类回归估计问题的界

在Sugeno测度空间上进一步探讨了统计学习理论。给出了Sugeno测度空间上gλ随机变量的条件期望的定义;在Sugeno测度空间上利用带加性噪声的观测数据,建立了一个由级数展开表达的回归估计模型,并针对此模型给出并证明了它的一个界。

给定经验风险水平的支持向量回归机

针对传统支持向量回归机(SVR)中经验风险和置信风险的折中系数C难以选择的问题,提出了2种给定经验风险水平的支持向量回归新模型.相比于传统的SVR模型,新模型给出了结构风险化原则的另一种实现方式,为经验风险和置信风险的控制提供了更容易处理的方案.此方案一方面可满足对经验风险的具体要求;另一方面又避免了折中系数C的选取,减少了模型参数的选择时间.此外,新模型还可通过设置各个样本点上经验风险的大小,自然地处理样本点重要性不一样的问题.标准数据集上的实验验证了新模型的有效性.