Accelerated Stochastic Peaceman–Rachford Method for Empirical Risk Minimization

This work is devoted to studying an accelerated stochastic Peaceman–Rachford splitting method(AS-PRSM)for solving a family of structural empirical risk minimization problems.The objective function to be optimized is the sum of a possibly nonsmooth convex function and a finite sum of smooth convex component functions.The smooth subproblem in AS-PRSM is solved by a stochastic gradient method using variance reduction technique and accelerated techniques,while the possibly nonsmooth subproblem is solved by introducing an indefinite proximal term to transform its solution into a proximity operator.By a proper choice for the involved parameters,we show that AS-PRSM converges in a sublinear convergence rate measured by the function value residual and constraint violation in the sense of expectation and ergodic.Preliminary experiments on testing the popular graph-guided fused lasso problem in machine learning and the 3D CT reconstruction problem in medical image processing show that the proposed AS-PRSM is very efficient.

基于复拟随机样本的统计学习理论的理论基础

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。

支持向量机在城市用水量短期预测中的应用

为解决现有的城市用水量短期预测人工神经网络法的过学习与局部极小点等问题,通过对城市时用水量 数据特征的分析,在统计学习理论和结构风险最小化准则的基础上,建立了基于支持向量机(SVM)理论的城市用 水量短期预测数学模型．在算例分析中与误差逆传播(BP)神经网络预测法进行对比,发现该方法的平均预测精度 提高了2％,且具有收敛速度快、泛化能力强等优点,在用水量短期预测中非常有效．

基于支持向量机的航空发动机辨识模型

针对航空发动机具有强非线性、时变性的特点以及采用常规神经网络辨识时存在的局部较小,过学习等问题,提出了一种基于支持向量机的通用发动机模型辨识方法。该方法基于现代统计学习理论,采用结构风险最小化准则,保证了网络具有很强的推广特性,通过求解凸二次规划确保网络结构全局最优化自动生成。本文采用实测到的发动机飞行记录数据作为训练样本,利用回归型支持向量机建立了发动机的辨识模型,研究结果表明该方法的辨识精度较高,鲁棒性、容错性较好,具有较大的实用价值。

复合ICA-SVM机械状态模式分类

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。

一种基于粗糙变量的学习算法的基础研究

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。

受噪声影响的复hybrid样本的学习理论关键定理

结合机会测度理论和统计学习理论,提出了机会空间上受噪声影响的复hybrid样本的复期望风险泛函、复经验风险泛函以及复经验风险最小化原则的定义,给出并证明了机会空间上受噪声影响的复hybrid样本的学习理论的关键定理.

噪声影响的泛空间上的学习理论关键定理

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。

基于双重随机样本的统计学习理论的理论基础

介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统计学习理论并构建相应的支持向量机奠定了理论基础。

基于极限学习机的配电网重构

为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势进行配电网重构。引入统计学习理论中的结构风险最小化准则来改进基于经验风险最小化的极限学习机,使经验风险和置信范围最小,从而使实际风险最小,减小期望误差。通过2个典型算例对配电网重构进行仿真研究,并对基于支持向量机、BP神经网络和基于经验风险最小化的极限学习机重构模型进行比较,结果表明所提模型在保持学习速度快的同时,泛化性能更高。

基于统计学习的试题难度系数修正算法

试题的难度系数是自动生成考试试卷、影响考试质量的一个重要因素。然而,如何准确确定试题的难度系数是考试系统的一个难点。提出将试题的难度系数分为理论难度系数G和样本难度系数Gk,并将序列{Gk}构造到Hilbert空间上,利用Hilbert空间的完备性,得出了序列{Gk}收敛于G。最后利用统计学习理论的经验风险最小准则,构造了Gk的一个学习器模型,该模型建立在严密的数学理论基础之上,具有收敛速度快和根据考试样本数据进行学习修正的特点。

泛空间上学习理论的关键定理

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。

基于模糊随机样本的结构风险最小化原则

基于模糊随机样本,提出了熵、退火熵、生长函数和VC维等概念,并在此基础上构建了基于VC维的学习过程一致收敛速度的界;给出了基于模糊随机样本的结构风险最小化原则(FSSRM原则),证明了基于FSSRM原则下收敛速度渐进分析的相关性质。

基于支持向量机的移动网络性能综合评价策略

为了实现移动网络各粒度网元的自动综合评价,针对现有的移动网络性能综合评价方法在应用中存在的问题,提出了一种新的以结构风险最小原则为理论基础的支持向量机评价方法。理论分析表明,该方法可以克服BP神经网络的评价方法中存在的过拟合以及可能收敛于局部极小点的问题;也避免了主成份分析法导致的信息丢失问题。实验结果表明,采用基于支持向量机的评价方法比之基于BP的方法,预测误差更小,过程更可控,而且更好地保持了不同样本评价间的差异。

基于复随机样本的结构风险最小化原则

统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机的重要基础.基于此,研究了基于复随机样本的统计学习理论的结构风险最小化原则.首先,给出了标志复可测函数集容量的退火熵、生长函数和VC维的定义,并证明了它们的一些性质;其次,构建了基于复随机样本的学习过程一致收敛速度的界;最后,给出了基于复随机样本的结构风险最小化原则,证明了该原则是一致的,同时推导出了收敛速度的界.

Sugeno测度空间基于复样本的统计学习理论

引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则严格一致性等定义;证明并构建了基于复g_λ随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复g_λ随机样本的统计学习理论奠定了理论基础。

Sugeno测度空间上的一类回归估计问题的界

在Sugeno测度空间上进一步探讨了统计学习理论。给出了Sugeno测度空间上gλ随机变量的条件期望的定义;在Sugeno测度空间上利用带加性噪声的观测数据,建立了一个由级数展开表达的回归估计模型,并针对此模型给出并证明了它的一个界。

基于Hybrid样本的学习过程一致收敛速度的界

学习过程收敛速度的界是统计学习理论的重要组成部分,这些界决定了学习机器的推广能力.以机会理论和Hybrid变量的概念为基础,讨论了基于Hybrid样本的学习过程一致收敛速度的界,并给出了这些界和函数容量之间的关系.

基于β-混合输入的经验风险最小化回归的学习速率(英文)

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形.

基于模糊Adaboost算法的支持向量回归机

针对单一支持向量回归机预测精度不十分良好的问题,结合A daboost算法以及引入隶属函数,提出了一个基于模糊A aboost算法的支持向量回归机模型。将该模型应用于金融时间序列预测问题的实验表明,预测精度有一定的提高,从而说明了该模型的有效性和可行性。