基于数据表示不变性的域泛化研究

域泛化是人工智能近几年非常热门的一个研究方向,希望在不同的数据分布中学习到与任务相关的不变表征,即移除不同域在学习任务中的影响,从而提升模型的域泛化能力。为提升模型域泛化能力,利用基于不变性风险最小化的思想,具体将神经网络分为特征提取器和不变性分类器进行分别探究。在特征提取器上,采用了基于牛顿迭代的组白化方法来控制激活值的分布,从而使得不同的图像经过神经网络后能够去除部分域信息,以求达到域泛化的目的;在不变性分类器上,探究了特征和权重的规范化方法对模型域泛化效果的影响,并提出了基于余弦相似度损失函数的雪花算法,该算法提升了模型域泛化的准确率。此外,提供了关于雪花算法的理论推导并做了深入分析,为实验提供了理论支撑。

m依赖过程经验风险最小化算法的泛化性能

m依赖过程作为非独立序列的典型样本,其经验风险最小化的泛化性能不容忽视.为了研究基于m依赖过程经验风险最小化算法的推广能力,我们将基于独立同分布序列的相关结论推广到m依赖过程情形中,进一步利用m依赖过程的Bernstein不等式,建立该序列经验风险最小化原则一致收敛的指数界.

基于β-混合输入的经验风险最小化回归的学习速率(英文)

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形.

粗糙集学习机器泛化性能控制的结构风险最小化方法

对影响粗糙集学习机器泛化性能的因素进行了分析,通过将结构风险最小化原则引入到粗糙集学习中,提出了粗糙集学习的结构风险最小化方法;通过12个UCI数据集上的实验分析,验证了提出方法的有效性。

风险最小化：基金选择股指期货的理由

根据国外的经验，基金是参与股指期货的主体之一，那么基金如何利用股指期货呢？通常体现在以下四个方面。

泛化界正则项:理解权重衰减正则形式的统一视角

经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化性(generalization)之间的量化关系出发,推导出了一个统一的泛化界正则项(Generalization Bound Regularizer,GBR)来理解WD的作用.本文证明了优化WD项(作为损失目标函数的一部分)本质上是在优化GBR的上界,而GBR则与模型的泛化能力有着理论上的直接关联.对于单层线性系统,本文可以直接推导出该上界;对于多层深度神经网络,该上界可以通过几个不等式的松弛来获得.本文通过引入均等范数约束(Equivalent Norm Constraint,ENC)即保证上述不等式的取等条件来进一步压缩GBR与其上界之间的距离,从而获得具有更好泛化能力的网络模型,该模型的识别性能在大型ImageNet数据集上得到了全面的验证.

过度泛化误差的稳健估计

在最优收敛速度的驱动下,研究风险最小化的误差估计。通过运用相关不等式及性质,证得了在统计学习理论框架下的比较定理,不仅阐明了过度泛化误差与预测误差之间的关系,而且将矩条件弱化到1+α阶。

银行风险处置路径的国际经验及我国实践

建立以存款保险为核心的商业银行风险处置机制已基本成为国际主流国家的共识,2015年《存款保险条例》实施后,我国的市场化、法治化的银行风险处置体系也在迅速完善。本文从分析国际存款保险风险处置经验入手,通过建立存款保险基金使用成本最小化分析模型,并引入美国银行真实处置数据进行实证分析,尝试提出符合我国制度实际的“存款保险基金使用成本最小化”风险处置路径。结论表明:一方面应当优先考虑银行系统的重要性,以确定是否采取持续经营救助的方式处置风险;另一方面对于非系统重要性银行,应遵循基金成本最小化原则,按照“全额收购与承接→部分收购与承接→过桥银行→破产清算”的顺序进行处置。此外,本文基于处置实务对未来《存款保险条例》的修订提出相关建议,以期为我国处置实践提供借鉴。

基于经验风险的中心文本分类算法

采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验结果表明,该方法是提高中心分类法分类性能的一种有效方法.

银行风险处置模式及相关成本的国际比较

银行风险处置是金融供给侧结构性改革的一项重要工作,也是银行业健康持续发展的关键。本文首先对美、日、欧盟等主要国家的银行风险处置模式进行分析总结,得出由存款保险公司负责风险处置实际操作,承担主要处置成本已成为国际普遍做法。其次,在分析美国联邦存款保险公司近50年来处置成本数据的基础上,对不同处置模式下的存款保险基金使用成本进行比较,得出“成本最小化”原则下银行风险处置的最佳模式。最后,尝试提出符合我国实际的银行风险处置模式,以期为实现我国存款保险基金使用成本最小化,有序处置银行风险提供借鉴参考。

求解无约束优化问题的随机三项共轭梯度法

为了求解无约束随机优化问题,我们提出了一种带方差缩减的随机三项共轭梯度法(STCGVR), 此方法可以用来解决非凸随机问题。 在算法的每次内循环迭代开始时,三项共轭梯度方向以最速 下降方向重新开始迭代,有效地提高了收敛速度。 在适当的条件下,讨论了该算法的性质和收敛 性。 数值结果表明,我们的方法对于求解机器学习问题具有巨大的潜力。

噪声影响的泛空间上的学习理论关键定理

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。

泛空间上学习理论的关键定理

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。

基于最小一乘准则的最优回归模型研究

针对目前回归函数中普遍存在的泛化能力得不到保证的缺点,结合统计学习理论的研究成果,提出了基于最小一乘准则的最优回归模型(简称为LaOR模型).与以往模型相比较,LaOR模型综合考虑了回归误差和置信范围,可望有效地降低回归函数的期望风险.最后,以广东省江门市为例,将LaOR应用到区域经济发展的短期预测中,取得了可以接受的预测效果.

面向未知域场景的车辆轨迹预测模型

自动驾驶技术随着科技革新迎来蓬勃发展,轨迹预测已成为智能汽车软件系统不可或缺的关键组成部分。为了解决传统车辆轨迹预测模型中存在的泛化能力不足的问题,提出一种基于泛化终点预测和地图场景的车辆轨迹预测方法。该方法采用基于不变风险最小化的条件变分自编码器生成轨迹终点,并结合时序网络编码的地图场景特征,提升了模型预测未知域数据的准确率。在交互式道路场景数据集INTERACTION上的实验结果证明该模型具有良好的泛化性能。本方法与效果最好的方法REx相比1、2、3 s处的mADE值(越小越好)分别下降0%、36.59%、50.68%,在未知测试域的预测轨迹准确度得到显著提升。

复合ICA-SVM机械状态模式分类

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。

基于极限学习机的配电网重构

为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势进行配电网重构。引入统计学习理论中的结构风险最小化准则来改进基于经验风险最小化的极限学习机,使经验风险和置信范围最小,从而使实际风险最小,减小期望误差。通过2个典型算例对配电网重构进行仿真研究,并对基于支持向量机、BP神经网络和基于经验风险最小化的极限学习机重构模型进行比较,结果表明所提模型在保持学习速度快的同时,泛化性能更高。

基于复拟随机样本的统计学习理论的理论基础

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。

一种基于粗糙变量的学习算法的基础研究

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。