基于Optuna框架的L_(p)范数约束下多核支持向量机在违约风险预测中的应用

针对违约数据存在数据量大、维度多、不平衡及噪声大等缺点,提出一种改进的支持向量机方法,即基于Optuna框架的L_(p)范数约束的代价敏感的多核支持向量机(L_(p)-Optuna-SVM)。该方法采用成本矩阵对不同预测错误赋予不同数值,通过多核学习引入多核混合核函数组合;同时采用Optuna优化框架对犯错成本、核函数的参数和权重实现了自动化的调优过程;还在核函数权重上引入L_(p)范数约束,以提高模型对噪声和异常数据的鲁棒性。最后,对4种常用的基础核函数组合的L_(p)-Optuna-SVM进行探讨,并与单核支持向量机以及K邻近法、逻辑回归、高斯贝叶斯进行对比。结果表明,在给定数据集上,L_(p)-Optuna-SVM在违约数据上的g-mean和AUC均高于其他算法,并且在加了不同方差的噪声数据集上,该算法整体依旧保持较好的鲁棒性。

PPLS与稀疏鉴别流形正则化的双模型协同宽度神经网络

宽度神经网络(broad neural networks,BNN)被认为是继深度神经网络之后的一种主流机器学习算法,然而BNN没有考虑数据不确定性及局部几何结构信息。为此,提出概率偏最小二乘(probabilistic partial least square,PPLS)与稀疏鉴别流形正则化的双模型协同宽度神经网络建模方法。该方法首先使用PPLS对BNN输入特征以及增强特征构成的高维数据提取低维隐藏变量,消除数据不确定信息以及冗余特征;基于稀疏表示方法自适应构建样本局部与非局部近邻矩阵,并结合PPLS模型投影矩阵,提出一种新颖的融合模型信息迁移、鉴别流形正则化以及l_(2,p)-范数约束的BNN建模方法,有效增强BNN模型的鲁棒性、建模精度,同时消除数据的随机不确定性;最后给出迭代优化求解方法获取模型最优参数。在不同规模数据集、不同光照和角度图像数据集对所提算法进行仿真验证,结果表明该算法对不同规模数据集均能取得满意的效果;对图像数据集仿真结果表明其具有很强的鲁棒性和泛化性能。

l_(p)-范数约束下MKL-OC-ELM的装备故障检测

针对列装时间短的现役装备故障样本匮乏、现有算法故障检测准确率较低的问题,将多核学习(multiple kernel learning, MKL)与一类超限学习机(OC-ELM)相结合,提出l_(p)-范数约束下多核学习一类超限学习机(l_(p)-MKOCELM)的检测模型.在l_(p)-范数约束下,定义了将MKL与OC-ELM相结合的数学优化形式,推导出基核组合权重与Lagrange乘子的更新方式;为方便故障检测的实施,基于l_(p)-MKOCELM定义了统计检验量与检测阈值;通过实验验证了不同范数的约束形式的近似等价性.将所提出方法应用于常用的UCI数据集和某型装备的测试数据,实验结果表明,相比于传统的SVDD、PCA、OC-SVM、OC-KELM等方法,所提出方法在平衡漏警、虚警的同时,能够显著提升检测精度.

精确华林不等式的一个推广

给出了一类精确的华林不等式:设a≤x1<x2<…<xr≤b,则对任给满足条件f(x1)=f(x2)=…=f(xr)=0的函数f∈Wq^(r)[a,b],有||f||_(p)≤C(p,q)(b-a)^(r+1/p-1/q)||f^((r))||_(q),1≤p,q≤∞.首先,基于拉格朗日插值的积分型余项公式,将C(p,q)的计算转化为一个积分算子的范数;其次,将C(1,1)和C(∞,∞)的值转化为2个显式积分表达式,并将C(2,2)的值转化为计算一个希尔伯特-施密特算子的最大特征值;最后,用一个例子说明.

非光滑稀疏约束优化问题的最优性条件及算法

针对目标函数非光滑的稀疏约束优化问题,给出基本可行性和λ-平稳性两个必要最优性条件,利用所给出的必要最优性条件构造出稀疏次梯度投影算法.在理论上分析了算法的收敛性,证明了由该算法所产生序列的任意聚点都是λ-平稳点.最后,通过两个数值实例验证了算法的收敛性、有效性和优化能力.

Lagrange插值在—重积分Wiener空间下的同时逼近平均误差

在加权L_p范数逼近意义下,确定了基于扩充的第二类Chebyshev结点组的Lagrange插值多项式列,在一重积分Wiener空间下同时逼近平均误差的渐近阶.结果显示,在L_p范数逼近意义下,Lagrange插值多项式列逼近函数及其导数的平均误差都弱等价于相应的最佳逼近多项式列的平均误差.同时,在信息基复杂性的意义下,若可允许信息泛函为标准信息,则上述插值算子列逼近函数及其导数的平均误差均弱等价于相应的最小非自适应信息半径.