基于Group-Lasso方法的非均衡数据信用评分模型

目前商业银行面临的个人信用风险问题极其复杂,如何对个人信用风险进行管理非常重要。个人信用风险建模是其中很关键的一步。利用某商业银行信用卡数据,构建信用评分模型,预测客户的违约概率。通过采用ROSE(random over sampling examples)方法处理类别不均衡的问题,利用Group-Lasso(AUC准则)方法进行变量选择,构建基于Logistic回归的信用评分模型。实证结果表明,该方法对样本数据进行类别不均衡处理的结果比其他模型在判别能力和预测能力上更为有效。采用该方法所构建的模型能够作为客户信用评价决策的有效依据,指导银行及其他金融机构评估顾客个人信用风险,在实际运用中具有良好的可操作性。

Group Lasso正则化问题的邻近梯度算法的线性收敛性

研究一类目标函数是光滑凸函数与Group Lasso正则项和的优化问题。利用不动点迭代理论分析了邻近梯度算法的全局收敛性和有限收敛性。特别地,在不要求光滑凸函数为严格凸函数的条件下建立了邻近梯度法的线性收敛性。

稀疏组lasso罚向量自回归模型的大气污染物预测:京津冀案例研究

进行了大气污染物预测研究。针对传统的向量自回归模型方法所面临的过参数化问题,提出了稀疏组lasso罚向量自回归模型并应用近邻梯度下降法求解模型参数。为了验证模型的有效性,将其应用于2015年京津冀大气污染物数据中并对2016年1月1日北京6项大气污染物浓度进行预测。实验数据表明:基于稀疏组lasso罚模型的PM2.5预测归一化均方误差约为3.8%,预测精度高于向量自回归(VAR)模型、基于各种稀疏结构的向量自回归(VAR-L)模型、分层向量自回归(HVAR)模型。此外,京津冀不同城市对北京的空气质量影响程度不同,这可以通过组内稀疏模型参数进行解释。将凸优化概念与向量自回归模型结合应用于大气污染物浓度的预测中,对京津冀大气污染协同治理具有重要意义。

基于稀疏组LASSO约束的本征音子说话人自适应

本征音子说话人自适应方法在自适应数据量不足时会出现严重的过拟合现象,提出了一种基于稀疏组LASSO约束的本征音子说话人自适应算法。首先给出隐马尔可夫—高斯混合模型下本征音子说话人自适应的基本原理;然后将稀疏组LASSO正则化引入到本征音子说话人自适应,通过调整权重因子控制模型的复杂度,并通过一种加速近点梯度的数学优化算法来实现;最后将稀疏组LASSO约束的自适应算法与当前多种正则化约束的自适应方法进行比较。汉语连续语音识别的说话人自适应实验表明,引入稀疏组LASSO约束后,本征音子说话人自适应方法的性能得到了明显提高,且稀疏组LASSO约束方法优于l1、l2和弹性网正则化方法。

基于Group-LASSO方法的广义半参数可加信用评分模型应用研究

信用风险是目前商业银行面临的风险中最为重要和最为复杂的,新巴塞尔协议要求各国条件的银行通过实施内部评级法来度量并控制信用风险,内部评级法即通过银行收集的客户相历史数据来构建数学模型,测算客户的违约概率进而对客户进行评分。文章针对信用评分模型解释变量维数较高,类型丰富,好坏客户类型数量不均衡等特点,利用广义半参数可加模型对户违约概率进行建模,并将Group LASSO方法应用于模型进行变量选择和估计。实证研究表明本文提出的模型和方法与以往常用的线性logistic回归模型相比,在模型的判别能力和预测能以及解释性和计算效率上均有较大优势。

基于随机森林的自适应特征选择算法

为了解决传统的随机森林算法在随机特征选择时,导致少数比较重要的特征变量被过滤掉的问题,以及没有考虑特征变量相关性对预测应变量准确性带来的影响,提出了一种基于随机森林的自适应特征选择算法SARFFS。该算法首先利用卡方检验样本间关联程度后自助采样,并设计出一种特征对类代表强弱程度的计算方法;然后引入自适应稀疏约束机制Group LASSO优化特征的选择;最后在Spark分布式计算平台利用UCI数据集进行实验,结果表明,相比传统的RF算法,SARFFS算法在特征子集选择上具有更好的性能,在F1上提升将近9%。从最终排名靠前的重要特征分析,该算法能够考虑特征间相关性,对预测结果确实有影响,并有效地提高了随机属性权值的可靠性和稳定性。

基于多元分布滞后模型的瓦斯浓度动态预测

为实现对瓦斯浓度(体积分数)的准确预测,基于海量煤矿瓦斯监测数据和多元分布滞后模型(MDL)建立了多变量瓦斯浓度时间序列预测模型.基于惩罚最小二乘法和自回归的思想,提出了新的变量选择和定阶方法——Adjust Group最小绝对值压缩与选择(LASSO)方法.该方法以岭估计及局部二次近似迭代算法实现了预测模型的构建,通过有效选取具有解释性的自变量子集,提高模型的解释性,采用广义交叉检验准则(GCV)确定惩罚参数,并通过分组惩罚来实现变量筛选与滞后变量的定阶.结果表明:Adjust Group LASSO方法预测得到的残差平方和为0.433 0,具有较高的精度,能够较好的预测工作面瓦斯浓度的动态变化,与LASSO、最小角回归算法(LARS)以及其他瓦斯预测常用方法相比,大大提高了预测的准确性.