基于Group-Lasso方法的非均衡数据信用评分模型

目前商业银行面临的个人信用风险问题极其复杂,如何对个人信用风险进行管理非常重要。个人信用风险建模是其中很关键的一步。利用某商业银行信用卡数据,构建信用评分模型,预测客户的违约概率。通过采用ROSE(random over sampling examples)方法处理类别不均衡的问题,利用Group-Lasso(AUC准则)方法进行变量选择,构建基于Logistic回归的信用评分模型。实证结果表明,该方法对样本数据进行类别不均衡处理的结果比其他模型在判别能力和预测能力上更为有效。采用该方法所构建的模型能够作为客户信用评价决策的有效依据,指导银行及其他金融机构评估顾客个人信用风险,在实际运用中具有良好的可操作性。

基于Group-Lasso天麻品质形成关键因子的分析

目的为提高人工种植天麻的质量,基于Group-Lasso变量筛选构建随机森林回归模型分析影响天麻品质形成的关键因子。方法基于Group-Lasso法,对2007—2022年天麻质量研究文献中天麻素含量及产地环境变量等数据进行变量筛选,并在筛选出的变量基础上建立随机森林回归模型及计算变量重要性得分。结果最终选择了产区、生长状况、种质类型、产地气候类型、产地土壤类型、最热月均温、产地年降水量、产地年日照时数和无霜期9个变量,基于被选变量与天麻素含量建立随机森林回归模型,模型的均方误差(mean square error,MSE)和平均绝对百分误差(mean absolute percentage error,MAPE)分别为0.1032和14.08%,特征重要性排序显示天麻素含量的最大影响因素是产地年降水量,其次是产地土壤类型、无霜期和产地年日照时数。结论随机森林回归模型有相对较低的误差和较高的预估精度,更适合用于对天麻种植环境的分析和天麻素含量的估算,为人工种植天麻提供参考。

基于Group-LASSO方法的广义半参数可加信用评分模型应用研究

信用风险是目前商业银行面临的风险中最为重要和最为复杂的,新巴塞尔协议要求各国条件的银行通过实施内部评级法来度量并控制信用风险,内部评级法即通过银行收集的客户相历史数据来构建数学模型,测算客户的违约概率进而对客户进行评分。文章针对信用评分模型解释变量维数较高,类型丰富,好坏客户类型数量不均衡等特点,利用广义半参数可加模型对户违约概率进行建模,并将Group LASSO方法应用于模型进行变量选择和估计。实证研究表明本文提出的模型和方法与以往常用的线性logistic回归模型相比,在模型的判别能力和预测能以及解释性和计算效率上均有较大优势。

非参数可加模型的迭代自适应稳健变量选择

本文结合稳健损失函数、B样条逼近和自适应组Lasso研究一个高维可加模型,以识别“大p小n”下的不显著协变量.与传统的最小二乘自适应组Lasso相比,该方法具有较好的抵消重尾误差和异常值的影响.为证明方便,本文进一步考虑了更一般的加权稳健组Lasso估计,且该权向量对所建议的估计量具有模型选择oracle性质和渐近正态性的证明中起着关键作用.稳健组Lasso和自适应稳健组Lasso可以看作是加权稳健组Lasso在不同权向量下的特殊情况.在实际应用中,我们使用稳健组Lasso获得初始估计以降低问题的维数,然后使用迭代自适应稳健组Lasso选择非零分量.数值结果表明,所提出的方法对中等规模的样本具有良好的适用性.高维基因TRIM32数据验证了该方法的应用.

宽带声场再现中基于GSO-GL的次级声源布局优化方法研究

声场再现是一种利用多个次级声源在听音区域内再现预定义期望声场的方法,其中次级声源布局是影响再现性能的关键因素。为解决次级声源布局优化问题,提出一种将Gram-Schmidt正交化方法与组Lasso方法相结合的方法(称为GSO-GL方法),即先使用Gram-Schmidt正交化方法从所有备选次级声源中选出一定数量的次级声源,再利用组Lasso方法从前一步所选的次级声源中进一步选择出激励声源。二维房间模型仿真结果表明,GSO-GL方法的性能优于单独使用Gram-Schmidt正交化方法或组Lasso方法,综合了Gram-Schmidt正交化方法的高系统稳定性和组Lasso方法的高再现准确度。

变系数模型的稳健变量选择与结构识别

研究了稳健回归下变系数模型的变量选择和模型结构识别问题。利用B样条基函数近似非参数系数函数,建立自适应组Lasso双惩罚函数选择变系数模型中的重要变量并且识别具有常数效应的协变量,同时估计未知的非参数系数函数。在一定条件下,证明了所提出的惩罚估计量具有相合性和稀疏性。通过数值模拟验证所提方法的有限样本性质。

时间序列时变因果发现综述

具有随时间动态变化因果关系的时序数据间的因果关系拥有重要的理论和实际意义,可对未来时间序列数据进行准确预测或干预。文章結合国内外已有时变因果关系发现研究,对各类方法晨开了分析,并依据方法特点进行了归纳和总结,最后结合当前已有方法、时间序列建模的需求等对未来研究方向进行了讨论,有助于理解时变因果关系发现领城的基本研究方法和未来发展趋势。

一种新的分段式细粒度正则化的鲁棒跟踪算法

孪生网络跟踪算法在训练阶段多数采用L2正则化,而忽略了网络架构的层次和特点,因此跟踪的鲁棒性较差.针对该问题,提出一种分段式细粒度正则化跟踪(Segmented fine-grained regularization tracking,SFGRT)算法,将孪生网络的正则化划分为滤波器、通道和神经元三个粒度层次.创新性地建立了分段式细粒度正则化模型,分段式可针对不同层次粒度组合,利用组套索构造惩罚函数,并通过梯度自平衡优化函数自适应地优化各惩罚函数系数,该模型可提升网络架构的泛化能力并增强鲁棒性.最后,基于VOT2019跟踪数据库的消融实验表明,与基线算法SiamRPN++比较,在鲁棒性指标上降低了7.1%及在平均重叠期望(Expected average overlap,EAO)指标上提升了1.7%,由于鲁棒性指标越小越好,因此鲁棒性得到显著增强.基于VOT2018、VOT2019、UAV123和LaSOT等主流数据库的实验也表明,与国际前沿跟踪算法相比,所提算法具有较好的鲁棒性和跟踪性能.

基于优化和两阶段筛选的时间序列Shapelets提取研究

与基于全局特征的时间序列分类方法相比,基于shapelets的分类方法在可解释性和分类速度方面更具优势。针对现有的优化模型学习到的shapelets判别力不足以及shapelets候选数量太多等问题,提出了基于优化和两阶段筛选的时间序列shapelets提取算法。首先对时间序列取样,结合极值点和序列趋势对取样的时间序列进行分组,根据分组结果对稀疏组Lasso正则器的每项赋予权重,并在加权稀疏组Lasso的每一组中都使用融合罚正则项来保证解的相邻位置平坦变化,将多项稀疏正则项作为正则器与局部线性判别分析相结合来构建目标函数。然后,建立一个两阶段的筛选框架来度量组的稀疏性,从而快速地找到对分类起决定性作用的关键组。最后仅使用一组关键组来提取shapelets用于时间序列的分类,缩小了shapelets的规模。在28个时间序列数据集上进行了大量实验,实验结果表明,与现有的基于shapelets的提取方法相比,所提方法不仅能显著提高分类精度,具有较高的时间效率,而且能够在一定程度上缩小shapelets的规模。

基于群组结构算法的贵州省粮食产量影响因素分析

【目的】粮食储存量是我国稳定发展的基础。贵州省高原山地居多,研究贵州省粮食产量的变化规律,探究影响粮食产量的因素,对保障粮食产量与维护粮食安全具有重要的理论和现实意义。【方法】首先,使用missForest函数对收集到的数据进行缺失值补充。其次,由于不同数据的量纲不同,需要对所有数据进行归一化处理。最后,采用带有群组结构和非群组结构的7种建模方法对影响粮食产量的因素进行分析。【结果】相比其他方法,使用grMCP法和Lasso法构建的模型是最优的,且二者的拟合优度分别为0.778和0.772。【结论】有效灌溉面积、粮食作物播种面积、农作物受灾面积、农业机械总动力、农用薄膜使用量和农药使用量等因素是影响贵州省粮食产量的主要因素。

在线Group Lasso学习

对高维流式数据的在线组变量选择问题进行了研究,提出了带Group Lasso惩罚的逻辑斯蒂回归在线估计方法,并给出了GFTPRL(Group Follow the Proximally Regularized Leader)算法。通过给出GFTPRL算法的缺憾界,证明了算法在理论上是有效的。实验结果表明,对于稀疏模型GFTPRL算法的预测分类准确率明显优于其他主流稀疏在线算法。

基于稀疏组Lasso的分段平稳自回归模型变点检测方法

结构变化检测是分析系统动态规律的重要方式之一.针对分段平稳自回归模型,将变点检测问题转化为变量选择问题,采用稀疏组Lasso方法得到变点个数和位置的初始估计,提出分组选择方法在初始估计的变点中进行选择,然后用后向删除法得到变点个数及位置的估计.证明了提出的方法对变点个数和位置估计的一致性.另外,稀疏组Lasso方法通过约束变点位置上模型参数的稀疏性,能够进一步确定回归系数发生变化的具体滞后变量阶数.最后,仿真实验和应用实例证实,相对于直接应用后向删除法,分组选择方法的引入显著提高了估计的效率;相对于组Lasso方法,稀疏组Lasso方法可以进一步识别在变点位置上发生变化的具体滞后变量阶数.

组套索超图正则化特征选择方法及抑郁症分类研究

【目的】抑郁症分类诊断研究中,特征选择扮演了重要角色。【方法】针对现有超图正则化特征选择缺失组效应信息问题,提出基于组套索的超图正则化特征选择方法。首先,对抑郁症功能磁共振影像(functional magnetic resonance imaging,fMRI)数据集进行预处理。其次,基于预处理后的功能磁共振数据,构建5个不同尺度的脑网络模型并计算拓扑属性提取特征。基于提取的特征,利用组套索方法构建超图,利用超图正则化特征选择方法进行特征选择。最后,使用支持向量机构建分类模型并评估分类性能。此外,还在UCI数据集中验证了所提方法的有效性。【结果】所提方法在5个不同节点定义模板下,均高于传统的特征选择方法。此外,在模板的节点数量相似的情况下,此方法有更高的分类诊断性能。

脱贫地区农户返贫风险与诱发因素分析——基于甘肃省14县1735农户的调查数据

为研究脱贫地区的返贫风险和诱发因素,以甘肃省14县1 735农户为研究对象,利用Group Lasso logistic模型定量分析脱贫地区的返贫诱发因素。结果表明:(1)自然因素是影响返贫的重要因素;(2)物质资本风险抵御作用显著,尤以耐用品折合价值最为明显;(3)不同类型社会资本在谋生中的替代作用存在差异;(4)人力资本的返贫风险防控作用显著。因此,应注重提升农户的自然变现能力,完善技能培训体系,注重人才培养,提高脱贫地区农户人力资本水平,强化农户信息素质。

正则化稀疏模型

正则化稀疏模型在机器学习和图像处理等领域发挥着越来越重要的作用,它具有变量选择功能,可以解决建模中的过拟合等问题.Tibshirani提出的Lasso使得正则化稀疏模型真正开始流行.文中总结了各种正则化稀疏模型,指出了各个稀疏模型被提出的原因、所具有的优点、适宜解决的问题及其模型的具体形式.最后,文中还指出了正则化稀疏模型未来的研究方向.

基于层次稀疏DBN的瓶颈特征提取方法

针对现有语音特征无法有效利用长时段语音和监督性类别信息,及现有瓶颈特征提取方法耗时过长等缺陷,提出基于层次结构稀疏深度可信神经网络的瓶颈特征提取方法.该方法将重叠组套索作为深度可信神经网络目标函数的稀疏正则项使用,从而构建训练速度更快的稀疏深度可信神经网络.然后利用层次结构的网络架构方式,将两个稀疏深度可信神经网络串联后使用,进一步增强瓶颈特征的判决能力.文中将此瓶颈特征应用于音素识别中,实验表明该特征的有效性.

基于稀疏组lasso的脑机接口通道和特征选择研究

脑电信号(EEG)特征提取和分类是脑机接口(BCI)系统的核心问题之一。由于BCI系统中EEG信号多通道采样和特征向量的高维性,有效的特征选择算法已经成为研究中不可分割的一部分。针对EEG特征选择问题采用一种新方法:基于封装式稀疏组lasso的EEG融合特征的同时通道和特征选择方法。实验中将该方法与现有的通道选择和特征选择方法进行比较,结果表明,该方法更适用于高维融合特征的最优特征子集选择问题,且该算法稳定、时间成本低。此外,在保证错误率相当或较低的情况下,该方法能够同时实现通道和特征选择。国际BCI竞赛IV的两类运动想象信号的测试错误率为15.28%。

结构稀疏模型及其算法研究进展

结构稀疏模型在统计学、信号处理和机器学习等领域中具有重要的应用。结构稀疏模型主要通过在目标函数中引入会导致组稀疏效果的罚函数来实现特征组结构选择。有趣的是一些组稀疏模型不仅能实现特征组选择,而且同时能够实现组内的特征选择。根据使用的罚函数的类型,结构稀疏模型主要分为组套索模型和非凸罚组稀疏模型两大类。系统地总结了重要的组结构稀疏模型,分析了各种组结构稀疏模型之间的区别与联系,归纳比较了各种组结构稀疏模型的统计特性(例如模型选择一致性、参数估计一致性和oracle性质)和组结构稀疏模型的求解算法。当前,结构套索模型主要包括普通组套索模型、L∞,1组套索模型、重叠组套索模型、树组套索模型、多输出树组套索模型、混合组套索模型、自适应组套索模型、逻辑斯蒂组套索模型和贝叶斯组套索模型。非凸罚组稀疏模型包括组SCAD罚模型、组桥模型和组MC罚模型等。求解组稀疏模型的算法有组最小角回归算法、块坐标下降(上升)算法、活动集算法、内点算法、投影梯度算法、谱投影梯度算法、轮换方向乘子算法和块坐标梯度下降算法等,结合组稀疏模型对这些算法进行了详细的分析。在使用上述优化方法前,通常需要对目标函数进行预处理,将不平滑的、非凸的、块坐标不可分离的组稀疏模型的目标函数向平滑、凸、块坐标可分离的方向进行转化,这一步常利用的技巧有变分不等式、Nesterov的平滑近似技巧、局部一阶泰勒展开近似、局部二次近似、对偶范数和对偶函数等。接着给出了最新提出的一些组稀疏模型,如关于广义加模型的组套索模型、复合组桥模型、平方根组套索模型和关于Tobit模型的组套索模型等。最后,对组稀疏模型未来的研究方向进行了探讨。

基于随机森林的自适应特征选择算法

为了解决传统的随机森林算法在随机特征选择时,导致少数比较重要的特征变量被过滤掉的问题,以及没有考虑特征变量相关性对预测应变量准确性带来的影响,提出了一种基于随机森林的自适应特征选择算法SARFFS。该算法首先利用卡方检验样本间关联程度后自助采样,并设计出一种特征对类代表强弱程度的计算方法;然后引入自适应稀疏约束机制Group LASSO优化特征的选择;最后在Spark分布式计算平台利用UCI数据集进行实验,结果表明,相比传统的RF算法,SARFFS算法在特征子集选择上具有更好的性能,在F1上提升将近9%。从最终排名靠前的重要特征分析,该算法能够考虑特征间相关性,对预测结果确实有影响,并有效地提高了随机属性权值的可靠性和稳定性。

基于重叠稀疏组深度信念网络的图像识别

深度信念网络的隐含神经元大部分为噪声变量,且具有组结构相关性。组稀疏深度信念网络模型通过组Lasso模型对隐含神经元变量进行约束,从而实现变量组选择。然而,组稀疏深度信念网络模型未能考虑特征可同时属于多个特征组,并且隐含神经元在变量层面上不稀疏的问题。在组稀疏深度信念网络模型上引入重叠组结构,解释了重叠组Lasso模型在变量层面上比组Lasso模型稀疏的原因,并在变量层面上作进一步的稀疏,提出了重叠稀疏组深度信念网络模型。在MNIST、USPS、ETH-80以及人脸数据集上的识别结果表明,重叠稀疏组深度信念网络具有更高的识别率。