基于稀疏组Lasso的分段平稳自回归模型变点检测方法

结构变化检测是分析系统动态规律的重要方式之一.针对分段平稳自回归模型,将变点检测问题转化为变量选择问题,采用稀疏组Lasso方法得到变点个数和位置的初始估计,提出分组选择方法在初始估计的变点中进行选择,然后用后向删除法得到变点个数及位置的估计.证明了提出的方法对变点个数和位置估计的一致性.另外,稀疏组Lasso方法通过约束变点位置上模型参数的稀疏性,能够进一步确定回归系数发生变化的具体滞后变量阶数.最后,仿真实验和应用实例证实,相对于直接应用后向删除法,分组选择方法的引入显著提高了估计的效率;相对于组Lasso方法,稀疏组Lasso方法可以进一步识别在变点位置上发生变化的具体滞后变量阶数.

基于Huber损失和组Lasso惩罚问题的加速临近梯度算法

在高维线性回归模型中,组稀疏恢复的做法是在原有线性模型的基础上增加一个组Lasso惩罚项,以诱导尽可能少的非零组,将问题转换为凸优化模型进行求解。本文研究Huber损失和组Lasoo 组合问题,其中惩罚项包含了组稀疏惩罚,惩罚项的目的是用于保证组元素稀疏性结构。首先,由于惩罚项是一个凸但不光滑函数,为了刻画组Lasso模型的最优性条件,给出了其经典次微分。其次,利用Nesterov加速技术提出了加速临近梯度算法来求解我们的模型。最后证明了所提出算法的收敛性。

基于稀疏组lasso的脑机接口通道和特征选择研究

脑电信号(EEG)特征提取和分类是脑机接口(BCI)系统的核心问题之一。由于BCI系统中EEG信号多通道采样和特征向量的高维性,有效的特征选择算法已经成为研究中不可分割的一部分。针对EEG特征选择问题采用一种新方法:基于封装式稀疏组lasso的EEG融合特征的同时通道和特征选择方法。实验中将该方法与现有的通道选择和特征选择方法进行比较,结果表明,该方法更适用于高维融合特征的最优特征子集选择问题,且该算法稳定、时间成本低。此外,在保证错误率相当或较低的情况下,该方法能够同时实现通道和特征选择。国际BCI竞赛IV的两类运动想象信号的测试错误率为15.28%。

局部二值模式结合多类组LASSO算法的人脸识别方法

针对视频序列中的人脸识别问题,提出一种基于局部二值模式(LBP)和多类组LASSO算法的人脸识别方法。首先,将脸部区域分成若干个块区域,对每个块区域计算其超完备局部二值模式直方图。然后,对传统最小绝对收缩和选择算子(LASSO)进行改进,形成多类组LASSO算法,使其能够从LBP直方图中选择出一个能够同时辨别所有类的稀疏表示的特征组。最后,通过支持向量机(SVM)进行人脸识别。实验结果表明,提出的方法能够对无约束性视频序列中人脸进行准确识别。

组LASSO罚多变量自回归模型脑电特征分工类

自回归(AR)模型和多变量自回归(MVAR)模型是脑机接口(BCI)系统脑电信号(EEG)常用的特征提取方法。AR模型没有考虑多通道间的相互关系,MVAR模型虽然考虑了多通道间相互关系,但是会出现模型过参数化问题。为解决MVAR模型过参数问题,本文提出采用组LASSO罚MVAR模型对脑电信号进行特征提取,采用梯度下降和块坐标下降相结合的方法估计模型参数,然后采用线性支持向量机(SVM)对提取的特征进行分类。实验结果表明,组LASSO罚MVAR模型的分类正确率达93%,高于MVAR模型、LASSO-MVAR模型和6阶AR模型的识别正确率。

稀疏组lasso罚向量自回归模型的大气污染物预测:京津冀案例研究

进行了大气污染物预测研究。针对传统的向量自回归模型方法所面临的过参数化问题,提出了稀疏组lasso罚向量自回归模型并应用近邻梯度下降法求解模型参数。为了验证模型的有效性,将其应用于2015年京津冀大气污染物数据中并对2016年1月1日北京6项大气污染物浓度进行预测。实验数据表明:基于稀疏组lasso罚模型的PM2.5预测归一化均方误差约为3.8%,预测精度高于向量自回归(VAR)模型、基于各种稀疏结构的向量自回归(VAR-L)模型、分层向量自回归(HVAR)模型。此外,京津冀不同城市对北京的空气质量影响程度不同,这可以通过组内稀疏模型参数进行解释。将凸优化概念与向量自回归模型结合应用于大气污染物浓度的预测中,对京津冀大气污染协同治理具有重要意义。

基于稀疏组LASSO约束的本征音子说话人自适应

本征音子说话人自适应方法在自适应数据量不足时会出现严重的过拟合现象,提出了一种基于稀疏组LASSO约束的本征音子说话人自适应算法。首先给出隐马尔可夫—高斯混合模型下本征音子说话人自适应的基本原理;然后将稀疏组LASSO正则化引入到本征音子说话人自适应,通过调整权重因子控制模型的复杂度,并通过一种加速近点梯度的数学优化算法来实现;最后将稀疏组LASSO约束的自适应算法与当前多种正则化约束的自适应方法进行比较。汉语连续语音识别的说话人自适应实验表明,引入稀疏组LASSO约束后,本征音子说话人自适应方法的性能得到了明显提高,且稀疏组LASSO约束方法优于l1、l2和弹性网正则化方法。

基于稀疏组Lasso与支持向量机的肺结节CT征象自动标注

为减少人工读片的工作量及医生对肺结节解释的差异性,提出一种基于稀疏组Lasso特征选择与支持向量机分类器的肺结节CT征象自动标注方法.首先,采用基于多专家标注的阈值概率图方法从肺部CT图像中分割肺结节,并提取专家标注的CT征象;其次,提取肺结节图像的形状、大小、灰度、纹理4种底层特征,通过稀疏组Lasso方法对4种特征进行选择;然后利用支持向量机建立选择后底层特征与CT征象之间的关系模型;最后利用此模型标注肺结节CT征象.LIDC数据库上的实验结果表明,本文方法具有较高的标注精度,能够实现肺结节CT征象的自动标注,辅助医生解释.

基于稀疏组Lasso惩罚函数支持向量机的经费预算困境预测

文章以支持向量机模型为基准模型,提出引入稀疏组Lasso惩罚函数的修正模型,并设计了有助于增强预测精度与预测效果的双层坐标下降算法,以探究全面预算理念下司法经费预算的新特征。以2014-2018年司法部门"三公"经费决算公开数据为例,研究发现:(1)基于稀疏组Lasso支持向量机(SGL-SVM)方法能够显著增强数据变量与组数的遴选精度。(2)结合分量特征的异化程度所设计的集成化向量方法不仅可大幅度压缩网络训练时间,亦能够趋近实现最优的样本外预测效果。(3)SGL-SVM模型弥补了单维支持向量机算法中整组进整组出与忽略数据组间结构的统计局限,既能够有效反映观测变量的时变特征,又可精准地预测司法经费预测困境的动态情况。

Logistic模型自适应组Lasso算法

本文将自适应Lasso与组Lasso进行结合得到了自适应组Lasso,给出了拥有自适应组Lasso惩罚项的logistic模型的相关概念及其符号表示;运用坐标梯度下降算法给出了模型的求解方法;数值模拟表明了该方法在变量选择以及模型预测中的优势.

金融市场下非负稀疏组LASSO在股指跟踪中的研究

作为一种流行的被动投资组合管理策略,指数跟踪主要侧重于复制或跟踪金融指数的表现.以股指为例,传统的投资策略通常考虑指数所有成分股的完全复制.然而,随着指数成分股数量的增加,完全复制通常会受到流动性差以及成本高的影响.因此,投资者倾向于购买部分成分股进行资产配置.此外,在股票市场中,股票之间还存在明显的“组群”效应.基于此,本文提出了非负稀疏组LASSO方法,用于成分股的选择和权重系数的估计.在有限维组的情况下,我们给出了模型变量选择和参数估计一致性的几乎充要的条件.为了得到模型的解,我们推导出一种基于坐标下降的计算方法.最后,实证结果表明,非负稀疏组LASSO优于具有“组效应”的其他目前的流行方法,例如非负弹性网.

稀疏组Lasso Granger因果图模型及应用

辨识序列间的因果联系是时间序列分析的主要任务之一。将Granger因果关系的检验问题转换为变量选择问题,应用稀疏组Lasso方法辨识序列间Granger因果关系的存在性和因果影响的滞后阶数。提出了稀疏组Lasso Granger因果图模型,顶点表示多维时间序列的分量序列,顶点间的有向边表示序列间存在的Granger因果关系,定义了滞后信息矩阵揭示因果影响的滞后信息。数值模拟验证了在各种维数和滞后影响结构的模型下,样本量对估计效果的影响。应用到中国宏观经济数据,进行实证分析的结果表明,稀疏组Lasso Granger因果图方法能够较好地揭示序列间的因果关系结构。

基于组LASSO的重组近亲杂交合作小鼠基因位点定位研究

重组近亲杂交合作小鼠品系(CC-RIX)具有很多优点,特别是在复杂疾病的数量性状位点定位方面,具有较高功效.本文在现有研究基础上,考虑了仅含主基因效应的混合线性定位模型,并通过组LASSO惩罚函数法对问题进行转换,然后采用迭代加权最小二乘法对转换后的问题进行求解.从而克服了设计矩阵容易奇异,计算速度慢等计算上的难题.模拟计算表明,本文所提模型和方法在CC-RIX品系的数量性状位点定位中能快速、准确地识别出数量性状位点,并具有较高的真阳性率,以及较低的假阳性率.

基于时空组Lasso与分层贝叶斯时空模型的变量选择方法

从高维度、大数据量的时空数据中有效选择变量是时空数据领域的重要问题之一,现有的时空数据变量选择的方法在变量选择的过程中未充分考虑时空相关性,时空变量选择阶段与预测阶段分开进行,且往往需要人为设定时空点个数阈值判定变量的取舍,从而无法较为准确的选择对因变量影响最大的变量子集,导致后续预测效果较差。本文针对上述不足,提出了一种基于时空组Lasso与分层贝叶斯时空模型的变量选择方法,称为分层贝叶斯时空组Lasso变量选择模型(Hierarchical Bayesian Spatio-temporal Group Lasso Variable Selection Method,HBST-GLVS),该方法首先利用时空组Lasso进行变量选择,通过引入最大时间滞后和最大空间邻域充分考虑时空相关性,并根据时空数据连续性,将同一时空变量的时空点进行整体惩罚,避免人为设定时空点个数引起局部片面性。然后,利用分层贝叶斯时空模型对变量选择的效果进行验证,将变量选择过程与模型验证过程置于同一框架下进行参数的调整,从而得到最优的变量子集。实验结果表明,与现有方法相比,本文方法在北京空气质量数据集、波特兰交通流数据集上的RMSE(Root Mean Square Error)和MAE(Mean Square Error)可分别降低9.6%~25.7%以及6.6%~15.9%。

广义线性模型组LASSO路径算法

广义线性模型组LASSO(least absolute shrinkage and selection operator)路径β(λ)的计算有两项核心内容:选择路径参数λ的取值;计算组LASSO估计,即给定λ值的β(λ).目前,在广义线性模型组LASSO路径的计算中,使用格点法选择λ值,基于广义线性模型似然函数一阶Taylor近似的坐标下降算法则常用于计算组LASSO估计.本文给出的广义线性模型组LASSO路径算法由两个子算法组成:第一个子算法的目的是选出使得活跃集恰好改变的λ值;第二个子算法是计算组LASSO估计的二阶近似坐标下降算法.模拟和实际数据分析均表明,第一个子算法能高效地发现使得活跃集恰好改变的λ值,相比基于广义线性模型似然函数一阶Taylor近似的坐标下降算法,本文的二阶近似算法有较明显的速度优势.

稀疏组Lasso-logistic回归模型在财务报告舞弊识别中的应用研究

财务报告舞弊行为对广大投资者的切身利益造成巨大损害,如何高效识别财务报告中的舞弊行为已成为目前研究的热点.在对已有的财务报告舞弊识别模型分析的基础上,提出一种基于稀疏组Lasso-logistic回归的识别模型,并通过选取近8年间180家上市公司年报数据作为样本,综合财务及非财务指标,从盈利能力、营运能力、偿债能力、治理结构等方面设计了15组29个解释变量使用该模型进行了实证研究.结果证明,与以往的向前Logistic回归、Lasso-logistic回归和组Lasso-logistic回归等模型相比,稀疏组Lasso-logistic回归识别模型不但具备良好的变量筛选能力而且可以获得更好的识别效果,具有较高的应用价值.

宽带声场再现中基于GSO-GL的次级声源布局优化方法研究

声场再现是一种利用多个次级声源在听音区域内再现预定义期望声场的方法,其中次级声源布局是影响再现性能的关键因素。为解决次级声源布局优化问题,提出一种将Gram-Schmidt正交化方法与组Lasso方法相结合的方法(称为GSO-GL方法),即先使用Gram-Schmidt正交化方法从所有备选次级声源中选出一定数量的次级声源,再利用组Lasso方法从前一步所选的次级声源中进一步选择出激励声源。二维房间模型仿真结果表明,GSO-GL方法的性能优于单独使用Gram-Schmidt正交化方法或组Lasso方法,综合了Gram-Schmidt正交化方法的高系统稳定性和组Lasso方法的高再现准确度。

非参数可加模型的迭代自适应稳健变量选择

本文结合稳健损失函数、B样条逼近和自适应组Lasso研究一个高维可加模型,以识别“大p小n”下的不显著协变量.与传统的最小二乘自适应组Lasso相比,该方法具有较好的抵消重尾误差和异常值的影响.为证明方便,本文进一步考虑了更一般的加权稳健组Lasso估计,且该权向量对所建议的估计量具有模型选择oracle性质和渐近正态性的证明中起着关键作用.稳健组Lasso和自适应稳健组Lasso可以看作是加权稳健组Lasso在不同权向量下的特殊情况.在实际应用中,我们使用稳健组Lasso获得初始估计以降低问题的维数,然后使用迭代自适应稳健组Lasso选择非零分量.数值结果表明,所提出的方法对中等规模的样本具有良好的适用性.高维基因TRIM32数据验证了该方法的应用.

基于重叠稀疏组深度信念网络的图像识别

深度信念网络的隐含神经元大部分为噪声变量,且具有组结构相关性。组稀疏深度信念网络模型通过组Lasso模型对隐含神经元变量进行约束,从而实现变量组选择。然而,组稀疏深度信念网络模型未能考虑特征可同时属于多个特征组,并且隐含神经元在变量层面上不稀疏的问题。在组稀疏深度信念网络模型上引入重叠组结构,解释了重叠组Lasso模型在变量层面上比组Lasso模型稀疏的原因,并在变量层面上作进一步的稀疏,提出了重叠稀疏组深度信念网络模型。在MNIST、USPS、ETH-80以及人脸数据集上的识别结果表明,重叠稀疏组深度信念网络具有更高的识别率。

变系数模型的稳健变量选择与结构识别

研究了稳健回归下变系数模型的变量选择和模型结构识别问题。利用B样条基函数近似非参数系数函数,建立自适应组Lasso双惩罚函数选择变系数模型中的重要变量并且识别具有常数效应的协变量,同时估计未知的非参数系数函数。在一定条件下,证明了所提出的惩罚估计量具有相合性和稀疏性。通过数值模拟验证所提方法的有限样本性质。