基于lasso和elastic net的宽度学习系统网络结构稀疏方法

本文提出了一种基于lasso和elastic net的宽度学习系统(BLS)网络结构稀疏方法,将标准BLS目标函数中的L2范数分别替换为lasso和elastic net,利用这两种正则化技术来约束网络输出权重,衡量每个网络节点输出权重对预测的影响程度,将多余的节点进行剔除,提高了网络结构的稀疏性.通过对一些回归数据集进行实验,可以看到本文提出的方法在不损失预测精度的前提下,同时简化了网络结构.

基于Elastic Net特征变量选择的SCR入口NO_(x)软测量模型

在传统选择性催化还原反应器(selective catalytic reduction,SCR)入口NO_(x)软测量研究中,选取相关变量大多是基于机理分析方法,具有一定主观性。针对这一问题,提出Elastic Net方法结合最小二乘支持向量机(least squares support vector machine,LSSVM)的SCR入口NO_(x)软测量模型。首先采用Elastic Net对潜在相关变量进行变量选择,该方法无需机理分析,避免变量选择的主观性。此外,Elastic Net克服最小绝对收敛和选择算子(least absolute shrinkage and selection operator,LASSO)变量选择时因数据内部存在共线性和群组效应而影响选择效果的问题。然后利用LSSVM具有的训练速度较快、泛化性能优良和非线性逼近能力强等优点,建立Elastic Net-LSSVM软测量模型。现场数据仿真结果表明:Elastic Net-LSSVM与LSSVM相比,在预测时均方根误差减小8.45%,使预测更准确,验证软测量模型的有效性,可为烟气脱硝系统的控制优化提供参考。

基于Elastic Net的暂态稳定裕度在线评估

随着电力系统规模的扩大和新能源技术的广泛应用,电力系统暂态稳定特性更加复杂,在线暂态稳定裕度评估面临严峻挑战。提出一种基于Elastic Net的电力系统暂态稳定裕度在线评估的新方法。该方法无需计算形成输入特征,直接面向量测数据,将系统稳态运行节点电压幅值与相角作为样本特征,利用Elastic Net算法完成特征筛选并构建量测数据与故障极限切除时间之间的映射关系,进一步将原始特征映射至高维空间以提高预测模型的准确性。最终,实现根据系统稳态运行信息对暂态稳定裕度的快速预测。对接入风电场的新英格兰39节点系统和IEEE 118节点系统进行算例分析,结果表明,该方法通过少量数据训练即可有效筛除无关特征并具有较高的预测精度。

基于Elastic Net特征变量选择的黄山毛峰茶等级评价

为简化茶叶化学检测分析过程,实现茶叶高精度等级评价,该研究以黄山毛峰茶为研究对象,结合茶叶中茶多酚、儿茶素、咖啡碱、没食子酸及氨基酸成分检测,提出基于Elastic Net特征变量选择的茶叶等级评价方法,建立基于特征成分的黄山毛峰茶等级评价模型。试验选取6个不同等级共96个黄山毛峰茶叶样品,并分析了全部样品的19个成分,通过ElasticNet选取了9个特征成分(没食子酸、表儿茶素没食子酸酯、儿茶素、表儿茶素、没食子酸儿茶素没食子酸酯、表没食子儿茶素、谷氨酸、精氨酸和儿茶素苦涩味指数)建立等级评价模型,并与主成分分析(Principal Components Analysis,PCA)进行对比。100次蒙特卡罗试验结果表明,相比于PCA预测集准确率平均值为70.79%,基于Elastic Net特征变量选择的黄山毛峰茶等级评价准确率更高为78.72%。在此基础上,构建Elastic Net特征变量雷达图,实现黄山毛峰茶等级多变量综合评价可视化。研究结果表明所提方法可有效选择茶叶特征成分,提高黄山毛峰茶等级评价准确率,为茶叶高精度等级评价提供参考。

基于RF的Elastic Net-Logistic个人信用违约风险评估

以南德信贷数据为基础,针对信贷数据中解释变量维数高、类型丰富、好坏客户数量不均衡等特点,通过分析影响个人信用违约风险的因素,构建了一种基于随机森林(random forest,RF)的Elastic Net-Logistic个人信用违约风险评估模型。并与传统Elastic Net-Logistic模型、基于RF的Lasso-Logistic模型进行比较,证明所提出的模型表现更优。为更进一步验证模型有效性,采用澳大利亚信贷数据进行实例分析。结果表明,该模型的违约召回率与分类精度比Elastic Net-Logistic模型和基于RF的Lasso-Logistic模型分别提高了0.88%、8.78%和0.79%、6.06%。验证了基于RF的Elastic Net-Logistic模型对信贷数据有更好的分类效果。

光谱分析中Elastic Net变量选择与降维方法

在利用红外光谱进行多组分混合气体定量分析建模中,须根据各目标气体成分的光谱特点进行光谱维数降维和特征变量选择。以甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷和正戊烷等7种气体为分析目标,采用最小绝对收缩和选择算子(LASSO)与弹性网络(ElasticNet)方法进行目标气体数据预处理。针对LASSO和Elastic Net方法参数优化选择的问题,采用均方误差和预测偏差最小两个准则进行参数的优化选取。对4cm-1的实测光谱数据,采用LASSO和ElasticNet方法分别在0.0019和0.0021均方误差条件下使得维度从2542维分别降为2维和3维,LASSO的交叉灵敏度最大和最小为10.2718%和1.4205%,ElasticNet分别为5.4945%和0.7493%。结果表明:Elastic Net在用于光谱定量分析的数据预处理中具有一定的优势,为准确建立定量分析模型奠定了基础。

Adaptive Elastic Net方法在Logistic回归模型中的应用（英文）

本文将adaptive Elastic Net方法应用于Logistic回归模型,研究并证明其具有Oracle性质,并利用数值模拟及实际例子将其与Lasso、adaptive Lasso、Elastic Net方法的估计结果进行比较,从结果可以看出,adaptive Elastic Net方法效果更优.

面板数据的贝叶斯Elastic Net分位数回归方法及其应用研究

本文首次将Elastic Net这种用于高度相关变量的惩罚方法用于面板数据的贝叶斯分位数回归,并基于非对称Laplace先验分布推导所有参数的后验分布,进而构建Gibbs抽样。为了验证模型的有效性,本文将面板数据的贝叶斯Elastic Net分位数回归方法(BQR. EN)与面板数据的贝叶斯分位数回归方法(BQR)、面板数据的贝叶斯Lasso分位数回归方法(BLQR)、面板数据的贝叶斯自适应Lasso分位数回归方法(BALQR)进行了多种情形下的全方位比较,结果表明BQR. EN方法适用于具有高度相关性、数据维度很高和尖峰厚尾分布特征的数据。进一步地,本文就BQR. EN方法在不同扰动项假设、不同样本量的情形展开模拟比较,验证了新方法的稳健性和小样本特性。最后,本文选取互联网金融类上市公司经济增加值(EVA)作为实证研究对象,检验新方法在实际问题中的参数估计与变量选择能力,实证结果符合预期。

Elastic Net方法在Cox模型变量选择中的研究

将Elastic Net方法运用于Cox模型的变量选择中,建立EN-Cox模型,证明了Cox模型的Elastic Net估计具有组效应性质.数值模拟验证了Elastic Net方法能将强相关变量全部选入Cox模型,而Lasso方法无此功效.数值实例验证了Elastic Net方法运用于Cox模型的可行性,表明EN-Cox在拟合效果和预测能力方面均优于传统Cox模型.

基于附加噪音协变量的Elastic Net高维统计分析

文章研究协变量中具有附加噪音的Elastic Net模型的高维统计性质。通过对矩阵■进行分析,以及选择适当的■。得到了Elastic Net估计的界。当矩阵■满足下限制特征条件,并且■和■的偏差条件成立时,任意解■与未知参数■有统一误差界。

基于Elastic Net-Decision Tree的垃圾邮件过滤研究

针对垃圾邮件文本数据高维、稀疏及词条相关等特点,提出Elastic Net-Decision Tree(EN-DT)两步分类算法。第一步,利用Elastic Net提取邮件文本特征变量,将高维文本数据降至低维。第二步,将所提取的低维特征变量输入到Decision Tree中进行邮件分类。根据分类评价指标对分类结果进行评价。利用Mark Hopkins等人收集的Spam邮件文本数据进行仿真,实验结果表明相比于PLS、PCA和Lasso等算法EN-DT分类性能更佳。

The Application and Property of Elastic Net Procedure for Partially Linear Models

Variable selection plays an important role in high-dimensional data analysis.But the high-dimensional data often induces the strongly correlated variables problem,which should be properly handled.In this paper,we propose Elastic Net procedure for partially linear models and prove the group effect of its estimate.A simulation study shows that the Elastic Net procedure deals with the strongly correlated variables problem better than the Lasso,ALasso and the Ridge do.Based on the real world data study,we can get that the Elastic Net procedure is particularly useful when the number of predictors pffis much bigger than the sample size n.

基于Elastic net主成分优选的近红外光谱定量分析模型

Elastic net是对最小二乘方法的一种改进,在最小二乘法的基础上增加了L1和L2惩罚,具有变量选择和模型可提高预测精度的良好性质。此研究以89个小麦样品为实验材料,通过Elastic net方法优选光谱主成分,建立近红外光谱与小麦中蛋白质含量之间的定量分析模型,考证了Elastic net优选主成分建立定量分析模型的可行性。实验中将89个小麦样品随机分成两组,60个样品做建模集,其余29个做预测集。60个样品所建模型预测29个样品的蛋白质含量,预测值和化学测量值间的相关系数(r)为0.9849,平均相对误差为2.48%。为进一步考察该方法建模的可行性和稳定性,对89个样品分别进行5次随机划分,60个样品做为建模集,29个样品做为预测集,5次建模所选光谱的主成分基本一致;同时与PCR和PLS方法作对比,结果显示5次所建模型的预测效果明显好于PCR,且与PLS方法相近。鉴于Elastic net具有变量选择的功能,且所建模型具有较好的预测效果,表明该方法是一种可行的建立化学计量学定量分析模型的方法。

高维数据在Cox回归模型中的自变量选择——基于Elastic Net方法的维数约简

在高维数据分析中,LASSO维数约简方法占有很重要的位置。针对数据愈发繁杂,LASSO回归不再适应一些具有较高相关性的高维数据分析,由此产生了Elastic Net和其他相关的一些高维数据拓展分析方法。Elastic Net是在LASSO的思想方法基础上结合非凸罚函数和岭回归方法得到的,Adaptive Elastic Net等是在Elastic Net的思想方法上,通过数据特征的不同改进惩罚函数,缓和稀疏性和过拟合的问题。文章对Elastic Net、Adaptive Elastic Net、Weight Elastic Net进行了介绍并且通过实际例子做了简单的比较,最终得到了较好的维数约简方法。

Adaptive Elastic Net结合加速失效时间模型在亚组识别中的应用

目的针对临床试验中的生存数据,基于加速失效时间模型提出一种亚组识别方法。方法将Adaptive Elastic Net应用于加速失效时间模型(称为惩罚模型),通过检验协变量与治疗组别的交互项来识别亚组相关协变量。采用基于极大似然的change-point算法寻找预测计分的截断点以对患者进行亚组分类。采用二阶段适应性设计,以评价治疗效果是否存在于所识别的获益亚组人群中。对比四种模型(含协变量主效应的惩罚模型、单变量模型,以及不含协变量主效应的惩罚模型、单变量模型)的亚组识别效果。结果模拟结果显示,在样本量较小、删失率较高、获益亚组占比较小以及样本量不超过协变量个数的情况下,含协变量主效应的惩罚模型在获益亚组的识别上有明显的优势;而其他情况下,则是不含主效应的单变量模型较优。在二阶段适应性设计中,这两种模型进行亚组识别的Ⅰ类错误均控制在0.05左右;当潜在获益亚组时,相比于传统设计,适应性设计很大程度上提高了检验效能。结论含协变量主效应的惩罚模型适用于生存数据的亚组识别;相比于传统设计,二阶段适应性设计更适用于潜在获益亚组的疗效评价。

基于Elastic Net分位数回归的多因子量化选股策略

将Elastic Net分位数回归应用到多因子选股中,求解过程采用SNCD算法。选取2013年6月28日至2021年7月1日的沪深300指数成分股,选取了共46个因子,回测结果表明,Elastic Net分位数回归在分位点为0.1和0.9时,年化收益率分别达到了38.51%和39.67%,远超基准年化收益率17.37%。同时还将Elastic Net分位数回归策略同Lasso分位数回归策略比较,从回测结果的各项指标来看,Elastic Net分位数回归策略可以通过调整不同的分位点来保留更加有效的因子,从而获得更高的年化收益率和超额收益率。

Adaptive Elastic Net方法在Cox模型变量选择中的研究

将Adaptive Elastic Net方法运用于Cox模型的变量选择中,证明了在一定条件下,Cox模型的Adaptive Elastic Net估计具有组效应性质.数值模拟和具体实例验证了该估计的组效应性质,表明Cox模型的Adaptive Elastic Net方法优于Lasso方法、Adaptive Lasso方法和Elastic Net方法.

平衡纵向数据模型变量选择的Elastic Net方法研究

本文将Elastic Net方法应用到平衡纵向数据模型的变量选择中;应用Elastic Net方法来实现系数压缩,通过将某些系数压缩为零,将该变量剔出模型;利用最小角回归算法对回归系数进行排序,从而实现变量选择;证明该方法的一些理论特性,同时利用数值实验来分析了此方法的主要特点.

近红外光谱Elastic Net建模方法与应用

当近红外光谱信息远大于样本量时,对光谱信息进行自动变量选择进而建立光谱与样品含量的稀疏线性模型重要且具有挑战性。利用近红外光谱,将变量选择方法 Elastic Net用于聚苯醚生产过程中微量成分邻甲酚的测量,建立近红外光谱与邻甲酚含量之间的定量校正模型,并将其模型预测效果与Lasso方法进行对比。在变量数目远远大于样本量的情形下,Lasso方法虽可实现变量选择,但由于对系数的过度压缩,使得模型的预测精度受到影响,而Elastic Net通过增加L2惩罚项避免了过多删失数据,可以提高模型预测精度。为了验证Elastic Net方法的模型性能指标,用复相关系数R^2和调整的复相关系数R^2a来评价模型的可解释性,利用平均相对预测误差MRPE(mean relative prediction error)和预测相关系数Rp来评价模型的预测精度。Lasso方法建立的模型性能指标为:R^2=0.94,R^2a=0.93,MRPE=4.51%,Rp=0.96;Elastic Net方法的性能指标为:R^2=0.97,R^2a=1,MRPE=3.25%,Rp=0.98。结果表明,Elastic Net所建立模型的性能指标优于Lasso方法,可以得到可解释性较强和预测精度较高的稀疏线性模型。

基于Adaptive Elastic Net与加速失效时间模型的亚组识别方法的应用拓展

目的针对适应性设计下的Adaptive Elastic Net与加速失效时间模型亚组识别方法进行更多适用条件下的研究,以获得该方法最佳应用效果所对应的参数。方法基于前期所提出的亚组识别方法,进一步探讨协变量间相关性、二阶段显著性水准([α1]和[α2])、协变量与样本量比例对该方法的影响。通过模拟研究,探讨含/不含协变量主效应的惩罚模型在不同情形下的亚组识别效果。结果协变量间的相关性r=0、0.3、0.5时,检验效能(power)表现稳定;在二阶段自适应设计中,当[α1]和[α2]分别为0.035和0.015时,模型的power最高;固定样本量n的情况下,power随着待选协变量个数与n比例的上升而下降,比例升到1之后power呈现平稳趋势;对于不同生存时间的参数分布,单变量模型表现出不同的模式,而惩罚AFT模型相对稳定。结论协变量间的相关性不影响检验power;(0.035,0.015)可作为自适应设计显著性水准的参考设置;获益亚组与非获益亚组间的治疗效果差异较小时,含协变量主效应的惩罚性AFT模型(Penalized,Eq_in)优于不含协变量主效应的单变量AFT模型(Univariate,Eq_ex);当协变量数量与样本量的比值小于1时,“Univariate,Eq_ex”的power更高;否则,“Penalized,Eq_in”的效果会更好;生存数据的参数分布对单变量模型的影响较大,但对惩罚模型的影响较小。