基于Shapley值的分类预测模型变量筛选方法改进

在分类预测模型的自变量间存在交互效应时,传统Shapley值法的可加性无法满足,造成变量筛选效果变差,导致分类模型的预测精度降低。针对此问题,文章提出使用稳健独立成分分析,从原始数据中估计出具有独立性的数据集并对其进行Shapley值分解,从而提高变量筛选的准确度。统计模拟与实证分析的结果表明,改进后的方法在变量筛选上的表现优于传统Shapley值法。

结合主成分与熵权的关键变量筛选算法

传统的基于主成分的冗余变量筛选算法最终计算所得的关键变量筛选指标需要结合专家经验进行判定,具有人为主观性,使得模型预测结果不稳定。因此,文中提出了一种结合主成分与熵权的关键变量筛选算法(Key Variable Screening Algorithm Combining Principal Component and Entropy Weight,KVSA-PCA-EP)。该算法,首先通过传统的基于主成分的冗余变量筛选算法计算第一个关键变量筛选指标;然后,通过各原始变量的方差和目标变量的熵值计算第二个关键变量筛选指标;最后,以第二个关键变量筛选指标与第一个关键变量筛选指标的比值作为最终的关键变量筛选指标。文中通过在公开数据集METERC上的实验,并与传统的基于主成分的冗余变量筛选算法作对比,F1分数方面提高约5%,充分验证了提出算法的优越性。

近红外光谱结合CARS变量筛选方法用于液态奶中蛋白质与脂肪含量的测定

采用CARS(Competitive adaptive reweighted sampling)变量筛选方法建模,显著提高了液态奶中蛋白质与脂肪近红外模型的预测精度。用蒙特卡罗采样(Monte-Carlo sampling)方法先剔除奇异样本,再对光谱进行中心化与Karl Norris滤波降噪处理,通过CARS方法筛选出与样本性质密切相关的变量,建立预测蛋白质与脂肪含量的偏最小二乘法(PLS)校正模型,并与未选变量的PLS模型进行比较。以定标集相关系数(r2)及交互验证均方残差(RMSECV)和预测误差均方根(RMSEP)作为判定依据,确定了蛋白质与脂肪的最佳建模条件。蛋白质与脂肪校正模型的相关系数分别为0.975 0、0.995 1,RMSECV分别为0.194 8、0.136 3,RMSEP分别为0.113 3、0.140 1,预测结果优于未选变量的PLS模型及其他选变量方法,有效简化了模型,适于液态奶中脂肪和蛋白质的快速、无损检测。

基于统计学变量筛选方法的心理测验题目的维度识别

近年来多维心理测验被广泛应用于各类评估,虽然编制测验时知道整个测验考察的潜在特质(或称为维度),但是测验题目具体考察的维度仍需确定。借助多维项目反应理论模型与广义线性模型的关系,使用LASSO和弹性网两种变量筛选方法,可解决测验题目的维度识别问题。模拟研究发现,LASSO方法比弹性网方法具有更好的维度识别效果,前者对不同类型的多维测验具有较高的维度识别准确率。

Lasso变量选择法在广西区域经济发展影响因素选取中的应用

影响区域经济发展的因素有很多,基于不同的变量选择方法可以构建不同的指标体系,本文通过Lasso变量选择法和逐步回归法的比较,说明Lasso变量选择法选取的指标在广西区域经济发展研究中更具代表性,预测精度也更高。

Lachin氏定性分类变量筛选法及其医学应用

医学领域中时常遇到对涉及多个定性分类变量的数据资料做离散判别分析时,须对解释变量进行筛选。本文对有理论及实用价值的Lachin氏定性分类变量筛选法,变形演化成便于医学工作者理解和计算机编程的计算程式予以介绍。给出一个医学问题的筛选实例,并做了判别分析比较,以说明该法对选择重要变量是有效力的。

基于主变量筛选方法的学生综合评价

利用主变量筛选方法与因子分析方法对柳州铁道职业技术学院的学生部分课程的考试成绩进行统计分析并比较这两种分析方法产生的结果.结果显示,主变量筛选方法比因子分析法更适用于对大学生的课程成绩进行统计分析,较能真实地反映出学生之间的差异,从而更能客观合理评价一个大学生的综合能力.

基于高光谱技术的五味清浊制剂快速无损检测方法研究

目的:采用高光谱技术结合化学计量学方法对蒙古族药五味清浊制剂中胡椒碱、桂皮醛和羟基红花黄色素A进行含量测定,实现快速、无损、全面的五味清浊制剂质量评估。方法:选取2023年度国家药品抽检计划抽检的五味清浊制剂样品33批次(五味清浊散11批次、五味清浊丸22批次),采集其高光谱数据;对比多元散射校正、基线校正、标准正态变换、光谱转化、矢量归一化、光谱降噪、卷积平滑(9)结合一阶导数、卷积平滑(11)结合一阶导数、卷积平滑(9)结合二阶导数和卷积平滑(11)结合二阶导数10种光谱预处理方法,蒙特卡罗无信息变量消除法、竞争性自适应重加权采样法(CARS)2种变量筛选方法,偏最小二乘法、最小二乘法-支持向量机(LS-SVM)2种建模方法用于胡椒碱、桂皮醛和羟基红花黄色素A含量与高光谱数据定量校正模型时的性能。结果:采用CARS建立的胡椒碱和桂皮醛的LS-SVM模型预测能力全局最优,模型的相对预测偏差(RPD)分别为9.2、6.0,验证集相关系数(rpre)分别为0.9935、0.9852,说明模型验证集与测定值具有良好的非线性关系,模型预测效果良好。采用羟基红花黄色素A原始光谱建立的LS-SVM模型性能全局最优,RPD和rpre分别为3.7、0.9762。结论:采用高光谱技术结合化学计量学方法可以快速测定五味清浊制剂中胡椒碱、桂皮醛和羟基红花黄色素A含量,方法操作简便,可为五味清浊制剂的质量控制提供参考。

主变量筛选法在武器型号费用数据处理中的应用

文中利用矩阵的扫描运算,提出用主变量筛选法来对武器数据分析中出现的高维随机向量进行降维处理,并给出了一个算例。该方法是不同于主成分分析法的一种新的降维方法,它能有效地减小多重共线性问题带来的影响,尤其在处理数据多重相关性突出的武器费用数据时,该方法有着良好的效果,最后,作者用一个实用算例证明了其有效性和可行性。

共享单车品牌选择的影响因素研究——基于Ridit分析法的变量筛选

非参数统计方法在市场分析和研究中具有重要的指导意义,本文将Ridit分析法运用到共享单车品牌选择的影响因素分析中,首先利用构成比率分析法对实际调查问卷结果进行描述性分析,再利用Ridit分析法分析共享单车各特征项对于消费者品牌选择的影响及影响力顺序分析。通过这些分析,为企业在市场决策时提供一定的参考与指导。

三次型火控回归解算模型变量筛选分析

在建立火控射击诸元回归解算模型时,由于影响火控射击诸元的因素较多,并且各因素之间存在交互作用。需利用逐步回归法对回归模型中的变量进行筛选,首先确定影响射击诸元的因素指标集,并划分因素水平。利用正交试验进行航路设计,并将数据装定到火控系统中,获得静态解算数据。利用逐步回归法在403个变量中选择14个变量通过多元线性回归得到火控回归模型。对火控模型进行偏F检验,对残差进行独立性和正态性检验。结果表明,通过逐步回归法筛选得到的模型变量建立的回归方程,回归效果较好。

无信息变量消除法在近红外光谱测定的应用

本文通过讨论了无信息变量消除法(uninformative variables elimination,UVE)的原理,并用此算法对玉米的近红外光谱数据进行波长变量选择,再使用偏最小二乘法(partial least squares,PLS)建立模型。结果表明,与使用全谱数据建立的模型相比较,筛选变量后建立的校正模型不仅简化了,而且增强了预测能力。

Phanerochaete chrysosporium降解碳质金矿中元素碳高关联度变量的筛选

采用Plackett-Burman设计法对Phanerochaete chrysosporium降解碳质金矿中元素碳的高关联度变量进行筛选。通过前期的单因素试验确定影响真菌降解碳质物的8个变量,分别为愈创木酚浓度、糊精浓度、吐温-80浓度、草酸浓度、过氧化氢浓度、矿浆浓度、真菌浓度和作用时间。通过两水平的Plackett-Burman设计法确定影响真菌降解元素碳的高关联度变量,分别为愈创木酚浓度、草酸浓度和矿浆浓度。愈创木酚是一种诱导剂。低浓度时,愈创木酚通过提高酶活性和诱导一些酶产生,促进元素碳的降解。高浓度时,酶产生和酶活性受抑制,不利于元素碳的降解。草酸通过调节降解体系的p H值影响菌体生长及酶活性。矿浆浓度会影响元素碳和真菌的有效接触面积以及降解体系的剪切力和传质效率。

超高维生存数据中交互效应的非参数变量筛选法

在医学、遗传学、经济学等领域的研究中,线性回归模型常被用来研究变量间的回归关系,以进行分析和预测.而在很多实际问题中,仅仅考虑主效应的影响是远远不够的,变量之间的交互效应也会对因变量产生重要影响,同时考虑主效应和交互效应的交互模型能更全面地刻画变量之间的关系.在高维数据中,变量的个数p比较大,二阶交互项的个数(p(p+1))/2更大,此时对交互模型的统计分析存在很大的困难和挑战.如何从众多交互效应中挑选出对感兴趣事件有显著影响的重要交互效应是一个非常重要的问题.目前对此问题的研究主要集中在线性模型框架下的完全数据,本文将研究超高维右删失生存数据中重要交互效应的选取.基于距离相关系数和两步分析法的原理,本文提出了一种不依赖于任何模型假设的交互效应变量筛选方法.此方法可以同时实现重要主效应和重要交互效应的选取,且可以处理p很大的超高维数据.本文通过大量的数值模拟试验评估了该方法在有限样本下的表现,结果显示此方法能有效地处理超高维右删失数据中交互效应的选取问题.最后本文把它应用到弥漫性大b细胞淋巴瘤(DLBCL)数据的实例分析中.

基于变量筛选优化极限学习机的混凝土坝变形预测模型

传统的统计模型泛化能力较弱且容易引入高维变量,这将对基于神经网络预测模型的输出结果产生负面影响,同时增加了过拟合风险。因此,有必要建立一个具有适当维度的数据驱动模型,以实现对大坝变形的准确监控。选用极限学习机(ELM)作为基础预测模型,提出基于平均影响值MIV-ELM模型的变量筛选法,以消除初始变量集中的冗余信息,从而降低模型复杂度,提高预测精度。分析结果表明,与传统预测模型相比,HST-MIV-ELM不仅具有最高的预测精度和预测性能,同时也有较强的可拓展性,为大坝安全监控系统的构建提供了可靠的理论基础。

基于LASSO方法的我国城乡居民食物消费结构影响因素研究

选取可能对居民食物消费结构产生影响的11个因素,通过LASSO方法分别筛选了对农村和城镇居民粮食、蔬菜、肉类、蛋、奶、水产品及鲜瓜果消费量产生影响的因素,并进行定量分析。研究结果表明:不同食物之间消费量的影响因素并不相同,不同人群即农村和城镇居民之间食物消费结构的影响因素也不尽相同;宏观经济因素人均GDP对城乡居民食物消费结构的影响非常微弱;人均可支配收入只对收入较低的农村居民产生影响,对城镇居民的食物消费没有影响;影响城乡居民蔬菜消费的主要因素是居民消费价格指数,且两者之间存在负向关系;人口老龄化率是城镇居民肉类消费的主要影响因素,且随着人口老龄化率的提高,肉类消费量增加,而该因素并不对农村居民肉类消费产生影响。

基于排序融合模型的紫癜性肾炎患者中差异表达变量的筛选研究

目的对紫癜性肾炎和过敏性紫癜两类患者中差异表达的代谢产物进行筛选。方法利用排序融合的思路,将t检验、Wilcoxon秩和检验、偏最小二乘、及随机森林等四种方法用于组间差异表达分析,对其所获得的四个变量重要性排序进行融合,获得综合的、单一的变量排序(排序融合模型);利用交叉验证获得最优模型,并进行差异变量的筛选;通过模拟实验评价排序融合模型变量筛选的能力并与least absolute shrinkage and selection operator(LASSO)进行比较。最后,将其用于紫癜性肾炎与过敏性紫癜患者间的代谢物差异分析。结果模拟实验结果显示:(1)当观测数和差异变量数较小时,排序融合模型的AUC的平均值大于LASSO;(2)当观测数和差异变量数较大时排序融合模型的AUC的平均值与LASSO相近; 3)无论参数如何设置排序融合模型所筛选的差异变量数基本均少于LASSO。实例分析结果显示:应用排序融合模型获得紫癜性肾炎和过敏性紫癜患者中存在12个差异表达的代谢产物,其AUC值达到其最大值0. 96。结论相比于LASSO,排序融合模型在筛选变量时更具可靠性和准确性,可为代谢组学数据的差异表达分析提供新的分析思路和方法。

第四讲 回归分析中的变量筛选技术及统计检验

回归分析中的变量筛选技术是回归分析技术得到广泛应用的一个突破,它将方差分析中的F检验和回归分析技术进行集成,形成一个新的算法,为工程应用开拓了广泛的前景。在笔者藏书中,涉及回归分析中变量筛选技术的专著有：《概率统计计算》（中国科学院计算中心概率统计组编著,科学出版社,1979）;《回归分析及其试验设计》（上海师范大学数学系概率统计教研组编,上海教育出版社,1978）。

基于自适应惩罚的潜变量高斯图模型结构学习

采用自适应惩罚似然方法解决含潜变量高斯图模型的结构学习问题.模拟结果表明,自适应惩罚显著优于非自适应惩罚,可有效降低估计偏差,更准确地估计给定潜变量时观测变量间的条件独立性关系.

缺失数据下超高维线性模型的变量筛选

在响应变量随机缺失情形下,研究超高维线性模型的确定性独立变量筛选问题.首先,使用逻辑线性回归模型拟合响应变量的缺失变量与相应协变量,估计响应变量的缺失概率;然后,建立基于逆概率加权最小二乘的效用函数,通过它将协变量维数降到较低水平;最后,运用基于LASSO惩罚的逆概率加权最小二乘方法对协变量进行更精细的筛选,达到协变量超高维降维的目的.数值模拟和实例分析表明,所研究的变量筛选方法对有限样本的情形表现良好.