基于模型平均的超高维数据特征筛选方法

结合模型平均技术和条件分位数方法,提出一种基于变量间相关度量的模型平均特征筛选方法.该方法具有无模型假设、对异常值或重尾分布稳健以及计算简单快捷等优点,并通过理论证明和蒙特卡洛数值模拟验证了该方法满足确定性筛选性质和有限样本性质.实例分析结果表明,本文所提出的方法具有优良的表现.

条件区间分位数超高维特征筛选研究

超高维数据下的特征筛选是模型降维建模的重要环节.基于条件分位数的改进超高维特征筛选方法在给定分位点有扰动情况下可能会导致筛选变量不稳定,针对该问题,引入全局条件分位数的思想,提出基于条件区间分位数的超高维特征筛选方法,并通过理论及数值模拟证明其特征筛选的确定性独立筛选性质和所提方法的有限样本性质.

基于纵向数据的超高维特征筛选

实际问题研究中常常面临复杂数据,其中超高维数据和纵向数据常见于医学、经济学等大数据领域.基于超高维纵向数据的结构特征,推广确定独立筛选SIS(Sure Independence Screening)方法,构造了基于纵向数据组内相关结构的边际特征筛选方法,对超高维问题进行筛选降维,并从理论上证明了所提出降维筛选过程满足确定性筛选性质,从数值模拟上研究了其有限样本性质.

基于似然比统计量的超高维特征筛选研究

特征筛选是超高维数据处理过程中非常重要的一环,筛选降维的准确性直接影响到后续的数据建模分析。文章针对卡方统计特征筛选方法（PC-SIS）的不足之处,对其进行改进,提出适用于超高维无模型假设下判别分类数据的似然比统计特征筛选方法（LR-SIS）,从理论上证明了LR-SIS方法具有确定性筛选性质,并通过蒙特卡洛数值模拟和亚马逊网站电影评论文本数据验证了LR-SIS方法的有限样本性质。

基于稳定相关系的超高维筛选研究

特征筛选是超高维数据分析中非常重要的一环,筛选降维过程的准确性将影响到后续的建模分析。针对稳定特征筛选方法(SC-SIS)的不足之处进行改进,基于稳定相关系数提出了适用于超高维无模型假设下稳健特征筛选方法(RSCS),相比SC-SIS,该方法对数据中存在异常点或协变量服从重尾分布更有稳健性,从理论上证明了RSCS方法具有确定性筛选性质,并通过蒙特卡洛数值模拟和小鼠基因组数据验证了RSCS方法的有限样本性质。