基于组块3×2交叉验证的预测误差估计的方差

本文对文献中新提出的预测误差的组块3×2交叉验证估计的方差进行了研究,给出了其方差的更为精细的表达式,且从理论上证明了不存在其方差的通用(对所有分布都适用的)无偏估计.

高维回归中基于组块3×2交叉验证的调节参数选择

将组块3×2交叉验证方法用于高维回归中的调节参数选择.首先通过ISIS方法把模型的维数降低到样本个数以内,然后使用AENET方法对降维后的模型进行进一步的降维和参数估计,使用组块3×2交叉验证方法选择最佳的调节参数.综合考虑模拟实验中各种调节参数选择方法(AIC、BIC、EBIC、HBIC、5折交叉验证、组块3×2交叉验证)的EMSE值、方差以及计算复杂度,结果表明基于组块3×2交叉验证的方法是有其优势的.

基于组块3×2交叉验证t检验的模型选择算法

传统的模型选择问题中,往往以所关心的性能指标的大小来评价模型.然而,许多情形下模型性能指标之间的差异在统计意义下是不显著的,是由随机误差导致的.为此,基于组块3×2交叉验证指标差异的显著性t检验给出了一种新的模型选择算法.模拟实验结果表明,在统计意义的最小化即平方损失(回归)和0-1(分类)损失最小化下,该方法常常被选择到较为简单的模型.

预测误差的组块3×2交叉验证估计——基于生物数据的模拟比较研究

本文首先给出了一种新的预测误差估计方法,称为组块3×2交叉验证估计.通过基于人造与真实癌症生物数据的多个分类器上的模拟实验验证了本文方法在均方误差意义下优于文献中常用的2折和随机5×2交叉验证估计,对于5折,10折和Bootstrap交叉验证,在大多数情形下,本文方法也具有更小的均方误差.且比10折和随机5×2交叉验证有更小的计算开销.

基于交叉验证的集成学习误差分析

目前关于集成学习的泛化性能的研究已取得很大成功,但是关于集成学习的误差分析还需要进一步研究.考虑交叉验证在统计机器学习中对于模型性能评估有重要应用,为此,应用组块3×2交叉验证和k折交叉验证方法为每个样本点进行赋予权重的预测值的集成,并进行误差分析.在模拟数据和真实数据上进行实验,结果表明基于组块3×2交叉验证的集成学习预测误差小于单个学习器的预测误差,并且集成学习的方差比单个学习器方差小.与基于k折交叉验证的集成学习方法相比,基于组块3×2交叉验证的泛化误差小于基于k折交叉验证的泛化误差,说明基于组块3×2交叉验证的集成学习模型稳定性好.

一种均衡的RHS交叉验证

在统计机器学习中,交叉验证方法利用对一个数据集的多次切分,来构造多次重复实验,并以此估计机器学习模型的预测误差.然而交叉验证估计的稳定性与数据集的切分方式有着密切的关系.也就是说,不同的切分方式会导致训练集中所含共同样本的个数不同,当共同样本较多时,交叉验证估计具有较大的方差.为此构造了一种均衡的RHS(Repeated Half-sampling)交叉验证,使得训练集所含共同样本的个数的总和最小,并且任意两个切分之间的共同样本个数保持均衡,进而降低泛化误差估计的方差,进而有效地提高泛化误差估计的稳定性.从理论上证明了6次均衡的RHS交叉验证估计的方差小于组块3×2交叉验证,并且进一步通过模拟实验验证这一结论.同时,从实验结果可以说明6次均衡的RHS交叉验证估计的方差小于随机RHS交叉验证估计的方差.进一步,在真实数据集上大量的实验验证了这些结论.

泛化误差的三种交叉验证估计方法的比较

在泛化误差(Generalization Error)的估计中,交叉验证(Cross-validation)是最常用的方法.基于均方误差准则下,采用生物信息数据比较了泛化误差的5折、10折交叉验证和组块3×2交叉验证估计,实验证明组块3×2交叉验证比5折、10折交叉验证方法更好.

方差正则化的分类模型选择准则

在传统的机器学习中,模型选择常常是直接基于某个性能度量指标的估计本身进行,没有考虑估计的方差,但是这样的忽略极有可能导致错误模型的选择。于是考虑在分类模型选择研究中添加方差的信息的方法,以提高所选模型的泛化能力,即将泛化误差性能度量指标的组块3×2交叉验证估计的方差估计作为正则化项添加到传统模型选择准则中,提出了一种新的方差正则化的分类模型选择准则。模拟和真实数据实验验证了在分类模型选择问题中,提出的模型选择准则相比传统方法选到正确分类模型的概率更大,验证了方差在模型选择中的重要性以及提出的模型选择准则的有效性。进一步,理论上证明了在二分类问题的模型选择中,该模型选择准则具有选择的一致性。