Bootstrap样本大数据模型和分布式集成学习方法

传统Bootstrap抽样和Bagging集成学习通常以串行方式实现,计算效率低,且存在样本不可重用、扩展性差等问题,不适合高效的大规模Bagging集成学习。从大数据分布式计算的思维入手,提出新的Bootstrap样本划分(BSP)大数据模型和分布式集成学习方法。BSP数据模型通过分布式生成算法将训练数据表达成分布式Bootstrap样本集的集合,存储成HDFS分布式数据文件,为后续的分布式集成学习提供数据支持。分布式集成学习方法从BSP数据模型中随机选取多个BSP数据块,读入集群各个节点的虚拟机,用串行算法对选取的数据块并行计算统计量或训练建模,再将所有的计算子结果回传至主节点中,生成最终的集成学习结果,此过程中可加入对子结果的质量选择以进一步提高预测效果。BSP数据模型的生成和分布式集成学习采用非Map-Reduce计算范式进行,每个数据块的计算独立完成,减少了计算节点间的数据通信开销。提出的算法在Spark开源系统中以新的算子方式实现,供Spark应用程序调用。实验表明,新方法可以高效地生成训练数据的BSP数据模型,提高数据样本的可重用性,在基于有监督机器学习算法构建的大规模Bagging集成学习实验中,计算效率能提高50%以上,同时预测精度进一步提高约2%。

特征样本重复抽样建模方法和应用研究

本文在传统统计回归方法的基础上,构建了一种新的特征样本重复抽样回归(FSR)建模方法。该方法是依据变量特征采用机器抽样方法重复抽样,形成多个特征样本,然后对多个样本进行参数估计,形成参数的抽样分布;最后依据抽样分布,在多个优化目标要求下建立最优化模型。FSR方法能够作为社会科学研究中一种通用的建模方法。

基于 Bootstrap 方法的平台惯导系统标定参数重复性区间预测

为了对存贮的平台惯导系统进行选择使用和性能评判,需要对每个惯导系统标定参数重复性进行当前或未来时间点的区间预测。考虑到每个惯导系统历次标定参数重复性具有不同参数的分布特性和批次,惯导系统在相同的存贮寿命阶段标定参数重复性具有相同参数的分布特性,提出了基于Bootstrap方法的加权组合区间预测方法,并给出了1σ预测区间的上、下界均值。将该方法应用到不同批次的平台惯导系统加速计零偏重复性区间预测中,对应1σ的预测区间平均正确率为71.88%,表明该方法不仅具有良好的短期区间预测效果,而且依据预测区间的长度对平台惯导重复性性能评判也具有很好的应用价值。

基于Bootstrap抽样的多元过程能力指数估计

过程能力指数主要用于定量描述加工过程满足技术规格要求的能力,目前普遍使用的能力指数如Cp、Cpk、Cpm等主要针对单一质量特性,关于多元质量特性的过程能力指数尚未得到很好地解决。本文首先对多元过程能力指数的发展情况做一总结,指出现存的若干问题,然后在单变量过程服从正态分布的假设下,利用单一质量特性加工过程的差异系数,对单变量过程能力指数进行加权处理,得到多元过程能力指数的计算公式。然后基于Bootstrap抽样技术,对多元过程能力指数的统计分布进行仿真处理,获得了多元能力指数的经验分布及其大致的置信区间,从而为有效进行多元质量特性加工过程分析提供了概率依据。最后以某曲轴加工过程为例给出了应用案例。

Bootstrap重抽样法在《临床实验室管理学》教学评价中的应用

该研究探讨了Bootstrap重抽样法在《临床实验室管理学》教学评价中的应用。采用MATLAB软件,运用Bootstrap重抽样法105次可获得可靠结果。6种题型中,简答题相对得分率最高,为82.87%;多项选择题相对得分率最低,为40.00%。所授的17个章节中,"床旁检测的质量管理"章节相对得分率最高,为97.00%;"检验前过程质量管理"章节相对得分率最低,为40.00%。Bootstrap法在不增加新样本的情况下,通过有放回的重抽样增加学生考试成绩数据,使已知样本更接近总体,可运用于《临床实验室管理学》的教学评价。

人民币升值的外汇风险及其行业影响研究--基于重复抽样技术的分析

本文通过对企业从2001年到2006年12个半年间汇兑损益的分析,以及运用重复抽样技术(bootstrapping)计算出行业的风险价值VaR并进行分析,找出我国企业本币升值背景下外汇风险产生的深层次原因,为后续研究企业应对人民币升值风险作好铺垫。

Bootstrap方法在渔业捕捞分层抽样调查中的应用分析

应用Bootstrap方法,对太湖捕捞渔业抽样调查参数估计进行研究,探讨分层抽样调查在捕捞产量统计中的应用。随机抽样模拟的结果表明,有放回的Bootstrap方法适用于抽样比例较小的分层抽样调查。对于总体分布未知且样本量容量有限的情况下分层抽样调查的方差估计,重权Bootstrap方法相比其它方法具有明显的优势,适合用于渔业抽样调查工作。

Bootstrap方法在复杂抽样中的应用

一、Bootstrap方法简介Bootstrap方法是美国统计学家Bradley·Efron在1979年提出的一种处理非参数统计推断问题的方法。它的一般提法是:已知来自总体（Y,（?）,F）的简单随机样本Yn=（y1,y2,…,Yn）,其中F是一未知的分布函数。设R（Yn,F）是我们感兴趣的样本函数,我们欲得到R（Yn,f）的某些信息,如:R（Yn,F）的分布函数、EFR、VarFR或PF（R【2）等等;下标F表示在分布函数F下求期望、方差或概率。所谓Bootstrap方法,就是用样本Yn构造出F的极大似然估计（?）n（一般就用样本Yn的经验分布函数Fn来近似）;然后,从Fn中抽出大小为n的简单随机样本Yn*=(Y1*,Y2*,

有限样本条件下重复抽样建模方法研究

文章从数学及模拟仿真的角度证明特征样本重复抽样回归方法(FSR)的优越性。从数学角度证明了对于连续型变量,FSR中抽样方法可充分利用非原采样点的数据分布信息,从而提高估计精度;由FSR方法得到的统计量变异系数大小与抽样次数m成反比。通过对小样本参数估计的传统回归、Bayes Bootstrap和特征样本重复抽样方法的仿真模拟比较,验证了上述结论。

群随机试验重复横断面抽样的费用效益设计

目的 在满足需探查的最小干预效益及检验把握度的条件下 ,给出群随机试验重复横断面抽样的费用效益设计方法。方法 利用条件极值———拉格朗日乘法导出可使研究费用最少时的每组群数J ,每群个体数K。结果 获得了以保证检验把握度为条件 ,以费用最小为目标的最优化设计方案 ,同时给出了在固定J或K时的研究费用计算方法。结论 这一结果为涉及大量观察对象的社区干预研究提供了费用效益设计的定量分析方法。

Bootstrap抽样方法在考试成绩分析中的应用

针对学生考试成绩分析中的问题,提出采用Bootstrap方法,对考试成绩进行重抽样,分别计算出考试成绩前四阶矩的核密度函数。对真实考试成绩数据的前四阶矩的核密度曲线进行分析,可以反映出考试班级的学习情况。该方法可有效地用于考试成绩和学生学习情况的分析。

不重复抽样下总体比例的估计

文章研究了不重复抽样下总体比例的三种置信区间的范围概率。运算结果显示,目前各类有关抽样技术文献中普遍介绍的置信区间及其连续修正区间都不够理想。文章推荐了一种新的置信区间,它的范围概率比较集中分布在置信水平附近,最坏情形的范围概率与置信水平相差0.1左右,远胜于前面两个常见置信区间。

小样本不重复抽样时总体频率的一个区间估计

讨论了超几何分布中使P{ξ=m}达到最大的m的取值问题,并通过取得m最大可能取值给出小样本不重复抽样条件下总体频率的一个较为理想的区间估计,而且解决了小样本不重复抽样对总体频率进行估计的问题.

经验似然重抽样下回归模型的Bootstrap逼近(英文)

本文提出用经验似然重抽样来bootstrap逼近线性回归模型中的学生化最小二乘估计．我们证明了该方法具有一般s－2项Edgeworth展开，它是二阶相合的而且比经典的方法损失更小．

异方差下利用Bootstrap抽样技巧对基因表达样式进行选择和聚类

通过利用Shi,Shi-Jiang算法和一个Bootstrap抽样技巧,给出了一个推广了的序约束推断方法,在不需要满足方差恒定假设的前提下处理相同的选择和聚类问题.模拟结果显示此方法比Peddada和Simmons-Peddada方法更好地控制了假阳性率.

重复测量资料类内相关系数分析的Gibbs抽样方法

光学相干断层成像术(ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ,ＯＣＴ)是90年代始用于临床的新型技术。对眼睛不同部位检查结果的类内相关系数(Ｉｎｔｒａｃｌａｓｓｃｏｒｒｅｌａｔｉｏｎｃｏｅｆｆｉｃｉｅｎｔ,ＩＣＣ)的分析,有助于探讨影响检查结果精...

基于Bootstrap抽样技术的部分信息不可观测模型估计量比较

针对处理部分信息不可观测模型通常采用的边际极大似然估计和矩估计仅在大样本下是等价的,而在实际问题中样本相对较小的情形下两个估计量的性质并不明确的问题,我们有必要研究这两个估计量在小样本下的性质.本文基于Bootstrap抽样技术,借助模拟技术分析了两种估计的有限样本性质,其结果表明:边际极大似然估计的精度更高,拥有更小的样本偏差和样本方差,但这一方法耗时较长.因此,在拥有高性能计算机的条件下,该方法是一个较好的选择.

重复抽样法在加速失效时间模型中的应用

[目的]探讨加速失效时间模型的半参数估计。[方法]利用重复抽样法对医学数据进行分析,并与Cox模型结果进行比较。[结果]当Cox模型不适用时,加速失效时间模型可以对参数作出很好的估计。[结论]加速失效时间模型在生存分析领域具有良好的适用性。

采用Bootstrap抽样的靖远黄河大桥模态参数识别不确定性量化

提出一种基于Bootstrap抽样的模态参数识别不确定性量化方法,从整体和局部的角度评价模态参数识别结果的可靠性.首先,基于动力测试的加速度时程数据,采用协方差驱动随机子空间(SSI-COV)法识别不同测试组的模态参数;引入Bootstrap抽样方法,对多组模态参数识别结果进行B次重复抽样,得到Bootstrap样本数据,并通过其概率统计特征值衡量整体不确定性.然后,对单个测试组中不同时间段的识别结果进行重复抽样,分析并量化单个测试组的模态参数识别的不确定性.最后,以靖远黄河大桥试验数据为例,对靖远黄河大桥竖向单个及多个测试组下的模态参数进行不确定性量化.结果表明:不同测试组识别的前3阶固有频率的均值分别为1.5539,1.7206,2.1652,方差分别为0.0761,0.0429,0.0965;单个测试组识别的前3阶固有频率的均值分别为1.5265,1.7880,2.3060,方差分别为0.0153,0.0496,0.0182;文中方法识别的固有频率值总体较为稳定.