大数据背景下两阶段Leverage重要性抽样方法研究

大数据背景下,需要对传统的抽样调查技术进行改进,以应对数据结构变化。以杠杆得分为入样概率的Leverage重要性抽样能够增加高杠杆值样本点被抽中的概率,但也增加了异常值选入抽样子集的风险,使得抽样估计偏离真实值。为降低大数据异常值影响,提高大数据抽样子集估计的稳健性,本文提出基于阈值自选择的两阶段Leverage重要性抽样方法。该方法第一阶段以样本距离的有序聚类识别稳健子集,使得用于二阶段抽样的样本更具代表性,第二阶段则是在稳健子集的基础上获得稳健抽样估计。模拟分析结果表明,本文所提方法能够提升线性回归系数估计的精度,在漂移型、波动型和混合型离群值中均适用。实证分析中本文所提方法在三个案例数据中拥有较小的预测值均方误差,有效降低了异常值的影响。

大数据下Leverage重要性抽样方法的稳健改进

大数据以其巨大的样本容量或超高的变量维度使得直接计算变得不再可能,如何有效地抽取一个合适的计算样本是值得思考的问题。本文借鉴Leverage重要性抽样的思想,提出了两种稳健的改进抽样算法,不仅有效地抽取了代表性高的计算样本进行回归估计,还规避了方差大和异质性导致协方差矩阵估计不准的问题。模拟数据的分析显示,相比于Ma(2015)的方法,本文提出的方法具有更为优良的估计结果。

大规模数据下基于充分降维的Leverage重要性抽样方法

随着信息技术的飞速发展,大规模数据在短时间内搜集并储存下来,为分析决策提供了巨大的信息量,也给统计建模带来了一定难度。对于样本容量大、变量个数少的数据,Leverage重要性抽样是一个简便可行的方法。本文发现,该方法中度量样本重要性的Leverage分数与因变量无关,而且在维度较大的情形下对样本没有区分程度,使得估计结果较差。为了同时考虑因变量和维度的影响,本文提出了基于充分降维的Leverage重要性抽样方法。该方法以不损失信息为前提,在充分降维的空间内重新计算Leverage分数,使得抽样更具有代表性。模拟数据分析显示,在样本容量较大的复杂数据中,相比于原始的Leverage重要性抽样方法,本文提出的方法可以降低估计的均方误差。三个实际数据也证实了该方法的可行性和有效性。

食品安全国家抽样检查的重要性与实施策略

近年来,我国食品安全形势总体稳定,但仍存在一些突出问题。为了保障人们的身体健康和生命安全,我国采取了一系列措施,其中最重要的就是国家抽样检查。基于此,本文探讨食品安全国家抽样检查的重要性,并提出相应的实施策略。

基于响应面与重要性抽样的岩土工程可靠度分析方法研究

由于功能函数非线性强且难以显式表达,岩土工程可靠度分析以往多采用响应面方法解决,但其求解的可靠度指标为几何可靠度。阐明几何可靠度与一般可靠度的实质和两者之间的差异,指出对于功能函数非线性较强的岩土工程问题,采用几何可靠度指标存在较大误差,需进行改进。然后引入V空间重要抽样方法将基本变量随机空间通过Rosenblatt变换和线性正交变换转换至V空间,在响应面方法得到岩土工程的设计验算点及其附近的响应面的基础上,采用重要性抽样方法求解岩土工程可靠度。几个数值算例和工程实例的对比分析表明该方法可行、有效、精度较高,适用于非线性强的岩土工程可靠度求解。

舍选抽样与采样重要性重抽样算法的比较

文章比较研究了舍选法和重要性重抽样(SIR)算法生成随机数的理论基础,给出了二者的区别与联系,特别讨论了压挤舍选抽样和自适应舍选抽样,并给出了包络函数和重要性抽样函数的选择标准,探讨二者对随机数生成速度和质量的影响。

结构可靠度计算的近似重要性抽样方法及其应用

本文提出一种近似重要性抽样方法来计算结构可靠度。该方法将结构可靠度计算中的重要性抽样方法与结构优化中的近似重分析技术相结合，并引入误差带的技巧，显著减少了蒙特卡罗方法的计算量。运用该方法于结构正常使用极限状态可靠度分析的实例。

样本量及抽样过程对线性模型中自变量重要性估计方法的影响研究

目的通过从同一总体中抽样产生不同样本量及相同样本量的重复抽样数据集,来观察并评价样本量对重要性估计方法的影响以及重复抽样过程对各方法估计稳定性的影响。方法简单介绍已有的几种重要性评价方法,调用SAS中的PROC SURVEYSELECT过程从同一总体中重复抽样,观察样本量变化、重复抽样过程对重要性估计结果的影响,评价各方法的稳定性。结果样本量较小时,各方法的重要性估计值变异较大,随着样本量增大估计值也逐渐趋于稳定。优势分析、相对权重、乘积尺度(βr)的重要性估计值之和与模型R^2之差,小于标准回归系数平方(β~2)、简单相关系数平方(R^2),优势分析法的稳定性最好。结论在现有的几种常见重要性估计方法中,优势分析法的重要性估计稳定性最好,相对权重法虽然与优势分析法最为接近,但仍有不足之处。

重要性抽样法在管节点疲劳可靠性分析中的应用

提出了用重要性抽样的ＭｏｎｔｅＣａｒｌｏ模拟法计算管节点的疲劳失效概率，并与直接抽样的ＭｏｎｔｅＣａｒｌｏ法进行了比较。

基于Kriging模型的重要性抽样在结构可靠性中的应用

针对早期基于替代模型的结构可靠性方法无法度量因替代而导致的误差,现存的方差减少技术在面对功能函数复杂的计算模型时依然效率不高,提出基于Kriging模型的重要性抽样方法计算单个构件或系统的失效率。首先建立功能函数的初始替代模型,然后使用基于主动学习函数的准则对模型更新至精确,计算出一个增大的失效率,并得到一个次最优重要性抽样密度函数,进而由Markov链蒙特卡洛方法产生样本,计算出修正项的估计量,最后将失效率表示成增大的失效率与修正项的乘积。将所提方法应用到各类可靠性问题中,结果表明该方法是高效、稳健和精确的。

银行信用组合风险多成分重要性抽样算法研究

银行信用组合违约风险的度量和计算对银行监管有着重要的意义.使蒙特卡洛研究信用组合违约概率时,为提高模拟效率,越来越多的学者采用了重要性抽样技术来实现.它主要通过条件独立性和"均值移动"两个步骤实现.本文基于前人研究结果的基础之上,提出了一种基于违约相关性矩阵的多因子变方差的重要性抽样算法.该算法通过主成分分析选择违约结构中的占优成分并扩大其方差来实现.数值算例证明了该方法在信用组合遭遇极值事件时,能够提高模拟效率及计算精度,具有一定的计算优势。

基于重要性抽样的最大似然方位估计方法

最大似然估计是公认的最佳估计器,但是计算量很大.为了解决它的计算量大的问题,本文把蒙特卡罗方法与最大似然方位估计相结合,提出一种基于重要性抽样的最大似然方位估计新方法(MaximumLikelihoodDOAEsti-matorBasedonImportanceSampling,简称ISMLE).研究结果表明,ISMLE方法不但保持了原最大似然方位估计方法的优良性能,而且大大减小了计算量,把原方法的计算复杂度从O(LK)减少到O(K×H).

组合风险的重要性抽样方法

针对资产组合的市场风险或信用风险的任意边际分布的Gaussian Copula模型,首先将损失转化成高维正态分布的函数,然后对该模型进行重要性采样蒙特卡罗模拟以提高模拟效率,并分别使用牛顿法和基于大偏差理论估计测度变换的系数,并在此基础上提出了常数凝固估计法.数值实验表明,提出的算法与通常的蒙特卡罗方法相比,大大减小了模拟误差,从而提高了计算效率.

重要性抽样法模拟的叠代计算

在探讨将原分布函数平移适宜距离后作为重要性函数的基础上，提出重要性抽样的ＭｏｎｔｅＣａｒｌｏ模拟的叠代计算方法。依据前次叠代模拟计算中失效点的中值与重要性函数之间距离应保持合适的距离，来确定本次叠代计算中原分布函数应平移的距离。经叠代多次后可获得最佳的平移距离与精度较高的计算结果。

重要性抽样法研究

重要性抽样法是一种最重要的提高抽样效率的方法,由于其适用范围广,容易实现,在通信网、航空航天、自动控制等系统的可靠性安全性仿真中得到广泛研究和应用。本文从计算复杂性的角度提出了极小概率事件发生概率估计的困难,简单介绍了重要性抽样的基本原理,综述了基于随机优化和大偏差原理的技术、加速失效法、分裂法等几种最优抽样分布构造技术的实现及其适用范围,在此基础上提出基于知识的重要性抽样思想,有助于解决目前数字仿真特别是高可靠度系统可靠性仿真中的抽样效率问题。

基于重要性抽样的图卷积社团发现方法

根据图论将复杂网络转化为图结构数据,使卷积神经网络能够高效方便地处理;通过将图像上的卷积操作延伸到图结构数据上来定义卷积核,并通过卷积层对图的粗粒化和池化操作,提取不规则数据复杂网络的特征.在采用随机梯度下降法训练网络时,设计一种重要性抽样方法改变样本的分布来缩减方差,从而节省梯度计算时间.实验结果表明,与现有的图卷积网络相比,该方法在社会网络、引文网络、知识图谱数据集中,均能够以较低的计算复杂度获得较好的社团发现准确率;而且能够减少计算时的内存占用,可扩展到更大规模的复杂网络中使用.

基于响应曲面和重要性抽样方法的热力系统参数失效概率计算

本文研究了将响应曲面与重要性抽样相结合的方法用于复杂热力系统参数失效概率的计算。建立了热力系统物理过程参数失效的数学模型,在此基础上研究了将响应曲面与重要性抽样相结合的算法模型,并给出了热力系统组成设备的性能退化模型和基于重要性抽样的仿真流程,进而对反应堆净化系统工作过程中参数失效问题进行了分析计算。研究表明,对于高维、非线性特性明显并考虑性能退化的复杂热力系统参数失效概率的计算,重要性抽样法较直接抽样能以较高效率获得满意精度的计算结果,而响应曲面法存在局限;响应曲面和重要性抽样相结合的方法是分析热力系统物理过程参数失效的有效方法。

重要性抽样在期权定价中的应用

在期权定价的蒙特卡罗模拟中,重要性抽样是一种有效的方差减小技术。从理论上分析了重要性抽样技术在几种期权定价中的具体应用,通过实例说明了这种测度转化的运用以及最优漂移率水平的确定;给出了模拟的具体算法;用对比分析的方法实证模拟和检验了用最优漂移率水平进行重要性抽样能最大限度地减小估计方差。

用重要性抽样法估计单调关联系统不可靠度

本文首先叙述了基于单调关联故障树模型成败型仿真的重要性抽样的基本原理，然后通过设计几种执行重要性抽样的试验方案，总结得到了在实践中执行重要性抽样若干有益的规则，最后的小结简述了似然比的概念在仿真研究中的重要应用。

用重要性抽样方法估计数字光纤通信链路的误码率

本文使用重要性抽样 (IS)方法 ,对数字光纤通信链路的误码率参量进行了估计 .并且 ,在设计IS偏置方案时采用了LDT技术 ,即把最优的LDT的α 扭转 (指数扭转 )密度选取为IS偏置密度 .计算机模拟实验表明 ,这种基于LDT技术的IS方法具有很高的精确度和计算效率以及充分的可靠性 ,特别适合于极低误码率的估计 .此方法为数字光纤通信链路的计算机辅助建模、分析和设计 (CAMAD)提供了一种有用的研究工具 .