带有方差减小的加权零阶随机梯度下降算法

随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题.

蒙特卡罗方差减小技术以及在金融中的应用

本文主要介绍MonteCarlo方差减小技术及其在金融中衍生证券定价的一些的应用。对近几年来国际上取得的主要研究成果作了简要的介绍和比较。并提出一些目前待解决的问题。

利用蒙特卡罗对偶变量的方差减小技术进行B类标准不确定度评定

提出了在使用蒙特卡罗进行B类标准不确定度评定时,利用对偶变量的方差减小技术提高B类不确定度评定的速度和精度的一种算法。

嵌套模拟组合风险度量的方差减小

嵌套模拟是金融中非常复杂的问题,涉及的计算量很大.试图用方差减小技术来减小嵌套模拟估计的方差,进而减小均方误差,以减少计算成本,提高模拟效率.对要用嵌套模拟估计的风险度量,提出了对外层随机因子的双参数重要性抽样方法,以及对外层随机因子的单参数重要性抽样方法与控制变量方法结合的方法.数值实验表明,双参数重要性抽样法和单参数重要性抽样方法与控制变量方法结合的方法效果都比普通的单参数重要性抽样方法好.

面向大规模数据主题建模的方差减小的随机变分推理算法

随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI(VR-SVI)算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VRSVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。

MC方差减小技术在算术平均亚式外汇期权定价中的应用

建立了利率和汇率波动率均为随机情形下算术平均亚式外汇期权的定价模型.由于其定价问题求解十分困难,运用蒙特卡罗(Monte Carlo)方法并结合控制变量方差减小技术进行模拟,有效地减小了模拟方差,得到了期权定价问题的数值结果.

求解非光滑强凸优化问题的减小方差加权随机算法

在光滑问题随机方法中使用减小方差策略,能够有效改善算法的收敛效果.文中同时引用加权平均和减小方差的思想,求解"L1+L2+Hinge"非光滑强凸优化问题,得到减小方差加权随机算法(α-HRMDVR-W).在每步迭代过程中使用减小方差策略,并且以加权平均的方式输出,证明其具有最优收敛速率,并且该收敛速率不依赖样本数目.与已有减小方差方法相比,α-HRMDVR-W每次迭代中只使用部分样本代替全部样本修正梯度.实验表明α-HRMDVR-W在减小方差的同时也节省CPU时间.

求解SVM的稀疏随机方差缩减梯度法

针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高维稀疏数据下,SVRG在外循环的迭代中因全梯度的计算而变得稠密,使用稀疏近似梯度将MSVRG-BB算法拓展得到新的算法:MSSVRG-BB。数值实验表明,MSSVRG-BB算法不仅对初始参数的选取并不敏感,且与先进的小批量算法相比,对于求解大规模高维稀疏数据的线性SVM问题,稀疏近似梯度的使用使运算成本减小进而能够更快地达到收敛上界。

基于蒙特卡罗方法的几何因子计算程序

应用蒙特卡罗方法求解几何因子,基于蒙特卡罗方法的几何因子计算程序使用C++语言编写,可用于任意位姿的各种尺寸的圆面探测器对圆面源几何因子的计算。该程序使用了方差减小技巧。通过与国际通用蒙特卡罗计算程序(MCNP5)的计算结果对比,该方法具有结果准确(误差较小)、计算速度快、使用方便等优点。最终使用该程序计算几何因子,与实验数据进行对比,成功验证了中子深度分布分析(NDP)能谱测量系统探测器位姿的准确性(误差5%以内),并对其移动位置进行修正,发现电机移动20mm大约会产生1mm的误差。

基于SVRGD的机载预警雷达自适应波束形成算法

自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度下降(stochastic variance reduction gradient descent,SVRGD)自适应波束形成方法。首先,建立面阵列接收信号数据模型。其次,基于随机梯度下降原理,引入方差缩减法通过内外循环迭代方式进行梯度修正,以减小随机梯度估计的方差,建立算法模型与实现流程。最后,通过设置平面阵列仿真场景,分析SVRGD自适应波束形成算法在波束形成、抗干扰、收敛速度等方面的性能,验证了该算法在低快拍数、强干扰和强噪声背景下具有的优良能力。

重要方向抽样在小探测概率问题模拟中的应用

蒙特卡罗方法对于小探测概率问题的模拟计算的效率非常低。介绍了重要方向抽样技术在这类问题中的应用,并给出了此技术对于同时具有小探测概率、深穿透两种特点的问题的解决方法。

相关抽样方法在中子、光子输运中的应用

介绍了相关抽样方法在中子、光子输运中的应用 ,并给出了两个具体例子。相关抽样方法是蒙特卡罗方法中一种有效的方差减小技术 ,主要适应于计算系统参数发生微小改变时输出结果的变化量 ,并可以在一次计算中同时给出多个相似系统 (系统参数差异不大 )的结果。

基于欠采样的零阶优化算法

非平衡学习吸引了许多研究者的关注。一般情况下,少数类是更值得关注的,并且其误分类代价要远高于多数类。由于非平衡数据分布的非均衡性,标准的分类算法将难以适用。为了解决非平衡数据分类问题,给出了基于欠采样的零阶优化算法。首先,为了降低数据非平衡分布的影响,针对不同非平衡比的数据集给出了不同的两种采样策略。然后,采用了一种引入间隔均值项的支持向量机(Support vector machine,SVM)优化模型进行分类,并使用带有方差减小的零阶随机梯度下降算法进行求解,提高了算法的精度。在非平衡数据上进行了对比实验,实验证明提出的方法有效提高了非平衡数据的分类效果。

点通量积分法在蒙特卡罗方法中的应用

介绍了指向概率法和点通量积分法两种方差减小技术在计算小概率的体通量、面流量中的应用,进而利用点通量积分法计算了在MCLLS方法的典型几何结构中的面流量计算结果并且与通用蒙卡程序MCNP的计算结果进行了比较。

考虑时间相关故障的多状态系统可靠性与任务成功性仿真评估方法

针对考虑时间相关故障、多状态性能输出、系统冗余储备等因素的系统可靠性与任务成功性评估问题使用解析法难以建模求解,而一般仿真方法又存在抽样效率慢和估值精度低的问题,提出具有时间相关故障抽样与统计方差减小相结合的蒙特卡罗仿真评估方法。首先,设计了非指数剩余分布抽样的数值计算方法,实现了时间相关故障的随机事件抽样。其次,在此基础上结合受迫转移、失效偏倚等方差减小方法,提高了小概率事件的仿真抽样效率,改善了仿真评估方法的估值精度。最后,通过舰船航渡任务的算例,验证了该方法对评估复杂系统行为和故障机制条件下系统可靠性及任务成功性的合理性和有效性。

可靠性计算中加快蒙特卡罗仿真收敛速度的方法

针对电力系统概率分析中蒙特卡罗仿真效率不高的问题 ,考虑到大型发输电组合电力系统可靠性计算的特点 ,采用改进的控制变量法来减小样本方差 ,综合考虑了影响抽样结果准确性和计算速度的诸多因素 ,如系统风险水平、收敛判据、控制变量的选择以及参数选定等 ,并将评估范围由系统指标扩展到节点指标。在 IEEE RTS系统的测试结果表明 ,所提算法严谨、实用 ,计算效果明显 ,具有良好的应用价值。

修正的演化少数者博弈在NW小世界网络上的模仿效应分析

研究了NW小世界网络上修正的演化少数者博弈的模仿效应,统计结果发现系统这一模型的2/N可以进一步减少,说明系统的资源有效利用率得到了提高。

变系数模型的减小方差估计

提出了一种变系数模型的减小方差估计。在任意估计点,利用其附近3个点的局部线性估计的线性组合得到减小方差估计。所得估计与局部线性估计有相同的渐近条件偏差,但较局部线性估计有更小的渐近条件方差,而且该估计具有局部线性估计的良好性质,局部线性估计所采用的窗宽选取方法均可直接应用于该估计。通过数值模拟计算,表明所提出的方法在有限样本下也可以有效地降低估计方差。

一种非采样式大气放射性监测方法研究

为更有效地监测、评估核事故后放射性核素泄漏水平和泄漏范围,探讨了一种非采样式大气放射性监测方法,并评估了该测量方式的可行性与探测下限。针对空气分布范围过大的特点,该方法首先利用MC方法模拟了小范围空气内的探测器响应,然后利用理论分析得到的探测器响应随空气范围变化关系,将MC计算结果外推到无限大空间范围内。结果表明:将探测器直接对着空气测量是可行的。该测量方式能够用来鉴别核素,具有测量范围大,探测下限低的特点。

基于控制变量法的含风电场发电系统可靠性评估

针对蒙特卡洛方法抽样容量大、效率低的问题,考虑大型风电场单机容量小、机组数多的特点,提出控制变量法抽样,以实现含风电场的发电系统可靠性评估的快速收敛。本文以常规机组的可靠性指标为控制变量,用解析法计算常规机组的可靠性指标,依次对常规机组和风电机组循环抽样。以IEEE RTS79标准测试系统为算例,对所提算法验证并与常规蒙特卡洛法、等分散抽样法对比,对影响系统抽样效率的因素进行分析。结果表明该方法能大幅减小抽样次数,提高抽样效率,同时保证系统精度。