随机缩减法在拒绝型O’Brien & Fleming成组序贯设计中的应用研究

目的比较随机缩减法中条件功效和不同先验分布下的预测功效两类指标的优劣。方法以试验组和对照组的两样本均数比较的统计优效性检验为分析目的,在拒绝型O’Brien&Fleming(OBF法)成组序贯设计的条件下,通过设定不同SCP的拒绝阈值γ,在每个期中分析阶段计算CP及不同先验下的PP,并计算各指标相应的Ⅰ类错误、检验功效Power、平均样本量以及平均阶段数。结果当SCP终止条件为γ=0.80,无信息先验PP的Ⅰ类错误能稳定在0.05处左右,而CP和enthusiastic先验PP的Ⅰ类错误则出现明显膨胀;当SCP终止阈值为0.85和0.90,能明显抑制CP和不同先验下的PP的Ⅰ类错误的膨胀;当五阶段OBF功效设定在90%及SCP终止阈值为0.80的条件下,CP、无信息先验PP以及enthusiastic先验PP功效分别为87.6%、84%和86.5%。结论在期中分析次数较多的OBF成组序贯设计条件下,无信息先验PP效果优于CP;在阳性研究中,SCP能大幅减少成组序贯试验所需的期望样本量和期望阶段数。随着SCP终止阈值的增大以及期中分析次数的减少,CP和不同先验PP的功效均会出现明显的下降,而CP和不同先验PP的Ⅰ类错误的膨胀则会被抑制。随机缩减法相关指标对于临床试验有效性监测具有较高的参考价值。

批量减数更新方差缩减梯度下降算法BSUG

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。

一种带矩限制的批量自适应方差缩减算法

诸多机器学习模型的训练过程可以归结为求解一个优化问题,传统的梯度下降算法及其变种的收敛速度并不能让人满意。本文在随机方差缩减梯度算法的基础上,结合了自适应学习率和矩限制的特点,并利用批量思想,选取大批量样本代替全部样本进行全局梯度的计算,选取小批量样本 进行参数的迭代更新,提出了带矩限制的批量自适应方差缩减算法,并对算法的收敛性进行了说明。通过基于MNIST的数值实验,验证了该算法的有效性,并探究得出实验参数对算法稳定性的影响。