随机梯度下降法的收敛速度(英文)

本文研究了正则化格式下随机梯度下降法的收敛速度.利用线性迭代的方法,并通过参数选择,得到了随机梯度下降法的收敛速度.

基于梯度的三种优化方法及比较

近年来,高速发展的科学技术将人工智能带入大众的视野。机器学习和深度学习作为人工智能的核心技术,引起了众多学者的关注。在机器学习领域,由于目标模型损失函数的复杂性,使得无法快速有效地得到参数估计的表达式,因此,运用基于梯度的优化方法求解该类优化问题很受欢迎,到目前为止最主流的一个算法就是梯度下降法,但在实际应用中,随着数据规模越来越大,传统的梯度下降法训练的过程及其缓慢,已不能够快速有效的解决大规模机器学习问题。所以,在梯度下降方法的基础上进行了改进,提出了随机梯度下降算法。随机方法因其良好的标度特性在大规模应用问题中受到青睐,本文首先详细介绍了梯度下降法、随机梯度下降法及小批量随机梯度下降法三个方法基本思想及其求解最优化问题的具体过程,然后设计数值例子进行模拟实验,并比较三种方法的优劣性,最后通过实验结果得出结论:梯度下降法收敛性较好,但计算效率低,随机梯度下降法计算效率高,而小批量梯度下降法则是介于二者之间。因此在计算大规模的问题时,随机梯度下降法相较于另外两种方法更为有效。

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。

一种非光滑强凸函数的随机次梯度镜面下降算法

镜面下降法(MD)在机器学习问题中已有些实际应用,针对大规模数据的处理和非光滑损失凸优化问题,本文将迭代平均与随机次梯度镜面下降方法相结合,得到了一种改进的方法,通过对问题域的特殊处理,利用它们的结构,提出一种加权平均的随机次梯度镜面下降算法。在这个加权平均过程中,平均迭代不用于构造算法,而是作为算法的副产品出现,其中平均权重由算法使用的步长确定。该算法有很好的收敛性。对于强凸函数,我们证明了该算法的最佳收敛速度达到? ?? ?? ?o 1k。

基于梯度下降算法的光学神经网络性能的研究

光电混合人工智能计算芯片在人工智能应用中通过人工智能算法实现高速和高效的计算,其中光学神经网络(Optical Neural Networks,ONNs)算法在实现大量矩阵运算方面尤为重要.通过使用由马赫曾德尔干涉仪(Mach-Zehnder interferometers,MZI)搭建的快速傅里叶变换(Fast Fourier transform,FFT)型光学神经网络来实现手写数字的高精确度识别.在模型构建方面,利用奇异值分解将神经网络的线性层进行分解,从而实现数据降维,主要特征提取.在对该ONN的训练中,分别采用了带动量的随机梯度下降算法(Stochastic Gradient Descent with momentum,SGD with momentum)和均方根传递(Root Mean Square propagation,RMSprop)算法,分析了在不同训练算法下该ONN对手写数字的识别精度.此外,还深入剖析了两种训练算法背后的数学理论,探究造成两种训练算法实验结果差异的本质原因.最后,通过实验对比,发现RMSprop算法在FFT型光学神经网络上具有较高的识别精确度,达到97.4%;并且采用RMSprop算法的ONN计算速度优于SGD with momentum算法.

基于块坐标下降法的神经网络学习算法

针对当前一阶优化算法收敛速度慢,对学习率依赖性强和二阶优化方法复杂度高等问题,利用神经网络固有的可分性,提出递归最小二乘与梯度下降的混合算法(Hybrid Recursive Least-Squares with Stochastic Gradient Descent, HRLSGD),将原本复杂的网络模型分解为更易解决的低维优化问题。实验结果表明,HRLSGD的收敛速度优于主流的一阶优化算法,对于学习率的鲁棒性更高。

基于复合卷积神经网络的图像去噪算法

基于深度学习理论,将图像去噪过程看成神经网络的拟合过程,构造简洁高效的复合卷积神经网络,提出基于复合卷积神经网络的图像去噪算法.算法第1阶段由2个2层的卷积网络构成,分别训练阶段2中的3层卷积网络中的部分初始卷积核,缩短阶段2中网络的训练时间和增强算法的鲁棒性.最后运用阶段2中的卷积网络对新的噪声图像进行有效去噪.实验表明文中算法在峰值信噪比、结构相识度及均方根误差指数上与当前较好的图像去噪算法相当,尤其当噪声加强时效果更佳且训练时间较短.

面向大规模服务性能预测的在线学习方法

为提高服务运行质量,需要主动预防服务失效和服务性能波动,而不是在服务发生错误时触发处理程序。高效地预测与分析大规模服务的性能是有效可行的主动预防工具。然而传统的服务性能预测模型多采用完全批量训练模式,难以满足大规模服务计算的实时性要求。在综合权衡完全批量学习法和随机梯度下降法的基础上,建立了基于在线学习的大规模服务性能预测模型,提出了一种基于小批量在线学习的服务性能预测方法,通过合理地设置预测模型的批量参数,一次迭代仅需训练批量规模较小的样本数据,从而改善大规模服务性能预测的时间效率;详细分析了在线服务预测模型的收敛性。实验表明,提出的在线学习算法有效地解决了大规模服务预测算法的时效性问题。

一种联合的时序数据特征序列分类学习算法

针对时序数据特征学习中特征序列占用空间大和运算复杂度高的问题,提出一种联合学习特征序列和分类参数的分类算法。对时序数据进行特征变换后,采用线性分类器从最小距离矩阵中学习模型参数,以预测目标变量。在目标函数中,对分类预测的损失函数和分类器的线性权重进行联合学习,并利用随机梯度下降法求解优化问题。实验结果表明,与F-Stat和表达式变换方法相比,该算法在保持较少运算时间的前提下,具有较高的分类预测准确率。

基于小波包和SGD-XGBoost的模拟电路故障诊断方法

为了提高模拟电路故障诊断中预测模型的诊断精度,提出一种基于小波包和SGD-XGBoost的模拟故障诊断新方法.该方法用具有深度分解能力的小波包变换获取故障特征,并利用比渐进梯度决策树(Gradient Boost Decision Tree,GBDT)更具明显优势的XGBoost(eXtreme Gradient Boosting)算法进行故障诊断.在此基础上,选用简单且寻优能力强的随机梯度下降(Stochastic Gradient Descent algorithm,SGD)算法对XGBoost的学习率进行寻优,并构建出SGD-XGBoost模型.最后利用优化后的SGD-XGBoost模型进行电路故障识别分类.结果表明,XGBoost算法优于在该领域应用较广泛的支持向量机和BP神经网络,且优化后的SGD-XGBoost诊断方法有效的提高了XGBoost算法的诊断精度,在故障占比为10%时,诊断正确率为93.75%.

基于KL散度和近邻点间距离的球面嵌入算法

针对现有球面嵌入算法在非近邻点间的距离度量不准确或缺失的情况下,不能有效地进行低维嵌入的问题,提出了一种新的球面嵌入算法,它能够只利用近邻点间的距离,将任何尺度的高维数据嵌入到单位球面上,同时求出适合原始数据分布的球面半径。该算法从一个随机产生的球面分布开始,利用KL散度衡量每对近邻点间的归一化距离在原始空间和球面空间中的差异,并基于此差异构建出目标函数,然后再用带有动量的随机梯度下降法,不断优化球面上点的分布,直到结果稳定。为了测试算法,模拟产生了两类球面分布数据:分别是球面均匀分布和球面正态分布的数据。实验结果表明,对于球面均匀分布的数据,即使在近邻点个数很少的情况下,仍然能够将数据准确地嵌入球面空间,嵌入后的数据分布与原始数据分布的均方根误差(RMSE)低于0.000 01,且球面半径的估算误差低于0.000 001;而对于球面正态分布的数据,在近邻点个数较多的情况下,该算法也可以将数据较准确地嵌入球面空间。因此,在非近邻点间距离缺失的情况下,所提方法仍然可以较准确地对数据进行低维嵌入,这非常有利于数据的可视化研究。

基于SWA优化级联网络的表情识别方法

为了提高表情识别技术的检测精度,文中提出了一种采用随机权重平均SWA优化级联网络的人脸表情识别方法。与单个卷积网络相比,多网络级联能得到更好的检测精度。相对于传统的SGD训练方法,SWA训练方法能增强级联网络中子网络的泛化能力,进一步提高模型的整体性能。通过在Fer2013数据集上测试实验发现,基于SWA方法训练采用加权求和法方式级联的网络模型识别准确率达到74.478%,相对于传统SGD方法训练的单网络模型提高了1.4%以上。另外,与其他典型方法相比,所提改进模型的识别准确率更高。

热传导界面问题的一种神经网络算法

本文讨论了一种单隐层神经网络算法在数值求解热传导界面问题中的应用.该算法设定含有神经网络函数的近似解满足初边值条件和Dirichlet界面条件,并通过求解由原方程导出的关于神经网络权重的离散优化问题来训练近似解中的神经网络,以使得近似解逼近真解.此外,本文还给出了一种基于随机梯度法思想的类随机梯度法来求解相应的离散优化问题.数值算例验证了算法的有效性.

基于概率矩阵分解的推荐算法

为了解决传统协同过滤推荐算法的可扩展性差和数据稀疏性的问题,提出了一种基于随机梯度下降的概率矩阵分解推荐算法。该算法是生成两个服从高斯分布的随机数矩阵,不断训练和更新使得这两个矩阵的内积趋近于用户评分矩阵,为了避免模型过度拟合训练数据,在此基础上加入正则项进行约束,并通过批处理的随机梯度下降法来优化模型。在MovieLens提供的数据集上进行实验验证,与传统的协同过滤算法相比较,该算法不仅缓解了可扩展性问题和稀疏性问题,而且推荐的准确度也得以提升。

基于样条插值的液晶空间光调制器衍射效率优化方法研究

针对液晶空间光调制器阵元间相位调制量偏差降低光束衍射效率的问题,提出基于样条插值的液晶空间光调制器衍射效率优化方法。依据泰曼-格林干涉原理,搭建了相位调制系统。对调制器加载阶梯变化的灰度图,通过计算干涉条纹移动量,绘制液晶空间光调制器相位调制曲线。采用三次样条反插值法对相位调制曲线进行校正,实现对相位调制量的相位补偿。搭建液晶空间光调制器衍射效率测试系统,对所提优化方法进行实验验证,并与随机梯度下降法进行了对比。结果表明:当光束偏转角度为1.56°、0.78°、0.39°、0.19°时,文中所提方法提高了30%~40%的光束衍射效率,相较于随机并行梯度下降法,衍射效率提高了2%~8%。该方法有效抑制了栅瓣能量,提升了主瓣光束衍射效率,克服了随机并行梯度下降法迭代次数多,优化速度慢,易陷入局部最优的缺点。

基于Adam优化BP神经网络的风机等效疲劳载荷预测

针对传统风机载荷分析方法计算量大的问题,以风机载荷计算软件OpenFAST的仿真数据为基础,提出一种基于Adam算法优化BP神经网络的风机等效疲劳载荷预测模型。以叶根和偏航处的等效疲劳载荷作为特征样本数据进行训练和测试;采用可决系数和相对误差均值对模型的预测性能进行评估,并与采用随机梯度下降法(SGD)优化的传统载荷预测模型进行对比。结果表明:Adam算法优化下的神经网络载荷预测模型的预测性能要明显优于采用SGD优化的传统预测模型;相较于传统模型,δ_(m)最多可降低31.7%,R^(2)最多可提升7.8%。因此,提出的载荷预测模型能进一步提高风机载荷预测的准确度。

基于神经网络模型的智能产业板块股价探究

针对金融波动性和市场风险,基于A股市场上70余只智能板块的股票近10年的四因子数据,从神经网络模型入手实证分析,利用随机梯度算法对收盘价预测,比较预测值与实际值的模型误差及损失函数,进行因子选取、算法改进及指标择优。结果表明,神经网络模型参数在批次为2、迭代次数为4150时,MSE(均方误差)、MAPE(平均绝对百分比误差)、MAE(平均绝对误差)分别为60.1911、30.7326、4.8032,收盘价的拟合效果最佳,该参数下的神经网络模型可用于探究股票市场价格趋势,为投资者、金融机构提供一定参考依据。

轧机轧制力的改进训练策略深度神经网络预测

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。

基于分布式感知的移动机器人同时定位与地图创建

为了创建大规模环境的精确栅格地图,提出一种基于分布式感知的两层同时定位与地图创建(SLAM)算法.在局部层,机器人一旦进入了一个新的摄像头视野,便依据机器人本体上的激光和里程计信息,采用Rao-Blackwellized粒子滤波方法创建一个新的局部栅格地图.与此同时,带有检测标志的机器人在摄像头视野内以曲线方式运动,以解决该摄像头的标定问题.在全局层,一系列的局部地图组成一个连接图,局部地图间的约束对应于连接图的边.为了生成一个准确且全局一致的环境地图,采用随机梯度下降法对连接图进行优化.实验结果验证了所提算法的有效性.

多指标推荐的全局邻域模型

针对现有的多指标推荐模型预测精度较低、速度较慢的问题,提出一种多指标推荐的全局邻域模型(MGNgbr).该模型综合全局的打分信息和隐性反馈数据,通过随机梯度下降法学习物品在各个指标上的相似度,选择相似度最高的前k个邻居参与运算并最终预测用户对物品的打分信息.该模型具有预测准确度高、解释性好、计算复杂度低等优点.实验结果表明,该模型的预测准确度和分类准确度均优于现有的平均值融合模型、多维距离模型和多维奇异值分解模型,与多维奇异值分解模型相比,该模型还具有收敛快、运行时间短等优点.