非凸-凹极小极大问题的双尺度交替梯度下降上升算法

针对一类非凸-(强)凹极小极大问题,基于双尺度梯度下降上升算法,用交替梯度更新来替代同步梯度更新,从而提出了一种新算法-双尺度交替梯度下降上升算法.通过数值实验结果表明,新算法在MNIST数据集上的分类准确率明显高于原算法,从而验证了新算法的有效性.

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。

自适应光学系统随机并行梯度下降算法

随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取及校正情况。仿真结果表明：算法收敛速度很大程度上依赖于增益系数和扰动幅度值,对畸变较大的波前,随机扰动幅度在0.50~0.85范围内,性能指标采用焦斑平均半径比采用斯特列尔比取得的校正效果好。

基于Zernike模式的随机并行梯度下降算法的收敛速率

为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特列尔比(SR)达到0.8时,需要算法迭代660次,简化了算法的运算过程,加快了算法运行时间。通过Matlab7.8.0对6种SPGD算法进行仿真对比,结果显示:当SR要求不高时,可使用间接固定双边SPGD算法来提高收敛速度;当SR要求较高时,则应当使用间接自动双边SPGD算法。提出的算法为实际的激光整形提供了理论指导。

随机并行梯度下降算法在激光束整形中的应用

为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑半径、形心为中心的环围能量比和质心为中心的环围能量比作为算法性能指标,开展了激光束整形实验研究。3种情况下,分别经过58次、197次、133次迭代趋于收敛,但光斑半径作为性能指标时振荡严重;环围能量比从整形前的0.200 5、0.127 7、0.200 5分别增加到整形后的0.669 9、0.733 9、0.864 0。实验结果表明:MMDM用于激光束整形具有良好的效果,光斑半径作为性能指标整形速度最快,其次为质心环围能量比,形心环围能量比最慢;质心环围能量比作为性能指标整形效果最好,其次为形心环围能量比,光斑半径最差。综合比较,质心环围能量比作为性能指标时综合效果最好。

基于随机并行梯度下降算法的湍流像差校正仿真

随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找到补偿湍流像差所需的倾斜镜和变形镜的最优面形。采用SPGD算法控制,倾斜镜校正后,远场光斑质心更靠近轴心而且轴上斯特列尔比有所提高;倾斜镜和变形镜共同校正比变形镜单独校正的效果好,这也说明倾斜镜的校正是有效的。

自适应光学随机并行梯度下降算法波前整形规律仿真(英文)

本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速率、整形能力和整形效果随波前畸变量和变形镜模型的变化规律作了较为详细的仿真研究,整体定性结果表明：三者的变化规律有一定的相似性,同时利用最小二乘法得到了关于整形能力和整形效果变化规律的定量表达式,若从自适应光学波前整形系统的实时性和简单性考虑,在保证一定整形效果的情况下,选择37单元变形镜对畸变波前的3~27（25）阶Zernike像差进行整形即可。

基于随机并行梯度下降算法的光束相干合成技术

介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开展了光纤激光的相干合成实验,结果表明光束相干合成效果显著,有效地验证了仿真分析的结果。

随机梯度下降算法研究进展

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向.

基于Zernike模式的自适应光学系统随机并行梯度下降算法

控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿真模型。结果表明:达到同样的校正效果时,采用组合优化的算法收敛速度要明显优于基于区域法的收敛速度,从而验证了理论分析的合理性。

随机并行梯度下降算法性能与变形镜排布规律的关系研究

对随机并行梯度下降算法(SPGD)性能与不同变形镜排布规律的关系进行了研究。以采用Roddier方法生成的由52项Zernike像差构成的畸变波前为整形对象,对SPGD算法的收敛速率和整形效果与变形镜排布规律(单元数分别为19、21、32、37、45、60、61、77、91)之间的关系进行了仿真研究。结果表明:从整体分析,随着变形镜单元数逐渐增多,SPGD算法的收敛速率和整形效果均逐渐变差;从局部分析,由于变形镜元胞类型变化和边缘占空比的影响,在渐变规律中产生了局部差异。

基于卷积神经网络的随机梯度下降算法

为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变。针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,设计选择Leaky Relu作为激活函数的CNN。实验验证了使用该激活函数的有效性,实验结果表明,采用上述学习率更新算法的SGD可以使网络快速收敛,提高了学习正确率;通过将Leaky Relu激活函数和采用上述学习率更新算法的SGD相结合,进一步提高CNN的学习正确率。

随机并行梯度下降自适应光学系统中算法收敛速度的仿真研究

在随机并行梯度下降(SPGD)自适应光学(AO)中,SPGD算法通过直接对系统的性能评价函数进行优化从而校正波前像差,有可能实现实时校正,具有很强的应用潜力。SPGD算法的收敛速度与控制单元的数目、性能评价函数的选取、增益系数及扰动幅度的取值等密切相关。通过仿真的方法,研究了控制单元数对SPGDAO系统在静态波前校正中收敛速度的影响,得出了收敛所需迭代步数与控制单元数成线性关系的结论;仿真了SPGDAO系统在不同迭代速率或不同风速下的动态波前校正,为系统控制单元数的选取提供了参考。

基于随机梯度下降算法的公安视频侦查图像修复

在公安业务中,图像情报分析对于还原犯罪现场至关重要,在实际视频图像的收集过程中,图像的缺损和破坏难以避免。在研究视频侦查的基础上,引入基于随机梯度下降的张量链分解算法对受损图像进行修复,研究表明,这一方法能有效地修复受损的视频图像信息,去除噪音,找回丢失的数据,为后续的分析工作提供良好的条件,减少情报失误,提高警务工作效率。

基于加权平均随机递归梯度下降算法

对传统的随机递归梯度下降算法(SARAH)采用梯度加权平均技术,在强凸条件下提出了一种加权的SARAH算法—WA-SARAH算法。然后理论上证明了该算法具有线性收敛速率,并且给出了相应的收敛阶。通过合理地选取加权系数,发现WA-SARAH算法的收敛阶要优于SARAH算法。最后通过数值实验,验证了WA-SARAH算法的合理性。

分布式训练系统及其优化算法综述

人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向.

基于AMASPGD算法的FSOC系统波前畸变校正及性能分析

为了抑制相干自由空间光通信系统中大气湍流引起光信号波前失真的不利影响,提出了一种基于聚合动量(AM)和自适应矩边界(AdaMod)优化器的增强型随机并行梯度下降(SPGD)算法。仿真结果表明,该优化算法可以显著提高收敛速度和鲁棒性,并有效降低波前畸变的峰谷值和均方根,从而更有效地抑制大气湍流对相干自由空间光通信(FSOC)系统混频效率和误码率的负面影响。

基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。

基于梯度的随机微粒群算法

在随机微粒群算法和函数梯度信息基础上,文章提出了基于梯度的随机微粒群算法.该算法既有随机微粒群算法的优点,又有梯度法的较高收敛性和精度,数值计算表明算法对于求解连续可微函数的全局优化问题是非常有效的.

基于梯度下降算法的光学神经网络性能的研究

光电混合人工智能计算芯片在人工智能应用中通过人工智能算法实现高速和高效的计算,其中光学神经网络(Optical Neural Networks,ONNs)算法在实现大量矩阵运算方面尤为重要.通过使用由马赫曾德尔干涉仪(Mach-Zehnder interferometers,MZI)搭建的快速傅里叶变换(Fast Fourier transform,FFT)型光学神经网络来实现手写数字的高精确度识别.在模型构建方面,利用奇异值分解将神经网络的线性层进行分解,从而实现数据降维,主要特征提取.在对该ONN的训练中,分别采用了带动量的随机梯度下降算法(Stochastic Gradient Descent with momentum,SGD with momentum)和均方根传递(Root Mean Square propagation,RMSprop)算法,分析了在不同训练算法下该ONN对手写数字的识别精度.此外,还深入剖析了两种训练算法背后的数学理论,探究造成两种训练算法实验结果差异的本质原因.最后,通过实验对比,发现RMSprop算法在FFT型光学神经网络上具有较高的识别精确度,达到97.4%;并且采用RMSprop算法的ONN计算速度优于SGD with momentum算法.