基于Adam算法的LMS优化

虽然传统的LMS算法简单有效,但它的收敛速度较慢,容易受到初始权值选择和步长设置的影响。为了解决这个问题,我们引入了Adam算法的自适应学习率特性到LMS算法中。Adam算法通过一阶矩估计(mean)和二阶矩估计(variance)来估计梯度的均值和方差,并根据这些估计值来调整学习率。这样可以对梯度下降的方向和速度进行更精细地控制。通过Adam算法对LMS优化,LMS算法在更新权重时能够更加高效地利用梯度信息,从而提高训练速度和收敛性能。此外,优化后的算法还具有一些超参数,如beta1、beta2和eps等,需要根据具体的应用场景和数据特点进行调节,以获得最佳的优化效果。仿真结果表明优化方案比传统LMS算法在收敛过程中的震荡要更小。

基于Adam算法的光学相控阵输出光束校准方法

基于微纳集成的光波导相控阵芯片是近年来激光雷达技术领域的研究热点.随着激光雷达系统空间分辨这一实际应用需求的不断提高,作为激光雷达系统中的光束控制器件,光波导相控阵需要扩大阵列规模以提升输出光束的空间分辨率.同时也为光波导相控阵输出光束的优化校准带来了困难,现有算法不仅光束校准质量不高,且校准效率较低.为此,本文将Adam算法应用于光波导相控阵输出光束校准系统中,通过建模仿真比较了Adam算法与现有SPGD算法和GS算法在光束校准层面上的优劣.同时,搭建实验系统实现了高质量的光束校准,根据校准结果,在Adam算法校准下光波导相控阵输出光束的主旁瓣比优于15.98 dB,对16×16光波导相控阵输出光束校准达到收敛所需的迭代次数低于600次.这一算法在光波导相控阵输出光束校准方面的应用,能够提高光波导相控阵的控制精度和效率,拓展光波导相控阵在激光雷达技术、数字全息技术和生物成像技术等方面的应用.

一种基于Adam算法优化的神经网络变压器顶层油温预测

基于国内外现有变压器老化影响因素、绕组热点温度的预测方法及变压器绝缘状态评估的研究基础,以变压器顶层油温为研究对象,利用灰色关联分析法分析变压器监测量与顶层油温的相关性,采用Adam算法优化的人工神经网络对热点温度进行预测。该预测方法速度快、精度高,能在变压器负载状态和散热设备动态变化明显的工作情况下实现顶层油温的高精度预测。

基于Adam算法和神经网络的照度计算方法

针对传统照度计算中利用系数计算过程繁琐、误差大的问题,提出并实现了基于Adam优化算法的由固定网络和可变网络并联构成的神经网络模型,进行灯具的利用系数拟合计算,分别拟合了计算地板反射比为0.2时的利用系数和地板反射比不为0.2时利用系数修正系数。使用训练好的模型代替传统的利用系数查表过程,降低了照度计算的计算误差,提高了工程实用性。实验结果表明,最大误差率约为2%。

基于Adam算法优化GRU神经网络的短期负荷预测模型

为提高短期负荷预测的精度,文中提出了一种基于Adam算法优化门控循环单元(Gated Recurrent Unit,GRU)神经网络的短期负荷预测模型。针对循环神经网络(Recurrent Neural Network,RNN)存在的梯度消失和梯度下降、长短期记忆神经网络(Long Short-Term Memory,LSTM)在运行时计算时间较长的问题,采用GRU神经网络作为负荷预测的模型,针对随机梯度下降(Stochastic Gradient Descent)算法前期收敛速度较慢所导致的预测精度不高的问题,利用Adam算法来替代GRU神经网络中的随机梯度下降算法,并采用学习率衰减策略来加速模型的收敛,提高预测的精度。算例仿真结果表明,文中所提出的预测模型比常规GRU神经网络预测模型、BP神经网络预测模型具有更高的预测精度。

基于卷积网络的Adam算法的改进

Adam算法作为卷积神经网络常用的优化算法,虽具备收敛快的优点,但该算法往往在网络训练后期存在极端学习率,甚至存在不收敛现象.为此提出了Yadamod算法,在Adam算法的二阶动量项中加入激活函数,并采用对学习率进行指数加权平均和增加动态边界的方法,解决了极端学习率问题.使用随机一阶复杂度(SFO)框架对Yadamod算法在随机非凸情况下进行了收敛性分析.基于ResNet-34和ResNet-50卷积神经网络分别在CIFAR-10数据集和CIFAR-100数据集上验证Yadamod算法中的有效性,实验结果表明该算法在稳定性和优化性能方面都优于Adam算法.

基于Adam算法的变压器顶层油温预测方法研究

顶层油温是反映电力变压器负载能力和绝缘老化程度的重要指标。为准确预测顶层油温,文中实现了一种基于自适应动量估计(Adaptive Momentum Estimation,Adam)算法优化的神经网络变压器顶层油温预测方法。首先运用灰色相关性分析法计算变压器各监测量与顶层油温的相关性,构建预测顶层油温的后向传播(Back Propagation,BP)神经网络模型;结合变压器状态监测历史数据,利用Adam算法训练模型和数据验证,结果表明该模型预测值与实际测量值基本一致,与Susa D热路模型和基于随机梯度下降法神经网络模型预测结果相比较,该方法预测精度相比其他两者分别提高了78.1%和33.9%;最后选择不同的变压器进行建模预测,结果表明该方法具有普遍适用能力。

基于改进ADAM算法的变电站SCD文本分词方法

针对电力领域文本数据分词准确性较低的问题,提出一种基于改进ADAM(adaptive moment estimation)算法的中文分词技术。选用Skip-Gram模型作为字嵌入模型,将字词转为分布式向量,搭建卷积神经网络-门控循环单元-条件随机场(CNN-Bi-GRU-CRF)模型实现电力领域文本语句的分割,提出一种改进的ADAM算法,通过控制不同时间窗口的学习率优化神经网络模型,提高模型训练速度。将所提算法运用于变电站SCD(system configuration description)文本数据分词的算例分析,通过与其他主流分词算法进行比较,验证所提分词技术的先进性与准确性。

基于Adam算法BP神经网络的矿井环境瓦斯浓度预测模型

为了解决现有矿井环境瓦斯浓度预测方法无法处理大数据量、适应性差、误差较大、易陷入局部最优等问题,提出一种基于Adam算法的改进型BP(Back Propagation)神经网络模型,模型适用于矿井多环境参数下,对某区域内环境瓦斯浓度进行预测.对监测监控系统采集到的真实数据进行归一化处理并形成数据集,通过将Adam算法与BP网络模型进行有效结合形成新的网络模型.运用训练集对模型进行训练及调优后,迭代次数在1 200次后损失率趋于平稳,验证集预测的结果整体平均误差率为1.258%,结果表明:该优化模型提高了网络训练速度,且避免了传统BP模型容易陷入局部最小的缺点,同时降低了预测的相对误差.

基于GA-Adam优化算法的BP神经网络农业灌水量预测模型

针对传统BP神经网络预测农业灌水量时存在易陷入局部最小值、难以选择合适学习率的问题,提出了一种基于遗传算法和Adam算法并行优化BP神经网络的农业灌水量预测模型。该模型利用遗传算法对BP神经网络进行初始权值和阈值的预筛选,然后采用Adam算法来实现学习率自适应于参数梯度不断更新。收集黄河流域陇中片灌溉分区内7个典型灌区的气象数据以及玉米实测灌水数据对模型进行训练,同时与传统GD法、GA法、Adam法下的网络模型进行对比。结果表明:GA-Adam模型仅在训练次数为67次,训练时长为0.403 s时便达到预设精度;且GA-Adam模型预测值与期望值的RMSE和MAE最小,分别为54.73和47.76,决定系数R^(2)为0.81,总体预测效果最好。

基于Adam优化的二维自适应TFPF地震去噪算法

在时频峰值滤波(TFPF:Time-Frequency Peak Filtering)算法中,采用固定窗长进行滤波很难在滤除噪声和信号保幅之间取得折衷,无法追踪超出截止频率部分的信号,而且传统TFPF仅沿时间方向滤波,忽略了信号的空间信息。针对上述问题,提出了二维自适应TFPF(2D-ATFPF:Two-Dimensional Adaption TFPF)算法,首先利用一组由不同窗函数决定的TFPF冲激响应构建滤波输出凸集;然后,在凸集下引入一个关于滤波输出的目标函数,该函数基于最小二乘准则并将具有时空相关性的方向导数作为惩罚项;最后,使用可以快速收敛的投影Adam方法优化目标函数,将2D-ATFPF应用于人工合成记录和实际资料。实验结果表明,改进的方法与一维算法相比,能更好地恢复同相轴,信噪比提高约1.3 dB。

差分隐私保护下的Adam优化算法研究

神经网络的优化算法在训练模型时所使用的数据集可能包含用户的敏感信息,容易在训练的过程中造成隐私泄露。为了在神经网络优化算法Adam上实现差分隐私保护,提出差分隐私保护下的Adam优化算法(DP-Adam)。将Adam优化算法与差分隐私理论结合,在神经网络反向传播的Adam梯度下降更新参数过程中加入满足差分隐私的拉普拉斯噪声,从而达到对神经网络优化算法进行隐私保护的目的。实验表明,对于相同的隐私预算,随着训练轮数的增加,DP-Adam训练模型的精度优于DP-SGD。在达到同样的模型精度的条件下,DP-Adam所需要的隐私预算更小,即DP-Adam的隐私保护程度比DP-SGD更高。

非光滑凸情形Adam 型算法的最优个体收敛速率

Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解l_(1)范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。

基于Adam优化神经网络的电梯群控算法

针对传统BP神经网络搭建的电梯群控算法中出现的易于陷入局部极值、收敛速度慢、预测值与实际值偏差较大等问题,本文通过分析研究,在使用BP神经网络,拟合某台电梯对某一楼层呼梯信号响应满意度函数的基础上,应用Adam算法优化神经网络的权值和阈值,使用Dropout缓解过拟合现象,减小误差,提高网络预测精度。仿真结果表明,与传统的优化算法相比,此算法收敛速度更快,模型预测准确率更高,减少了候梯时间,提高了电梯运载效率。

基于Adam优化算法的水平井流动剖面测温反演方法

为提高油藏注水开发效率,制定精细的分层配产配注制度,须针对水平井开展吸水及产液剖面的高效检测。对此,提出基于自适应矩估计优化算法(Adam算法)的水平井吸水及产液剖面测温反演方法。该方法首先利用储层与井筒内的温度分布模型构建反演目标函数,其次通过Adam优化算法,在最优化反演目标函数的过程中定量获取流动剖面。将该方法应用于阿曼Safah油田及新疆风城油田的两口水平井,采用生产测井工具测得各井段吸水量和井口测量的产液量对反演结果进行验证。结果表明:建立的反演方法不需要求解复杂的耦合模型,计算效率高,不仅可以定量监测流动剖面的动态变化、评价各层段的贡献率,还可半定量刻画水平井各层段相对渗透率的演化规律,指导现场制定更加精细化的配产、配注及增产方案。

基于Adam优化算法和长短期记忆神经网络的锂离子电池荷电状态估计方法

锂离子电池是电动汽车、无人机及电力电子设备的储能系统组件,对其进行准确的荷电状态(SOC)估计对于正确决策、安全控制和维护具有重要意义。针对锂离子电池SOC估计问题,本文采用长短期记忆(LSTM)神经网络搭建锂离子电池SOC估计模型,将电池电压、电流、温度作为输入,建立多层LSTM预测模型,采用Adam优化算法与Dropout正则化方法完成LSTM模型的训练。测试结果表明,在模型训练过程中加入Adam优化算法与Dropout正则化方法,使模型对实验数据集的非线性和初始荷电状态的不确定性具有鲁棒性。

解微分方程组的Adams预测校正算法的改进方法

针对Adams预测校正算法求解微分方程组作了改进.算法的主要改进之处是在校正环节用已经计算出来的"新值"取代"旧值".最后,基于提出的改进方法和传统的Adams预测校正算法对同一微分方程组问题作了数值比较实验.数值实验结果表明改进的算法与传统的Adams预测校正算法的计算量一样,但精度大大提高.

改进Adam优化算法的人脸检测方法

深度学习中模型优化算法的选择与模型的性能有直接关系.提出了一种改进Adam优化算法的人脸检测方法,在二阶动量计算过程中加入激活函数来调整学习率的变化,从而使得优化算法学习率可以随迭代次数自适应地改变,提高人脸检测网络的收敛性能,更加精确地检测到人脸.实验结果表明,与RMSProp和原Adam优化算法相比,改进后的算法能够提高人脸检测的精确度,加快网络的收敛速度,同时降低训练时出现的迭代震荡次数,解决无法收敛到局部最优的问题.

基于Adam优化算法的双目机器人手眼标定方法

在智能制造领域,视觉机器人应用前景十分广阔。视觉机器人的手眼标定精度直接关系到机器人的后续作业精度。为了进一步提高机器人的手眼标定精度,现提出一种基于Adam优化算法的双目Eye-to-Hand型机器人的手眼标定方法。根据多体运动学理论,建立了6DOF机器人手眼标定数学模型,以Halcon输出的手眼标定矩阵为初始值,采用Adam优化算法对目标函数进行迭代求解,将由优化前后手眼矩阵得到的两组机器人末端坐标系的位姿分别与从示教器得到的位姿作差值,并取Frobenius范数。结果表明:相机标定误差为0.089个像素,优化后的Frobenius范数平均值小于优化前,且一致性好。

非光滑强凸情形Adam型算法的最优收敛速率

对于非光滑强凸问题,在线梯度下降(Online Gradient Decent,OGD)取适当步长参数可以得到对数阶后悔界.然而,这并不能使一阶随机优化算法达到最优收敛速率.为解决这一问题,研究者通常采取两种方案:其一是改进算法本身,另一种是修改算法输出方式.典型的Adam(Adaptive moment estimation)型算法SAdam(Strongly convex Adaptive moment esti⁃mation)采用了改进算法的方式,并添加了自适应步长策略和动量技巧,虽然得到更好的数据依赖的后悔界,但在随机情形仍然达不到最优.针对这个问题,本文改用加权平均的算法输出方式,并且重新设计与以往算法同阶的步长超参数,提出了一种名为WSAdam(Weighted average Strongly convex Adaptive moment estimation)的Adam型算法.证明了WSAdam达到了非光滑强凸问题的最优收敛速率.经过Reddi问题的测试和在非光滑强凸函数优化中的实验,验证了所提方法的有效性.