面向约束多目标优化的进化计算与梯度下降联合优化算法

约束多目标进化算法(CMOEA)是一类专门为解决约束多目标优化问题而设计的元启发式算法。这类算法利用基于种群的黑盒随机搜索模式,可以在不同优化问题上达到目标与约束之间的有效平衡;然而它们未有效利用函数的梯度信息,在复杂问题上收敛过慢。但引入梯度信息不是一个简单的过程,同时计算所有目标和约束的梯度会消耗大量的计算资源,且目标和约束之间的矛盾会使梯度方向难以确定。为此,提出一种进化计算和梯度下降(GD)的联合优化算法——基于梯度辅助的多阶段约束多目标进化算法(CMOEA-MSG)。该算法包括两个阶段:在第一阶段,算法通过构建辅助问题并有选择性地计算目标或约束的梯度更新解,使种群快速收敛至可行区域;在第二阶段,算法采用约束优先原则求解原问题,保证种群的可行性和多样性。与现有同类算法在LIR-CMOP、MW和DASCMOP三个测试集上的对比结果表明,CMOEA-MSG可以更有效地解决约束多目标优化问题。

带有校正项的自适应梯度下降优化算法

基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也没有利用随机子样本中梯度的二阶矩,这些导致自适应梯度下降优化算法收敛速度较慢,性能也不稳定.结合历史梯度范数和梯度的二阶矩,提出了一种新的自适应梯度下降优化算法normEve.通过模拟仿真实验,实验结果表明,提出的新算法在结合历史梯度范数和梯度二阶矩的情形下能有效地提高算法的收敛速度.通过实例验证新算法与Adam优化算法比较,新算法的测试准确率大于Adam优化算法,验证了新算法的优越性.

随机梯度下降与批量梯度下降在枸杞生长模型优化中收敛速度的对比分析

在预测枸杞生长的过程中,回归算法所建立的模型展现出了一定的误差范围。为了提高模型的精确性和效率,文章深入探讨了随机梯度下降法(SGD)和批量梯度下降法(BGD)在回归问题中的应用及二者对回归算法收敛速度的影响。对比随机梯度下降法(SGD)与批量梯度下降法(BGD)在相同条件下的收敛性能,旨在更深入地理解并优化回归算法的训练过程,从而为枸杞生长模型的改进提供更为精准和高效的方案。

基于小批量梯度下降的布谷鸟搜索算法

布谷鸟搜索算法是一种解决函数目标优化问题的全局搜索算法,具有选用参数少、容易实现、搜索路径优、寻优能力强等特点。为了提高布谷鸟搜索算法的求精能力和收敛速度,改善后期收敛慢和搜索精度不稳定的问题,提出了一种基于小批量梯度下降的布谷鸟搜索算法。引入小批量梯度下降,优化寻找最优解的过程,加快局部最优的搜索,从而提高算法的求精能力和收敛速度。仿真实验结果表明,基于小批量梯度下降的布谷鸟搜索算法简单高效,在保持标准布谷鸟搜索算法优点的基础上提高了算法的收敛速度和寻优精度,具有较强的稳定性和鲁棒性。

基于混合梯度下降算法的支持向量机参数优化

在解决有限样本、非线性和高维度问题中,建立在统计学习理论和结构风险最小化原则上的支持向量机表现出良好的性能和独特的优势。然而,支持向量机参数对模型的识别精度和泛化能力有很大影响,基于这样的事实,运用混合梯度下降算法对支持向量机的参数进行优化选择,结合量子遗传算法出色的全局优化能力和梯度下降法局部寻优能力,较好地解决了传统的支持向量机中参数优化的难题。最后,用实例验证了该算法的有效性。

轨道优化实时计算的梯度投影下降算法——防空导弹轨道优化的实时计算方法之二

在防空导弹的发射过程中,需要在给定的响应时间内确定最优轨道,导弹沿此轨道在预定的时间飞达预测遭遇点。为了轨道优化的实时计算,构造了一类梯度投影下降算法,并且给出实际应用的具体步骤。对防空导弹运动的一个数学模型的数字仿真结果表明:应用这些算法可以达到很高的控制精度。

基于梯度的三种优化方法及比较

近年来,高速发展的科学技术将人工智能带入大众的视野。机器学习和深度学习作为人工智能的核心技术,引起了众多学者的关注。在机器学习领域,由于目标模型损失函数的复杂性,使得无法快速有效地得到参数估计的表达式,因此,运用基于梯度的优化方法求解该类优化问题很受欢迎,到目前为止最主流的一个算法就是梯度下降法,但在实际应用中,随着数据规模越来越大,传统的梯度下降法训练的过程及其缓慢,已不能够快速有效的解决大规模机器学习问题。所以,在梯度下降方法的基础上进行了改进,提出了随机梯度下降算法。随机方法因其良好的标度特性在大规模应用问题中受到青睐,本文首先详细介绍了梯度下降法、随机梯度下降法及小批量随机梯度下降法三个方法基本思想及其求解最优化问题的具体过程,然后设计数值例子进行模拟实验,并比较三种方法的优劣性,最后通过实验结果得出结论:梯度下降法收敛性较好,但计算效率低,随机梯度下降法计算效率高,而小批量梯度下降法则是介于二者之间。因此在计算大规模的问题时,随机梯度下降法相较于另外两种方法更为有效。

一种改进遗传算法实现前向神经网络权值优化的方法

本文介绍了一种自适应改变交叉概率和变异概率的改进遗传算法。针对前向神经网络离线训练过程中梯度下降法存在易陷入局部极小的缺点和遗传算法能够很快接近全局最优的优点,提出了应用改进遗传算法对前向神经网络权值实现优化的方法,最后应用图形化可编程语言LabV IEW实现了改进遗传算法对前向神经网络权值的优化,证明了本方法的有效性。一、问题的提出由于含有至少一个隐含层和足够隐含层节点的前向神经网络以任意精度逼近复杂非线性函数,因此在系统辨识、控制器设计、系统建模、状态估计、优化、预测等方面有大量的应用,但目前为止前向神经网络还存在诸多问题待完善。如何确定适当的隐层节点数,以及怎样获得最优的权值并提高训练速度等成为亟待解决的问题。

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。

“整数梯度下降”算法对热泵用翅片管蒸发器流路的优化

本文针对热泵用翅片管蒸发器,采用分布参数法构建仿真模型,研究蒸发器流路对其熵产的影响,并开发了基于“整数梯度下降”算法的蒸发器流路优化模型。研究结果表明:当蒸发器换热量增大时,最小熵产点所对应的蒸发器分路数增加,且分液器相对位置前移。通过对比实验与仿真结果,验证了蒸发器熵产(仿真值)与系统COP(实验值)之间的对应关系,即蒸发器熵产(仿真值)的变化可用于预测热泵系统COP的变化情况。在此基础上,以熵产作为“代价函数”,采用“梯度下降算法”构建了蒸发器流路优化模型,获得了设计换热量为2000~6000 W所对应的最佳蒸发器流路。

自适应学习率梯度下降的优化算法

提出一种自适应学习率优化算法,可以根据损失函数的变化自动调节学习率大小,且能根据损失函数的变化幅度而调节变化程度;结合tanh函数,保证学习率不会因损失函数变化幅度过大而剧烈变化;在收敛后期,可以将学习率保持在一个固定值范围,以防止后期学习率变化而导致的收敛速度慢或精度差等问题。利用波士顿房价预测和Mnist手写识别两种数据集进行实验验证,通过对比所提出的改进算法与经典梯度下降优化算法,验证了本文算法的可行性和高效性。

梯度下降及优化算法研究综述

梯度下降法是机器学习算法中广泛使用的方法,特别是在神经网络中。本文首先概述了梯度下降法和其三种实现框架,描述其优缺点。针对算法训练时间缓慢的缺陷,首先从最经典且主流的梯度下降优化算法开始介绍,阐述研究动机、基本思想、其解决的问题,最后对比流行的梯度下降优化算法进行实验分析。

梯级水电站群中长期优化调度的离散梯度逐步优化算法

充分利用现有水电资源,进行库群中长期优化调度是构建清洁低碳、安全高效的现代能源体系的重要措施。逐步优化算法(POA)将多阶段问题转化为多个两阶段子优化问题,是求解中长期库群优化调度较为广泛且有效的一种方法。但随着水库数目的增加,POA仍会面临严重的"维数灾"问题。本文以梯度下降法为基础,提出离散梯度的概念及离散梯度逐步优化算法(DGPOA),该方法在不直接求导的情况下充分利用局部离散梯度信息确定最优搜索方向,可以快速获得优化结果。最后将该算法应用到澜沧江流域五水库梯级系统中,在不同离散精度和来水条件下,利用POA、POA-DPSA和DGPOA算法对梯级水库进行优化计算。结果表明,在不显著降低全局搜索能力的情况下,DGPOA的计算速度分别达到了POA-DPSA算法的8~12倍,POA算法的50~250倍,是一种解决梯级水库站群中长期优化调度中"维数灾"问题的有效方法。

一种自适应步长的复合梯度加速优化算法

自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点,成为近期相关领域的研究热点.针对Adam收敛速度慢的问题,本文基于当前梯度、预测梯度以及历史动量梯度,提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam),并对其收敛性进行了理论证明.与其他加速算法的区别之处在于,C-Adam将预测梯度与历史动量区别开,通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证,实验结果表明CAdam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.

一个新的无约束优化下降算法(英文)

提出了一种新的无约束优化下降算法 .在每步迭代中算法以当前点负梯度和前一点负梯度的线性组合为搜索方向 ,用Armijo搜索定义步长 .

基于共轭梯度法的下降算法

给出了基于共轭梯度法的一类下降算法．算法在ｗｏｌｆｅ搜索下具有全局收敛性，特别适于求解大规模无约束优化问题．

一个基于近似下降方向的免梯度算法

本文构造一个求解非线性无约束优化问题的免梯度算法,该算法基于传统的模矢法,每次不成功迭代后,充分利用已有迭代点的信息,构造近似下降方向,产生新的迭代点。在较弱条件下,算法是总体收敛的。通过数值实验与传统模矢法相比,计算量明显减少。

求解无约束最优化问题的一类新共轭下降算法

提出了求解无约束最优化问题的一类新共轭下降算法 ,并在非精确线搜索下证明了该算法的全局收敛性 .数值结果表明 。

一类基于共轭梯度法的下降算法

共轭梯度法是求解大规模无约束优化问题的有效算法之一 ,近年来出现了很多共轭梯度法收敛性的相关文献。本文研究基于共轭梯度法的下降算法 ,证明了算法的收敛性 ,并对算法进行了数值试验 。

基于麻雀算法优化的神经网络推荐算法研究

针对大学校园信息过载,专业培养方案缺乏个性化与自主学习培养等问题,本文基于学生自主学习推荐的研究,提出了基于麻雀算法改进DNN分类推荐算法的设计,以实现更利于学生自主学习推荐培养。经对4种激活函数的训练集结果进行对比实验,选择使用Sigmoid验证集作为激活函数;在梯度下降验证集的结果对比试验,得出需要采用Adam优化器;通过常见目标函数对麻雀算法的适应性研究,得出麻雀算法适用于DNN模型的寻找最优。实验研究结论表明,基于麻雀算法优化后的DNN模型,实现了更为精准有效的推荐,很好地实现了智慧校园中基于用户画像特性化推荐自主学习的培养目标。