使用Nesterov步长策略投影次梯度方法的个体收敛性

很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经提出了大量的随机优化方法求解大规模机器学习优化问题,但大部分的研究只是针对平均输出方式获得了最优收敛速率.个体输出方式显然比平均方式的输出具有更好的稀疏性,但使个体收敛速率获得最优具有一定的难度,人们已经将强凸情形下的最优个体收敛性作为公开问题进行广泛研究.对于光滑目标函数的优化问题,著名学者Nesterov提出了一种步长策略,使得梯度方法的收敛速率获得了数量级形式的加速,并且获得了最优的个体收敛速率.目前,Nesterov加速算法已经应用于各种具有光滑损失函数机器学习优化问题中,研究者基于该加速策略提出了大量的随机优化算法.能否将这种技巧推广至非光滑情形获得最优的个体收敛速率显然是有意义的问题.文中考虑在非光滑优化算法中引入这种步长策略.特别地,我们聚焦经典的一阶梯度方法,提出了一种嵌入加速算法步长策略的投影次梯度算法,证明了这种算法在求解非光滑损失函数学习问题时具有最优的个体收敛速率.这是比标准投影次梯度方法只有在平均输出方式下才具有最优收敛速率更强的结论,也是一阶梯度方法在个体最优收敛速率方面比较接近于大家期待的研究成果.与平均方式输出以及线性插值的投影次梯度方法相比,该文所提方法的梯度运算在插值策略之后,因此在求解l1范数约束的hinge损失函数学习问题时具有更好的稀疏性.人工数据集上的实验验证了所提方法的正确性,基准数据集上验证了该方法在保持稀疏性方面具有良好的性能.

结合自适应步长策略和数据增强机制提升对抗攻击迁移性

深度神经网络具有脆弱性,容易被精心设计的对抗样本攻击.梯度攻击方法在白盒模型上攻击成功率较高,但在黑盒模型上的迁移性较弱.基于Heavy-ball型动量和Nesterov型动量的梯度攻击方法由于在更新方向上考虑了历史梯度信息,提升了对抗样本的迁移性.为了进一步使用历史梯度信息,本文针对收敛性更好的Nesterov型动量方法,使用自适应步长策略代替目前广泛使用的固定步长,提出了一种方向和步长均使用历史梯度信息的迭代快速梯度方法(Nesterov and Adaptive-learning-rate based Iterative Fast Gradient Method,NAI-FGM).此外,本文还提出了一种线性变换不变性(Linear-transformation Invariant Method,LIM)的数据增强方法 .实验结果证实了NAI-FGM攻击方法和LIM数据增强策略相对于同类型方法均具有更高的黑盒攻击成功率.组合NAI-FGM方法和LIM策略生成对抗样本,在常规训练模型上的平均黑盒攻击成功率达到87.8%,在对抗训练模型上的平均黑盒攻击成功率达到57.5%,在防御模型上的平均黑盒攻击成功率达到67.2%,均超过现有最高水平.

融合三维螺旋运动和混合反向学习策略的改进鹈鹕优化算法

针对鹈鹕优化算法收敛速度较慢、初始化过程随机产生初始种群导致种群多样性差,在后期易陷入局部最优等问题,提出了一种融合三维螺旋飞行和混合反向学习策略的鹈鹕优化算法。首先使用Gauss映射初始化种群,提高种群多样性;其次利用三维螺旋飞行和混合最优最差反向学习策略,加强算法跳出局部最优的能力;最后,引入自适应平衡因子与自适应步长,提出鹈鹕坠落策略,以模拟捕食过程中群体的微小变化。最后,通过12个基准函数和实际案例对IPOA(improved pelican optimization algorithm)进行测试,并与8个仿生算法进行对比,测试结果与Wilcoxon符号秩和检验结果均表明IPOA收敛精度与稳定性等各项性能都有所提升,具有明显优势。

考虑风光出力不确定性的风光储微电网系统智能协调控制策略

对风光储互补的微电网发电系统进行研究,针对风光发电与负载功率不匹配问题,提出了一种基于新型变步长电导增量法的最大功率点追踪控制方法,利用基于Ziegler-Nichols法的改进自适应PID算法实现负载功率蓄电池充放电控制的协同控制策略。通过在MATLAB/Simulink中搭建仿真模型并进行验证,证明了所述方案的准确性以及可行性。

基于多策略融合的改进RRT路径规划算法

针对传统快速扩展随机树(RRT)及其衍生算法在路径规划时生成路径效率较低、无效探索点较多等问题,提出一种多策略融合的改进RRT算法。首先利用启发式选择策略确定最合适的扩展节点,然后结合基于目标偏置的自适应动态步长策略,使随机树始终向目标点区域扩展,最后通过垂距断点预优化的跳点连线策略去除冗余点,生成一条没有较大转折角的最短安全路径。通过不同复杂程度的仿真实验和现实环境实验对该算法进行测试。结果表明,与RRT、RRT*和Bi-RRT*算法相比,本文算法在时间消耗上分别减少了大约80%、50%和60%,在路径节点数上分别减少了大约65%、40%和35%。机器人依据该算法可以高效生成一条无碰撞,仅包含起始点、目标点和非突兀转折点的最优路径。

矩阵变换器变步长换流策略

分析了传统四步换流及改进的四步换流策略的特点,以安全可靠换流和改善输出波形质量为目标,提出一种新的矩阵变换器变步长安全换流策略。该换流策略以电压法四步换流为基础,综合考虑了电压大小和电流方向,并据此划分了安全区域与不安全区域,在不同区域采用不同换流策略,既充分保证了换流可靠性,也减少了换流时间,改善了输出波形质量。最后,通过实验验证了所提出变步长安全换流策略的有效性与可靠性。

基于可变递进步长及期望输出的储能系统优化控制策略

根据超短期风电功率预测信息提出了基于可变递进步长及期望输出的储能系统(ESS)优化控制策略。通过设定荷电状态(SOC)上下行限值范围,构建递进控制区间的SOC临界限值循环充放电模式,提升ESS利用率;同时严格限定递进控制区间的充放电状态转换次数,以保证ESS的性能状态。基于该思路,以单次充放电区间作为递进控制步长构建ESS充放电策略,并以递进区间步长最大和整体期望输出波动率最小为目标函数建立多目标优化模型,在临界限值循环充放电模式下协调控制风电功率输出与本区间期望输出的关系,由此利于ESS在SOC限值内的充分利用,同时大幅降低其充放电状态转换次数,并可有效减少期望输出的波动程度,提升其可调度性。利用带精英策略的快速非支配排序遗传算法求解模型的Pareto最优解,通过风电场实际运行数据验证了所提方法的有效性。

基于多项式回归分析的连续潮流计算自适应步长控制策略

为提高连续潮流计算效率,增强算法适用性,针对预测-矫正过程的步长控制方法提出了改进策略。在基准点处潮流数值解的基础上,利用雅克比矩阵计算反映系统变量变化的切向预测量。选择切向量中模值最大分量所对应的变量为最优参量,选择连续潮流预测-矫正步中前后关联的3组计算数据为分析对象,对功率增长参数与最优参量之间的非线性关系进行多项式回归分析。依据回归分析所得到的多项式回归系数,构建自适应的连续潮流步长控制策略。基于IEEE 14节点测试系统的算例分析表明有效改进了算法的计算效率,并以点对点的静态电压稳定鞍结分岔点计算为例验证了其实用性。

WCDMA系统中变步长功率控制策略

提出了一种宽带码分多址接入系统闭环快速变步长的功率控制策略 ,根据 TPC命令的“历史”,将功率控制过程划分为 Markov状态 .分析了信道衰落步长的概率密度 ,每一状态对应一个确定的步长值 ,从而可以确定功率控制步长集中的步长数 .本文选用概率密度最大的数值 ,同时考虑硬件可以分辨的最小步长约为 0 .5 d B,以确定步长集 .用仿真的方法确定状态和步长的对应关系 .发射机依据当前的 TPC命令决定应该增大还是减小发射功率 ,依据当前 TPC命令和“历史”上的 TPC命令选择合适的功率步长 。

步长稳心颗粒市场营销策略分析

通过对步长稳心颗粒所进行的SWOT分析显示:其具有知名度高、实力强、产品技术和疗效佳、销售网络与团队强大的优势,且国家政策的支持、市场潜力大、医药市场和医保制度的逐渐完善也为其发展提供了良好的机会;但仍存在销售政策和薪酬激励机制不完善、渠道控制力差、缺乏有力监管以及市场竞争激烈、外资和国内药企业并购重组的冲击、国家监管力度加大等劣势和威胁。步长集团应加快进行客户分类和市场营销组合策略,完善薪酬激励制度,并加强集团道德建设,以进一步提升稳心颗粒的市场竞争力。

步长制药公司产品研发策略研究

步长制药公司是我国最大的专利药品生产企业,多年来坚持实行科技创新的产品研发策略,研发生产了一系列临床效果显著的产品,拥有多项国家专利。本文分析了步长制药公司产品研发策略的特点及其带来的市场回报,得出了产品研发是推动步长制药持续发展的重要动力之一的结论。

分布式参数估计的多机器人放射源搜索策略

为在未知环境中快速、准确搜索失控放射物,将认知差异理论和一致性方法结合,提出了一种分布式参数估计的多机器人源项估计算法,以有效解决单机器人测量不准及运算量大等问题;将人工势场与信息熵结合,采用多机器人变步长分布式搜索策略以实现高效自主搜索。结果表明:本文算法与其他搜索策略相比具有更高的搜索成功率(92%)和更短的搜索时间。本文方法可用于核电站、化工厂等放射性及有毒有害物质泄漏的应急处置。

光伏发电系统变步长MPPT控制策略研究

文章从光伏发电系统入手,围绕光伏发电系统变步长MPPT控制策略进行研究。首先,简单介绍光伏发电系统的组成与分类;其次,详细介绍MPPT(最大功率点跟踪)的控制过程;再次,归纳分类常见的MPPT控制方法,主要分为基于优化数学模型的间接控制法、基于采样数据的直接控制法、基于先进控制理论的MPPT算法;最后,重点总结光伏发电系统变步长MPPT控制策略,根据变步长电导增量法的弊端进行分析,提出一种改进型变步长电导增量法MPPT控制策略。通过合理设计,改进型变步长电导增量法的运用取得良好的效果,可为从业人员提供参考。

基于自适应测量步长的激光调阻控制策略

针对0603型片式电阻在不同位置的阻值变化率不同,提出了基于自适应测量步长的激光调阻控制策略。这种调阻控制策略可根据当前阻值与目标值的偏差百分比自适应选择测量步长。经过实验分析,与固定测量步长的控制策略相比,这种控制策略不仅能够保证激光修调精度也能提高激光修调效率。为了使这种控制策略能够广泛应用于不同电阻型号的激光修调,介绍了自适应测量步长控制策略的建模过程,在不了解刻蚀路径对阻值变化率的影响时可建模之后再应用这种控制策略。

基于多策略改进狼群算法的机械臂路径规划

针对水下机械臂路径规划中基本狼群算法(wolf pack algorithm,WPA)收敛速度过慢,易陷入局部最优的问题,提出了一种基于多策略改进WPA的水下机械臂三维路径规划算法。该文采用混沌映射的Tent初始化方法改善了初始种群的均匀与遍历特性;对传统WPA算法中的游走、召唤行为的固定步长进行自适应化改进;游走阶段加入莱维飞行策略调整游走范围,提高全局寻优能力;围攻阶段采用鲸鱼变螺旋围攻机制,以提升局部搜寻能力和寻优精度;最后针对同一三维场景分别运用传统WPA算法以及多策略改进WPA算法进行三维路径规划仿真实验。实验证明,在进行三维路径规划问题的求解时,改进后的WPA算法在收敛速度和全局搜索能力上有更好的表现。

基于RRT^(*)改进的移动机器人路径规划算法

针对RRT^(*)算法在复杂环境路径规划中存在的盲目搜索、冗余节点及路径较长等问题,提出一种融合树扩展策略和采样策略的改进RRT^(*)算法(AF-RRT^(*))。通过创造父节点改进RRT^(*)扩展树的结构,缩小路径长度;引入自适应探索,增加采样导向的选择性,减少路径搜索时间,同时不会陷入局部最优陷阱;通过动态步长,减少冗余节点。仿真结果表明,AF-RRT^(*)算法在多种环境下,路径获取效率和路径质量均优于RRT^(*)和F-RRT^(*)。消融实验验证了AF-RRT^(*)算法和算法各功能模块的有效性。

基于反馈和混沌变异的自适应进化策略

为了提高进化策略的搜索精度和全局搜索能力,提出了一种基于反馈和混沌变异的改进进化策略,将各代当前最优搜索结果反馈到变异步长的更新公式中,通过对变异算子中随机数方差的调整使进化策略的变异步长随搜索过程自适应地变化,同时根据混沌运动具有遍历性的特点,利用混沌变异产生个体,保证种群中的部分个体在搜索后期仍保持较大的跳出局部极小的能力,从而达到提高算法全局搜索能力和搜索精度。为了对比改进后进化策略与常规进化策略的优化效果,利用三个测试函数对两种进化策略进行了仿真测试,测试结果表明,与常规进化策略相比,提出的基于反馈和混沌变异进化策略具有更高的搜索精度和更强的全局搜索能力。

自适应步长布谷鸟搜索算法

布谷鸟搜索算法(CSA)是一种新颖且简单、高效的生物启发式算法。针对标准算法存在后期收敛速度慢、易陷入局部最优等问题,提出了一种新的自适应步长布谷鸟搜索算法(ASCSA)。通过自适应调整莱维飞行步长使算法在前期拥有较大的寻优空间,提高全局搜索能力;步长随迭代自适应减小,算法的局部开发能力增强。针对偏好随机游动,引入动态惯性权重和记忆策略后,算法能够充分利用历史经验,稳定性得到提高。实验结果表明,改进后的布谷鸟搜索算法的各方面性能较标准算法及相关改进版本都有显著提高。

混合进化策略算法及其在函数优化中的应用

自适应进化策略中高斯变异算子容易使进化过程陷入局部最优,出现进化早熟.文中针对上述缺点,引入柯西变异算子和子代距离率方法.在进化前期采用柯西的变异,保证个体能够快速地向全局最优的方向移动;在进化后期采用高斯变异,当个体聚集在全局最优解附近时,以较小的变异步长驱动个体向全局最优解方向移动.子代距离率系数进行调整变异算子.通过对单峰与多峰函数仿真试验,验证了算法的有效性.

基于进化策略的函数优化问题研究

针对进化策略算法在解决具体问题是熟练速度较慢这一问题的原因进行分析,提出自适应变异步长的方法,以在全局和局部范围内进行搜索.变异步长的值依赖于目标变量与全局最优解之间的距离.步长随距离自适应变化,可避免局部熟练和早熟.通过对经典dejong函数和Shubert函数的仿真试验,验证了文中算法的有效性.仿真结果表明,该算法收敛速度快,搜索精度高,且具有良好的全局搜索能力.