基于BB步长的近端随机递归动量算法

研究了一个求解非凸非光滑复合优化问题的算法。首先,结合近端随机递归动量算法和改进的BB步长,提出了一种带BB步长的随机方差缩减算法(ProxSTORM-BB)求解非凸非光滑复合优化问题。该算法在迭代过程中通过动态调节步长来提高算法的计算效率,并且对初始步长的选取不敏感,解决了参数调优比较困难这一问题。然后,在合适的假设条件下证明了算法的收敛性。最后,通过数值实验验证了算法的有效性。

非强凸和光滑条件下随机经典动量算法的收敛性

对随机经典动量算法(CM)的收敛速度问题进行深入研究,通过对传统带动量随机梯度下降算法的迭代公式进行改造,在非强凸和光滑的条件下得到了算法的收敛阶。当动量系数ρ_(t)取常数的时候,收敛阶为O(1/T+√T+1/T),当动量系数ρ_(t)取变系数的时候,通过设置不同的学习率,分别得到O(1/√T+2+1n(T+1)/√T+2)和O(1/3√T+1)的收敛速率。最后通过数值实验说明其合理性。

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD(Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。

基于动量NLMS算法的发动机主动悬置振动控制仿真

发动机是整车NVH特性的重要影响因素,但现有主动悬置控制算法仍存在收敛速度慢、控制效果差等缺点,因此设计了基于动量NLMS的主动悬置控制算法,建立了仿真模型,分别基于混频振动信号和采集的发动机激励产生的加速度信号开展仿真研究。结果表明,对于模拟的的混频振动信号,该算法具有收敛速度更快、能大幅削减加速度峰值的优点。对发动机激励信号峰值有最大约54 d B的降低,加速度总体有约29 d B的控制效果,与经典LMS、NLMS算法相比均有明显的优势。

基于权值动量的RBM加速学习算法研究

动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足.

基于灰色-模糊-改进动量BP算法的矿工安全行为评价方法

根据矿工安全行为自身的复杂性,影响因素的多样性,行为过程的非线性、模糊性、随机性、时变性的特点,从安全生理、安全心理、工程心理、安全管理、生活重大事件、不同文化差异6个方面构建了矿工安全行为心理测量的初试量表。通过相关数学工具确定了与矿工安全行为状况紧密相关的63条测量指标作为评价因素集合,建立了基于灰色-模糊-改进动量BP算法的矿工安全行为状况的综合评价模型。通过实践应用表明,该方法能对矿工安全行为状态进行较为准确的评价,能满足生产现场矿工不安全行为预测的要求。

基于动量BP算法的过渡段路基沉降预测

利用动量BP算法改进了BP神经网络的收敛性,建立了过渡段路基沉降预测模型.该模型可克服传统BP神经网络收敛速度慢、易陷入局部最优等的缺点.结合津秦客运专线路桥过渡段路基沉降实测数据,将该优化模型与传统BP神经网络预测模型进行了对比.计算表明,利用动量BP算法改进的神经网络具有较高的预测精度,同时考虑了多个影响因素,因而具有广阔的应用前景.

改进动量BP算法计算围岩风流不稳定传热系数

针对围岩与风流之间不稳定传热系数Aτ的理论值解法的计算过程繁杂、容易出错等缺点,提出了基于改进动量BP算法的不稳定传热系数Aτ的预测计算模型,并以淄博矿业集团唐口煤矿的实测数据为例对网络进行了训练和学习,结果表明,该方法的使用可从多个方面改善网络的总体收敛性,具有较高的预测精度。

动量BP算法在路基沉降预测中的应用

提出一种采用动量BP算法来预测路基沉降的方法,结合具体的工程实例,构建了预测路基沉降的具体BP神经网络模型。预测结果表明,该模型有较高的预测精度,可作为预测路基沉降的一种新方法。

动量BP算法及其在桩基沉降研究中的应用

在说明动量BP算法及其程序实现的基础上 ,阐述了网络训练中的主要参数 (初始权值与阈值、隐层单元数、输出单元数、归一化方法、传递函数 )对训练过程的影响 ,并将动量BP算法应用于桩基沉降的研究。研究表明 ,使用一定的训练参数 。

一种用于特征层融合识别的回弹全局自适应动量BP算法

针对特征层融合识别中全局自适应BP算法存在的收敛速度慢、学习不稳定等问题,基于对动量BP算法的详细分析,提出了一种新的全局自适应BP算法——回弹全局自适应动量BP算法(RGMOBP),该算法具有在误差增大时进行权值回弹并减小学习步长以保证权值的调节功能、使误差减小的特点。仿真结果表明:RGMOBP在学习性能上优于其它已有经典全局算法,是一种简单有效的神经网络特征层融合识别算法。

附加奇数s的动量BP算法在动态流量软测量中的研究与应用

针对BP算法收敛速度慢以及陷入平坦区的难题,提出了附加奇数s的动量BP算法.该方法在保证训练收敛和训练精度的情况下,通过降低计算量来提高计算速度节省计算时间,通过改进激发函数来增加梯度加快收敛速度.文中详细论证了算法的正确性,并通过实验验证了算法的性能,实验结果表明该算法比传统的附加动量BP算法节省了9.66%的时间,训练步数也减少了31.35%,比较好的适应于动态流量软测量中的实时性要求.

基于宽线性动量LMS算法的DS-CDMAMAI抵消

提出了一种宽线性动量LMS算法,分析了算法在均方意义下的收敛性,给出了算法稳定条件和失调公式,以及算法应用于码分多址系统多址干扰抵消的效果。仿真表明新算法的性能优于Yin及Schober所提出的算法的性能。

同步发电机失磁检测中的动量自适应算法

把用 Matlab软件的同步发电机故障仿真数据进行快速傅立叶变换后作为失磁检测的特征向量 ,通过人工神经网络模型实现发电机的失磁检测 ,用动量自适应算法对网络进行训练 ,收敛较快 。

动量BP算法及其在桩基沉降研究中的应用

文章在说明动量BP算法及其程序实现的基础上 ,阐述了网络训练中的主要参数 (初始权值与阈值、隐层单元数、输出单元数、归一化方法、传递函数 )对训练过程的影响 ,并将动量BP算法应用于桩基沉降的研究 ,研究表明 ,使用一定的训练参数 。

一种基于动量BP算法的似然分布自适应粒子滤波

在量测精度不高时,重要性重采样粒子滤波效果较好,但在观测模型具有较高精度时,由于较多的无效样本可能导致粒子滤波失效.同时传统粒子滤波重采样算法虽可以用来解决粒子退化问题,但也会出现如粒子的多样性丧失、高权值的粒子被多次计算等,同时也存在传统的BP神经网络与粒子滤波结合会导致实时性较差等问题.针对这些问题,本文提出基于动量BP算法的似然分布自适应粒子滤波(MO-NNWA-APF):一方面通过反映量测噪声统计性能的精度因子α对似然分布状态自适应调整,增加先验和似然的重叠区,提高滤波精度;另一方面将动量BP算法与似然分布自适应调整结合,增大位于低概率密度区域的粒子的权值,同时部分高权值粒子被分裂为小权值粒子,一定程度上增加粒子的多样性和改善算法的实时性.选用一维系统和多维单目标系统仿真综合比较算法得出:使用基于动量BP算法的似然分布自适应粒子滤波算法优于现有的基本粒子滤波算法、基于BP神经网络的粒子滤波算法,在系统状态、均方根误差、估计与真值的关系、有效粒子数等方面体现出较好的预测能力,预测结果表现精度较高,算法稳定,实时性较好.

动量-自适应学习BP算法在加工领域的探索

为解决实际加工中试验次数多生产成本高、选取加工参数困难等问题,采用动量-自适应学习BP算法构建BP神经网络预测模型。根据实际情况将典型BP算法改进,得到收敛速度快的动量-自适应学习BP算法模型;用电解加工试验数据对模型结构进行训练,最终建立动量-自适应学习BP神经网络加工预测模型。采用该模型对不同加工参数组合下加工的不锈钢微孔孔径大小进行预测。结果表明,该模型的预测误差低于5%,具有很强的预测能力。

深度学习中的预条件动量梯度算法

结合“比例积分微分”优化控制器(Proportional-Integral-Derivative Controller,PID)与拟牛顿方法,提出一种加速神经网络训练的一类预条件动量梯度算法。首先,采用拟牛顿条件产生预条件因子,然后,在迭代过程中与动量方法相结合,提高算法效率的同时,克服原始动量梯度算法的超调问题,并证明了算法在目标函数强凸时的全局收敛性。最后,通过数值实验验证了算法的有效性。

融合动量BP算法的样本数自适应粒子滤波

传统粒子滤波算法样本数保持不变,而固定的样本数将会直接影响粒子滤波算法的计算复杂度,进而影响粒子滤波算法的实时性和精度.针对这一问题,引入样本数可自适应调整的粒子滤波,既可以在每一步状态方差估计中设定样本数的下限,也考虑了状态方差过大或者过小的情形;同时将动量BP算法与样本数自适应粒子滤波结合,增大位于低概率密度区域粒子的权值,使位于这部分区域的小权值粒子重新进入高权值区域,降低粒子退化,同时部分高权值的粒子分裂为小权值粒子.仿真模型选取为单变量非静态增长模型和多维单目标跟踪模型,仿真结果得出:使用融合动量BP算法的样本数自适应粒子滤波优于标准粒子滤波算法、基于BP神经网络的粒子滤波算法,在系统状态、均方根误差、估计与真值的关系、有效粒子数等方面体现出较好的预测能力,预测结果表现为精度较高,稳定性较好,且降低了计算的复杂度.

附加动量法和基于遗传算法附加动量法的实现与在沉降监测中的应用研究

在沉降监测工程实践中,根据沉降趋势的特点,而采用不同的预测算法,有助于提高沉降预测结果的精度。由于算法各自的局限性,综合不同算法各自的优势,成为目前预测算法研究的热点。本文在编程实现附加动量法和基于遗传算法的附加动量法的基础上,研究了种群规模对基于遗传算法的附加动量法收敛速度的影响,确定了种群规模的大小。最后,结合样本数据,对两种算法的收敛速度以及预测精度通过量化的指标进行比较。本文的结论对沉降监测的工程实践具有一定的借鉴意义。