基于Lagrange乘子法的非线性规划神经网络

本文针对文献[1]中非线性规划神经网络的缺点，提出一种新的非线性规划神经网络．在文中，我们分析了网络的收敛性和稳定性，并给出其电路实现．仿真结果证明了该神经网络能有效地求解非线性规划问题．

基于Lagrange乘子法神经网络求解弹塑性力学有限元问题

根据人工神经网络的基本优化机理,研究了基于Lagrange乘子法神经网络求解弹塑性力学有限元问题.该神经网络对弹塑性力学有限元问题模型的不等式约束直接进行处理,无需添加松弛变量,降低了网络模拟和硬件实现的复杂程度.还分析了该神经网络的收敛性和稳定性.最后对一个简单弹塑性问题进行了数值仿真,计算结果表明了该神经网络求解弹塑性力学有限元问题的可行性.

基于先验驱动深度神经网络的泊松去噪变分模型

泊松去噪是一个典型的病态逆问题,其变分模型需要反复迭代和调节参数且计算效率低下,而纯深度学习模型往往依据经验设计网络且可解释性差。针对以上问题,在泊松噪声去噪变分模型的交替方向乘子法展开的基础上,设计端到端深度卷积神经网络,结合泊松噪声分布统计量与Bayesian最大后验概率估计推导出改进的泊松去噪变分模型。为了求解泊松去噪能量函数极值问题,采用交替方向乘子法,引入辅助变量、拉格朗日乘子和惩罚参数,将该问题分解为高斯去噪和图像重建两类交替优化子问题,先采用先验驱动的深度卷积神经网络实现高斯去噪,再通过解析迭代求解完成图像重建。实验结果表明,与基于非线性主成分分析、VST+BM3D、I+VST+BM3D和TRDPD的泊松去噪模型相比,改进模型在Set12数据集上的峰值信噪比均值分别提高2.73、0.87、0.57和0.50 dB,结构相似性均值分别提高0.148、0.046、0.020和0.047,在彩色图像及正电子发射断层扫描与计算机断层扫描图像上也明显提升了泊松去噪效果。上述实验结果证明了改进模型不仅有效去除了泊松噪声,而且避免了泊松去噪过程中产生的伪影和散斑等问题。

广义乘子法求解构造变分问题的神经网络方法

边界条件的施加是求解偏微分方程定解问题的重要步骤。神经网络方法求解偏微分方程定解问题时,将原问题转化为对应的构造变分问题后,损失函数是包含控制方程与边界条件的泛函。采用经典罚函数法及其改进方法施加边界条件时,罚因子的取值直接影响计算精度和求解效率;直接采用Lagrange乘子法施加边界条件,计算结果可能偏离原问题最优解。为破解此局限性,使用广义乘子法施加边界条件。基于神经网络获得原问题的预测解,再使用广义乘子法构建神经网络的损失函数并计算损失值,利用梯度下降法进行参数寻优,判断损失值是否满足要求;不满足则更新罚因子与乘子后再进行求解直至损失满足要求。数值算例的计算结果表明:与采用经典罚函数法、L1精确罚函数法和Lagrange乘子法施加边界条件构造的神经网络相比,该文提出的方法具有更好的数值精度和更高的求解效率,且求解过程更加稳定。

基于Lagrange优化神经网络的盲多用户检测

Lagrange优化神经网络克服传统的基于罚函数的神经网络的缺陷,直接对不等式约束进行处理,降低网络规模和复杂度,是一种新型的优化神经网络.基于这种Lagrang优化神经网络,提出一种盲多用户检测算法,并通过仿真表明,该算法在误码率性能方面有所改善,收敛速度也明显提高.

一种新型的Lagrange非线性规划神经网络

通过改造Lagrange乘子项 ,对不等式约束和等式约束用同样的方法处理 ,构造出一种新型的Lagrange非线性规划神经网络 ,并对网络的稳定性和收敛性进行严格的理论分析 .而且 ,用增加惩罚项的方法 。

带有变化分布时滞的复值神经网络Lagrange稳定性

研究了带有变化分布时滞的复值神经网络Lagrange稳定性问题.通过构造合适的Lyapunov-Krasovskii泛函,并使用矩阵不等式技巧,建立了网络全局指数Lagrange稳定性的判定条件.提供的判据是复值线性矩阵不等式,能够使用MATLAB软件的YALMIP工具箱快速计算.

Lagrange神经网络的稳定性分析

若重新定义与不等式约束相关的乘子为正定函数,则在构造Lagrange神经网络时,可直接使用处理等式约束的方法处理不等式约束,不需再用松驰变量将不等式约束转换为等式约束,减小了网络实现的复杂程度.利用Liapunov一阶近似原理,严格分析了这类Lagrange神经网络的局部稳定性;并采用LaSalle不变集原理,讨论其大范围稳定性.

Lagrange优化的LMK神经网络盲多用户检测

提出一种基于LMK准则的前馈神经网络盲多用户检测算法,给出算法的代价函数和约束条件,利用Lagrange方法对带约束的代价函数进行优化,获得前馈神经网络网络权值的迭代公式,从而实现神经网络盲多用户检测。仿真结果表明,新算法具有良好的误码率性能和收敛速度。

Lagrange优化神经网络的原理及实现

人工神经网络是指模拟人脑神经系统的结构和功能,运用大量的处理部件,由人工方式建立起来的网络系统。近几年来,人工神经网络的研究工作十分活跃,取得了很大的进展,研究开发出了几十种神经网络的模型,出现了多种新型神经网络。阐述了Lagrange优化神经网络的原理和简单的电路实现,它克服了传统的基于罚函数的神经网络的缺陷,直接对不等式约束进行处理,降低了网络规模和复杂度,是一种新型的优化神经网络,并通过计算机仿真对其可行性进行了验证。

Lagrange优化前馈神经网络盲多用户检测算法

提出了一种前馈神经网络盲多用户检测算法。该算法利用恒模准则构造了一个代价函数,给出了该算法的约束条件。利用增广Lagrange函数方法对带约束的代价函数进行优化求解,获得前馈神经网络网络权值和参数的迭代公式,从而实现了盲多用户检测。利用计算机对增广Lagrange函数优化的前馈神经网络盲多用户检测算法进行仿真。仿真结果表明,新算法具有较好的误码率及收敛特性等性能。

时滞回归神经网络Lagrange稳定的一个新判据

运用时滞微分不等式的方法,对一类Lurie型的激励函数(包括有界和无界激励函数)的时滞回归神经网络,在Lagrange意义下全局指数稳定进行了研究,拓展了稳定性的充分判据,并通过数值例子验证了所得结论的正确性和有效性。

基于L-S Lagrange函数的神经网络方法

利用非线性规划的Log-Sigmoid(L-S)型Lagrange函数及其对偶问题的性质,提出一种求解优化问题的神经网络方法,并讨论网络的收敛性和稳定性条件,算例表明该神经网络能有效求解.

参数扰动下时滞忆阻神经网络的Lagrange稳定性

根据忆阻器物理特性,建立了一类荷控忆阻神经网络模型,模型中忆阻器的记忆特性被保留.针对实际忆阻器阻值与理想模型存在差异造成忆阻神经网络中参数不确定的问题,研究参数扰动下时滞忆阻神经网络的Lagrange稳定性.将模型重构为双重扰动形式以处理忆阻器忆阻值变化造成的模型中的参数变化.通过构造Lyapunov函数和应用线性矩阵不等式方法,以线性矩阵不等式形式给出了网络Lagrange稳定的充分条件,并给出了相应的全局指数吸引集的估计.最后,通过与现有模型的仿真结果对比,展示了所建立模型的优势.利用数值算例展示了参数扰动造成忆阻神经网络周期解的偏移,说明了研究参数扰动对忆阻神经网络稳定性影响的必要性,并验证了理论所得稳定性判据的可行性.

基于Markovian切换的时滞回归神经网络Lagrange全局均方指数稳定

对一类激励函数是Lurie型(包括有界和无界激励函数)的具有Markovian切换的时滞回归神经网络的Lagrange全局均方指数稳定性进行了研究,得到了回归神经网络在Markovian切换状态下的Lagrange全局均方指数稳定的充分判据,并通过数值例子验证了所得结论的正确性和有效性.

Pi-sigma神经网络的乘子法随机单点在线梯度算法

在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法,将有约束问题转换为无约束问题,利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性,仿真实验结果验证了算法的有效性。

基于交替方向乘子法的球磨机负荷分布式随机权值神经网络模型

针对传统集中式机器学习处理大规模数据存在通信开销大、算法时间和空间复杂度高等问题,基于交替方向乘子法(ADMM),提出一种球磨机负荷分布式随机权值神经网络建模方法,局部网络节点采用正则化随机权值功能连接RVFL网络,全局球磨机负荷模型参数采用分布式优化学习ADMM方法交替迭代更新求解。实验结果表明,基于ADMM-RVFL的球磨机负荷模型在计算速度和精度方面具有相对优越性。

基于零模正则的神经网络剪枝方法

本文提出一种有效的神经网络剪枝方法。该方法对神经网络训练模型引入零模正则项来促使模型权重稀疏,并通过删减取值为零的权重来压缩模型。对所提出的零模正则神经网络训练模型,文中通过建立其等价MPEC形式的全局精确罚得到其等价的局部Lipschitz代理,然后通过用交替方向乘子法求解该Lipschitz代理模型对网络进行训练、剪枝。最后,对MLP和LeNet-5网络模型进行测试,分别在误差2.2%和1%下,取得97.43%和99.50%的稀疏度,达到很好的剪枝效果。

采用结构进化策略的Lagrange乘子法优化换热网络

针对罚函数法处理有约束问题时存在的不足,采用Lagrange乘子法优化换热网络。为求解Lagrange函数方程组,根据确定性方法,提出最速下降法求解策略以及Powell法求解策略。通过极小值判断机制,保证Lagrange函数方程组的解是原换热网络目标函数值的极小值。根据实际工况,提出结构进化策略,与Lagrange乘子法相结合,实现了换热网络全局最优化。通过经典算例验证了两种求解策略的有效性、准确性以及结构进化策略的通用性。与文献结果进行对比,结果表明本算法具有较强的局部搜索能力以及全局搜索能力,能够找到更优的换热网络结构,有利于在工业生产中节约成本。

径向基函数(RBF)神经网络的一种极大熵学习算法

RBF神经网络中心向量的确定是整个网络学习的关键 ,该文基于信息论中的极大熵原理构造了训练中心向量的极大熵聚类算法 ,由此给出了网络的极大熵学习算法 .文中最后分别用一个时间序列预测和系统辨识问题验证了该学习算法的有效性 ,同 RBF网络和多层感知机的误差回传算法相比 ,该算法不仅在学习精度和泛化推广能力上有一定程度的提高 ,而且学习时间有显著的降低 .