基于神经算子与类物理信息神经网络智能求解新进展

深度学习通过多层神经网络对数据进行学习,不仅能揭示潜藏信息,还能很好地解决复杂非线性问题.偏微分方程(PDE)是描述自然界中许多物理现象的基本数学模型.两者的碰撞与融合,产生了基于深度学习的PDE智能求解方法,它具有高效、灵活和通用等优点.文章聚焦PDE智能求解方法,以是否求解单一问题为判定依据,把求解方法分为两类:神经算子方法和类物理信息神经网络(PINN)方法,其中神经算子方法用于求解一类具有相同数学特征的PDE问题,类PINN方法用于求解单一问题.对于神经算子方法,从数据驱动和物理约束两个方面展开介绍,分析研究现状并指出现有方法的不足.对于类PINN方法,首先介绍了基础PINN的3种改进方法 (基于数据优化、基于模型优化和基于领域知识优化),然后详细介绍了基于物理驱动的两类解决方案:基于传统PDE离散方程的智能求解方案和无网格的非离散求解方案.最后总结技术路线,探讨现有研究存在的不足,给出可行的研究方案.最后,简要介绍智能求解程序发展现状,并对未来研究方向给出建议.

基于改进的傅里叶神经算子数值求解频率域声波方程

在许多应用中,频率域声波方程的数值求解发挥着重要作用,如医学成像和地震勘探。传统的频率域声波方程求解方法,如有限差分法、有限元法等,通常具有参数依赖性,导致计算成本高昂。本文提出了一种结合残差网络(ResNet)和傅里叶神经算子(FNO)的神经网络方法(RFNO),以快速求解频域声波方程。RFNO可以学习从速度参数函数空间到波场函数空间的映射。因此,当神经网络经过适当训练后,对于不同的速度可以快速高效给出波动方程的近似解。基于简单分层模型和Marmousi模型数据集进行的数值实验,以验证RFNO的有效性。数值结果表明,RFNO在计算效率方面表现出良好的性能。因此,在反问题求解过程中,RFNO是非常具有竞争力的一种正问题求解器。

基于深度算子神经网络的翼型失速颤振预测

失速颤振是弹性结构大幅俯仰振动与动态失速气动力耦合所发生的一种单自由度失稳现象,需有效预测其失稳分岔速度与失稳后的极限环振荡幅值.针对NACA0012翼型大幅俯仰运动气动力预测问题,发展了由嵌入门限循环单元或长短时记忆神经网络单元的分支网络(branch net)和主干网络(trunk net)组成的深度算子神经网络(deep operator network, DeepONet)结构.通过给定大幅俯仰运动下的动态失速CFD气动力数据对深度算子神经网络参数进行训练,建立了高精度动态失速气动力的数据驱动模型,并有效预测其他俯仰运动下的非定常气动力.更进一步,将基于深度算子神经网络的非定常气动力数据驱动模型与结构动力学方程耦合,采用数值积分方法预测失速颤振的失稳分岔速度和不同速度下的极限环振荡特性.结果表明,在动态失速气动力预测精度方面,与普通循环神经网络相比,深度算子神经网络通过引入主干网络结构,可考虑运动与气动力间的迟滞特性,气动力预测平均绝对误差降低2%,误差分散性更低;在失速颤振预测方面,极限环振荡幅值误差在2%以内,增加来流速度输入的深度算子神经网络模型预测误差显著小于固定速度输入的算子模型.

基于函数值再生核希尔伯特空间的偏微分方程神经求解算子

通过精心设计神经网络结构来学习无穷维函数空间之间的映射,算子学习方法——神经算子,相较于传统方法在求解偏微分方程等复杂问题上展现出极高的效率.为此,本文结合函数值再生核希尔伯特空间,提出一种新型的神经算子——再生核神经算子(RKNO).受到最近优秀的算子学习方法——深度算子网络(DeepONet)的启发,RKNO通过推广希尔伯特-施密特积分算子和表示定理而实现.在Advection,KdV,Burgers和Poisson方程上的数值实验表明,与DeepONet和其他模型相比,RKNO具有更易于表达和高效的结构.此外,RKNO还显示出与离散化无关的性质,可以在低分辨率数据训练后,找到高分辨率输入后的解.

一类拟插值Kantorovich型神经网络算子的估计

该文在神经网络算子理论中的Max-product型算子和Kantorovich型算子的基础上,构造了一种由Sigmiodal函数激发的拟插值型的神经网络算子,考虑了其对实数域上非负连续函数的点态逼近和一致逼近,并给出了其在L^(p)_(+)(ℝ)空间上的逼近定理.

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

精英遗传改进的非线性灰色神经网络算子与军费开支多目标组合预测应用

军费开支属于复杂经济系统下具有宏观经济特征的一类非线性时间序列。在多目标组合下的军费开支预测问题研究背景下,提出了一种基于精英遗传算法(elite genetic algorithm,EGA)改进的非线性灰色神经网络计量组合预测模型,给出了总体建模思路与非线性灰色神经网络算子分系统和EGA分系统设计方法,解决了多准则目标优化的NP完全问题,并对模型的预测效果进行比较分析。采集美国27年间(1990-2016年)军费开支时间序列进行实证检验,分析结论认为非线性灰色神经网络算子能够有效提高模型精度,EGA算法在收敛速度与精度上优于标准遗传算法,采用所建立的预测模型进行军费开支预测精度更高,效果更好。

模糊算子神经网络的函数逼近能力

研究模糊算子神经网络的函数逼近能力.首先提出传统神经网络和模糊神经网络的一般模型即模糊算子神经网络,又将其进一步推广为广义模糊算子神经网络.考察这两种通用模型的代数结构和分析性质,给出其连续函数的一致逼近定理.其结论是传统神经网络逼近性质的推广,适用于由任何连续算子构成的多层神经网络(模糊神经网络).

一种神经网络算子及其逼近阶估计

讨论了一种神经网络算子f_n(x)=sum from -n^2 to n^2 (f(k/n))/(n~α)b(n^(1-α)(x-k/n)),对f(x)的逼近误差|f_n(x)-f(x)|的上界在f(x)为连续和N阶连续可导两种情形下分别给出了该网络算子逼近的Jackson型估计.

一类神经网络算子的构造与逼近

目的:众所周知,人工神经网络具有很好的函数逼近能力。近年来,已有许多作者论证了该逼近的可行性。本文研究一类以双曲正切函数为激活函数的神经网络算子的构造与逼近问题。方法:首先,利用双曲正切函数的解析性质,对其进行适当的平移和组合构造一类钟型函数。然后,以所构造的函数作为激活函数定义一类神经网络算子。结果:估计该类算子逼近连续函数的误差,并建立Jackson型定理。结论:用构建的前向神经网络算子作为逼近工具,估计其对目标函数的逼近误差,并以此揭示网络拓扑结构与网络逼近能力之间的关系。

修正的线性和幂函数的神经网络算子的构造与逼近

研究修正的幂函数作为激活函数的神经网络算子的构造与逼近问题.首先考虑以修正的一次幂函数作为激活函数的单隐层插值网络,并给出其外权的计算和对连续的目标函数的逼近估计.其次,研究了以修正的次数不超过r次的幂函数作为激活函数的网络,并借助样条逼近的理论,得到了网络对满足一定条件的目标函数的逼近误差估计.

由斜坡函数激发的神经网络算子逼近

首先,引入一种由斜坡函数激发的神经网络算子,建立了其对连续函数逼近的正、逆定理,给出了其本质逼近阶.其次,引入这种神经网络算子的线性组合以提高逼近阶,并且研究了这种组合的同时逼近问题.最后,利用Steklov函数构造了一种新的神经网络算子,建立了其在L^p[a,b]空间逼近的正、逆定理.