基于残差梯度法的神经网络Q学习算法

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度。为了进一步提高训练过程的稳定性,引入动量优化。此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题。通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性。

共轭梯度法向残差法的重力异常向下延拓研究

针对重力异常向下延拓的不适定性导致求解难度大的问题,该文采用了共轭梯度法向残差(CGNR)法与频率域积分迭代法,使用模拟重力异常数据进行向下延拓,并对两种方法的延拓效果进行对比。实验结果表明:二者均需对变量的数据进行扩边,以更好地消除边缘效应;CGNR法结合快速傅里叶变换(FFT)可以提高计算效率,有利于抑制噪声的影响,算法稳健性强且相比频率域积分迭代法具有较高的延拓精度,向下延拓深度可达20倍点距,且保持良好的延拓精度。