两输入幂激励前向神经网络权值与结构确定

基于多元函数逼近与二元幂级数展开理论,构建了一个以二元幂函数序列为隐神经元激励函数的两输入幂激励前向神经网络模型。以该网络模型为基础,基于权值直接确定法以及隐神经元数目与逼近误差的关系,提出了一种网络权值与结构确定算法。计算机仿真与数值实验结果验证了所构建的网络在逼近与去噪方面具有优越的性能,所提出的权值与结构确定算法能够快速、有效地确定网络的权值与最优结构,保证网络的最佳逼近能力。

三输入伯努利神经网络权值与结构双确定

根据函数逼近理论以及Weierstrass逼近定理,构造出一类以伯努利多项式的乘积为隐层神经元激励函数的三输入神经网络模型,即三输入伯努利神经网络。针对该网络模型,根据权值直接确定法以及隐层神经元数目与逼近误差的关系,提出了三个网络权值与结构双确定算法。数值实验显示,由这三个算法分别确定的神经网络在学习与校验方面都拥有优越的性能,同时也具有较佳的预测能力。

权值直接确定法(WDD)的由来、转承与展望

简单地回顾了神经网络理论的发展历史与基础,说明了传统神经网络的缺陷,阐述了权值直接确定(WDD)法的由来,其避免了传统神经网络算法冗长的迭代学习过程。在权值直接确定法的基础上,笔者团队通过试探调整和选择网络结构,提出了权值与结构确定(WASD)理论。笔者团队进一步将权值结构确定与后续迭代学习进行结合提出权值结构策略(WASP),其代表了人工神经网络科学未来的重要研发方向之一。

符号函数激励的WASD神经网络与XOR应用

基于权值与结构确定(WASD)算法,提出和构建了一种以非连续符号函数为隐层神经元激励函数的WASD神经网络模型。通过WASD算法,能有效地确定所构建网络的权值及网络的最优结构。该文也将此网络模型应用于XOR(异或)上,并详细讨论了在带噪类型不同时网络在此应用上的性能。计算机数值实验结果验证了所提出的权值与结构确定法能够有效地确定出网络的最优权值与结构,所构建的WASD网络在XOR应用上具有优秀的抗噪性能。另外,通过对比符号函数激励的WASD神经网络与幂函数激励的WASD神经网络在高维XOR应用方面的性能差异,证实了所提出的符号函数激励的WASD神经网络及算法在解决非线性问题时的优越性。

基于ARIMA与WASDN加权组合的时间序列预测

为了提高时间序列预测方法的预测精度以及增强其适用性,提出一种ARIMA-WASDN加权组合方法。该方法同时使用差分自回归移动平均(autoregressive integrated moving average,ARIMA)模型与配备权值及结构确定(weights and structure determination,WASD)算法的幂激励前向神经网络(WASDN)对时间序列进行建模、测试以及预测。根据测试结果,将ARIMA与WASDN进行加权组合。数值实验结果显示,所提出的ARIMA-WASDN加权组合方法的预测精度高于ARIMA或WASDN单独使用时的预测精度,验证了该方法在时间序列预测方面的有效性和优越性。

多类单输入多项式神经网络预测能力比较

多项式神经网络是根据函数逼近理论与多项式插值建立的一种以线性无关或者正交多项式为隐层神经元激励函数的前向神经网络。分别利用Legendre多项式、Hermite多项式、第一类Chebyshev多项式、第二类Chebyshev多项式、Bernoulli多项式及幂函数构造相应的单输入多项式神经网络,设计出一种适用于该六类神经网络的增长型权值与结构确定算法以确定其相应的最优网络结构与连接权值。基于该算法,深入研究了采用不同的隐层神经元激励函数时多项式神经网络的学习和预测能力。仿真结果表明,除了由Hermite多项式和Bernoulli多项式构建的神经网络的学习和预测能力相对一般外,其他四类神经网络都具有较为优越的学习和预测能力。最后,利用第一类Chebyshev多项式神经网络对世界人口趋势进行了仿真预测。