基于构造性设计和GA的ANN建模方法

强调了激活函数在ANN设计中的重要性,提出一种基于构造性设计及GA的网络结构及神经元激活函数类型自动优化的ANN模型(constructived and GA based activation function,简称为CGBAF),并给出其一般形式和算法.本模型用于多层前向神经网络时,其网络结构及激活函数类型可自动优化,进而可大大提高ANN的泛化能力.通过例子验证了本方法的有效性,并进行了分析.

前馈网络构造性设计中基于GP实现神经元激活函数类型优化

讨论了在前馈网络构造性设计中如何基于遗传编程 (GP)实现神经元激活函数类型自动优化的问题 .首先 ,提出了典型前馈网络的一种构造性设计方法框架 ,将整个网络的设计分解为单个神经元的逐个设计 ;然后 ,在此框架下提出了基于GP的单个神经元的设计方法 ,该方法可实现对激活函数类型的优化 .仿真实验显示 ,本文的前馈网络构造性设计方案是可行的 ,与其他几种不优化激活函数类型的网络设计方法相比 ,本方法更有效 ,能用较小的网络规模获得更满意的泛化特性 .

ANN构造性设计中基于GA优选神经元激活函数类型

构造性设计是ANN设计的发展方向之一。全面的高质量的ANN学习应包括神经元激活函数类型的自动优化。该文在构造性设计的框架内讨论了如何实现典型前馈网络的包括神经元激活函数类型在内的全面学习。首先,提出了典型前馈网络的一种构造性设计方法的原理和算法框架,把整个网络的设计分解成了一个个单个神经元的设计问题;然后提出了基于GA的能实现激活函数类型优选的单个神经元的设计方法。大量函数拟合的仿真实验显示:与其它几种激活函数类型不优选的常见ANN设计方法相比,该文提出的方法更有效,能用较小的网络结构获得较好的泛化性能。

基于遗传规划实现泛函网络神经元函数类型优化

泛函网络是最近提出的一种对神经网络的有效推广。与神经网络不同,它处理的是一般的泛函模型,其神经元函数不固定,而是可学习的,且在各个处理单元之间没有权值。同神经网络一样,至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此,将整个泛函网络的设计分解为单个神经元的逐个设计;然后,在此框架下提出了基于遗传规划的单个神经元的设计方法,该方法可实现对神经元函数类型的优化。仿真实验表明,本方法是有效可行的,能用较小的网络规模获得更满意的泛化特性。