权值初始化与激励函数调整相结合的学习算法

提出了一种基于独立元分析(ICA)方法的权值初始化方法和动态调整S型激励函数的斜率相结合的神经网络学习算法。该方法利用ICA从输入数据中提取显著的特征信息来初始化输入层到隐含层权值。而且通过使神经网络的输出位于激励函数的活动区域,对隐含层到输出层的权值进行初始化。在学习过程中,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。最后通过计算机仿真实际的基准问题,验证了论文提出的方法的有效性。实验结果表明,所提出的方法能有效地加快多层前向神经网络的训练过程。

自学习神经网络权值初始化的贝叶斯方法

为了提高神经网络学习速度,以神经网络能实现基本控制功能为给定条件,在此给定条件下利用贝叶斯方法计算各种权值组合的后验概率,根据后验概率初始化网络权值而获得具有基本控制功能的初始神经网络,能够减小学习过程中权值修改的幅度,加快学习速度。通过交流电机矢量控制系统中速度环控制器自设计仿真实验,使用此方法初始化权值的网络自学习速度较随机取值法明显提高,验证了本方法的快速性和有效性。

多层前向神经网络权值初始化的研究进展

理想的初始值可以使多层前向网络模型有较快的收敛速度,同时避免陷入局部最小.对现有多种前向网络的权值初始化方法进行了综述,最后提出了若干待研究的问题.

基于决策树的BP神经网络权值初始化方法及其应用研究

为解决传统BP神经网络中随机初始化参数方法的缺陷,提出一种基于决策树信息增益算法的权值初始化方法。本文介绍了C4.5决策树算法和BP神经网络算法的主要特点,以及阐述了如何利用决策树算法中信息增益初始化BP神经网络权值参数,以避免传统随机初始化方法所造成的缺点。并以油气层敏感性评价的实例进行验证。实验表明,该初始化方法提高了BP神经网络的学习效率和准确度。

基于决策树的BP神经网络权值初始化方法及其应用研究

本文针对传统方法的BP神经网络初始化权值参数的随机性问题,提出了基于决策树算法的方法。本文概述了论题的研究背景,并针对C4.5决策树算法等进行了简要分析,通过实例分析的方式,对基于决策树的BP神经网络权值初始化方法的应用展开分析,以期为相关研究提供参考。

一种回声状态网络的权值初始化方法

为了避免奇异解,提高网络性能,给出一种回声状态网络的权值初始化方法(WIESN).利用柯西不等式和线性代数确定优化的初始权值的范围与输入维数、储备池维数、输入变量和储备池状态相关,从而确保神经元的输出位于sigmoid函数的激活区域.实验结果表明,权值初始化方法的精度和训练时间要优于随机初始化方法,且相比于训练时间,权值初始化的时间是可以忽略不计的.

三种初值选取方法对BP神经网络收敛速度影响的比较

运用MATLAB软件及其BP神经网络工具箱函数,结合一个实际的例子比较了三种初值选取的算法对BP神经网络收敛速度的影响.

改进回声状态网络的可燃气体异常检测研究

为了提高可燃气体异常检测的预测精度,针对回声状态网络中权值的随机初始化会造成实际值和预测值之间误差较大的问题,提出一种改进回声状态网络的权值初始化方法.首先利用Xavier初始化方法使得各层激活值的方差、状态梯度的方差分别在传播过程中保持一致,从而确保网络中信息更好地流动,然后采用改进回声状态网络对时间序列数据进行学习,建立预测模型,最后分别在三类不同的数据集上对模型性能进行仿真测试.结果表明,与原回声状态网络相比,改进后模型的均方误差、归一化均方根误差和平均绝对百分比误差明显降低,可以对可燃气体信息进行更准确的预测,根据预测值和实际值的残差实现对可燃气体的异常检测,具有更好的应用价值.

面向森林火灾烟雾识别的深度信念卷积网络

对于CNN的图像识别,采用随机初始化网络权值的方法很容易收敛达到局部最优值。针对林火中的烟雾图像识别,提出一种结合无监督和有监督学习的网络权值预训练算法。首先通过使用DBN预学习得到的特征初始化CNN的权值;然后通过卷积、池化等操作,提取训练样本的特征,并采用全连接网络对特征进行分类;最后计算分类损失函数并优化网络参数。实验的训练结果显示,基于DBN-CNN的森林火灾烟雾识别的准确率达到了98.5%,相比于其他算法其准确率更高。

深度稀疏修正神经网络在股票预测中的应用

传统的股票预测基于统计学的方法,虽然在股票的趋势预测中有效,但是价格预测的准确度不够令人满意。因此,文中利用神经网络研究股票价格的预测问题。神经网络具有很强的非线性拟合能力,适用于股票等非线性系统建模。文中采集了股票交易的历史数据作为数据集,对数据使用了归一化和主成分分析方法进行预处理,降低了数据维度,有利于简化模型和降低计算复杂度。针对模型的构建,设计了一种深度稀疏修正神经网络模型(deep sparse rectifier neural netw orks,DSRNN)。DSRNN具有多层网络结构,基于带动量项的BP学习算法训练参数,利用了激活函数ReLU (rectified linear units)和提出的权值初始化方法。并将其与其他三种基于传统方法建立的模型进行了比较,结果表明DSRNN在健壮性、精确度方面都有更好的表现。

基于深度卷积神经网络的羽绒图像识别

由于图像中羽绒形态及其多样性,传统的图像识别方法难以正确识别羽绒分拣图像中的羽绒类型,其识别精度也难以达到实际生产的要求.为解决上述问题,构造了一种用于羽绒类型识别的深度卷积神经网络,并对其权值初始化方法进行了改进.首先利用视觉显著性模型提取羽绒图像的显著部分,然后将图像的显著部分输入到稀疏自动编码器中进行训练,得到一组符合数据集统计特性的卷积核集合.最后采用Inception及其变种模块实现深度卷积神经网络的构造,通过增加网络深度来提高网络的识别精度.试验结果表明,用所构造的深度卷积神经网络对羽绒图像识别的精度较传统卷积神经网络的提高了2.7%,且改进的权值初始化方法使网络的收敛速度提高了25.5%.

基于数据挖掘的高校计算机实验室管理水平评价研究

以获取有效的高校计算机实验室管理水平评价结果为目标,研究基于数据挖掘的高校计算机实验室管理水平评价。结合高校计算机实验室特点建立高校计算机实验室管理水平评价指标体系。所建立体系共包含4个一级指标、17个二级指标,归一化处理二级指标相关评价值,利用Matlab软件编程构建BP神经网络评价模型,通过初始化权值、设置期望误差最小值以及最大循环数量、利用误差修正值更新权值、利用修正后的权值获取误差平方和直至满足误差要求完成模型训练,将完成归一化处理的待评价数据输入已训练的BP神经网络评价模型,获取最终评价结果。实验结果表明,BP神经网络隐含层神经元数量为6、学习速率为0.06时,评价某高校计算机实验室管理水平最终结果为优良,验证了该方法评价的有效性。