BP神经网络修剪算法筛选白血病预后危险因素

目的 通过单层BP网络的修剪算法 ,进行白血病预后危险因素筛选 ,并讨论修剪算法在医学统计中的应用及其与逐步logistic回归的联系。 方法 对上海市 1985 - 1995年间部分初发白血病病人的 6个月预后及可能的影响因素进行分析 ,分别用修剪算法和逐步logistic回归拟合不同的模型 ,利用ROC曲线下面积比较各个模型的判别和预测效果。结果 利用修剪算法 ,可得到与逐步logistic回归相同的BP模型结构 ;应用不同的修剪参数得到含不同连接的BP网络模型 ,最终稳定于含 10个连接的模型。所有修剪的BP网络对测试集的判别效果均好于逐步logistic回归。 结论 修剪算法可以进行变量筛选 ,并可应用于弱影响因素的探索。修剪的单层BP网络的权重系数与逐步logistic回归的回归系数相同 。

一种神经网络快速修剪算法

通过分析非线性函数各输入参数对函数值的影响,发现当输入参数间无相互作用时,表征其灵敏度的傅立叶振幅主要集中在基频上.基于该发现,提出一种基于扩展傅立叶振幅灵敏度方法的神经网络隐含层神经元快速修剪算法.其实质是通过计算神经网络隐含层各神经元输出的指定基频上的傅立叶振幅,求取隐含层神经元对神经网络输出的灵敏度.根据各神经元的灵敏度,按照一定的准则削减冗余神经元,获得紧凑的神经网络结构.将提出的神经网络结构修剪算法用于污水水质参数化学需氧量(COD)的软测量过程中,实验结果与扩展傅里叶振幅灵敏度算法相比,在修剪效果相同的情况下,其运行时间得到明显减小.

一种多层前馈神经网络的快速修剪算法

针对目前神经网络在应用中难于确定隐层神经元数的问题,提出了一种神经网络结构的快速修剪算法.该算法在最优脑外科算法(OBS)的基础上,通过直接剔除冗余的隐层神经元实现神经网络结构自组织设计.实验结果表明,快速修剪算法与常规的最优脑外科算法相比,具有更简单的网络结构和更快的学习速度.

基于结构修剪神经网络的股票指数预测模型

股票市场是非线性系统,具有内部结构复杂性和外部因素多变性,在股市指数价格和成交量基础上,引入宏观经济指标共同构建模型预测指标体系,并分析各指标之间的长期均衡关系和因果关系。在贝叶斯分析的基础上,将代表网络复杂性的惩罚项引入模型误差函数中,并通过动态调整惩罚因子删减网络中对股票市场不敏感的隐层神经元,在保证模型泛化能力的同时实现网络结构精简。以上证指数为例,构建基于BP算法的结构修剪神经网络预测模型,在不同的预测指标体系下对股票市场运行规律进行学习,并对上证指数进行仿真预测。最后,通过与其他神经网络预测模型比较验证该模型的有效性。

基于增长修剪型神经网络的半导体生产线动态瓶颈分析方法

瓶颈设备是制约半导体生产线在制品水平、生产周期及准时交货率的关键因素,对其进行有效地分析能够提高生产线多性能.现有的分析方法主要是将瓶颈设备视为静态瓶颈,未考虑到生产线不确定因素所带来的动态漂移问题,这样容易造成以瓶颈设备控制为核心的调度算法缺乏柔性,降低算法实效性,因此,本文提出一种基于增长修剪型神经网络的动态瓶颈分析方法.该方法从设备相对生产负荷、利用率及缓冲区队列长度等方面,利用复合定义方法描述设备的综合瓶颈度,并结合瓶颈判定机制识别瓶颈;其次,通过构建增长修剪型神经网络模型预测生产线下一时刻瓶颈,借鉴闭环控制思想动态修正网络结构;再次,使用单因子试验法对影响瓶颈的关键参数进行分析以获得设备动态特性;最后,通过仿真验证方法的可行性和有效性.

应用神经网络的手写体数字识别算法研究

结合程序代码论述了1个手写体数字识别程序的原理。该识别程序应用了神经网络来实现其功能,采用BP网络。主要论及了关于BP网络的3个问题:反向传播算法;提高BP网络收敛速度的算法;以及文中提出的对网络进行修剪以期能改善其推广能力的1种算法。

基于股票市场灵敏度分析的神经网络预测模型

股票市场是非线性系统,具有内部结构复杂性和外部因素多变性,建立基于股票市场灵敏度分析的神经网络预测模型。针对神经网络结构设计问题,计算网络输入层与隐层神经元的灵敏度,并修剪网络中不敏感的神经元,在保证模型泛化能力的同时,实现网络结构精简;针对神经网络黑箱问题,根据输入层神经元灵敏度解决各输入变量对股票市场的重要性和反馈机制。以上证指数为例,在不同的时间跨度下对股票市场运行规律进行学习,并分析不同结构修剪模型的适用性和市场意义。最后,通过与其他神经网络预测模型比较,验证本文模型的有效性。

卫生统计

群组判断中求权向量的一种新方法；非独立数据内部相关系数的抽样分布；信息权数在行为方式健康效应综合评价中的应用；慢性病信息系统的指标及其收集方法的研究；多状态Markov模型及其在慢性病流行病学研究中的应用；应用人工神经网络预测糖尿病/糖耐量异常；BP神经网络修剪算法筛选白血病预后危险因素；中国成年人高血压患病率、知晓率、治疗和控制状况；利用基因表达谱对组织样品分类方法的研究；基因表达数据聚类分析结果的评价方法研究；计算中国男性人体环节质心位置的多元回归方程的研究；中国女性青年人体体段质心位置及测算方法；应用简易体脂参数估测中国肥胖人群腹腔内及腹壁皮下脂肪面积；

贪心剪枝:无需搜索的自动剪枝算法

运行功能强大的神经网络需要消耗大量的存储空间和计算资源,这对资源有限的移动设备和嵌入式设备是无法接受的。针对这个问题,本文基于贪心策略提出了一个高效的GreedyPruner算法用来自动修剪网络模型。该算法首先预训练一个超网络,这个超网络可以预测任意给定网络结构的性能;其次,引入精度队列和压缩池分别保存性能较好和剪枝率较高的网络结构,提出贪心训练策略对超网络进行二次训练,将训练空间从全体解空间贪婪地转移到精度队列和压缩池中;最后,取精度队列和压缩池中的最优网络结构进行权值微调,得到修剪后的网络模型。实验结果表明,GreedyPruner可以在网络性能几乎不变的情况下,大幅压缩模型的参数和运算量,压缩后的网络模型更有利于部署在移动设备和嵌入式设备中。

Neural Network Pruning Algorithm with Penalty OBS Process

Aimed at the great computing complexity of optimal brain surgeon (OBS) process, a pruning algorithm with penalty OBS process is presented. Compared with sensitive and regularized methods, the penalty OBS algorithm not only avoids time-consuming defect and low pruning efficiency in OBS process, but also keeps higher generalization and pruning accuracy than Levenberg-Marquardt method.

LMBP神经网络改进算法的研究

在LMBP算法训练过程中,大型矩阵的求逆运算限制算法的收敛速度,本文针对这一特点,在训练网络的权值和偏移值时采用求解大规模线性方程组的超记忆梯度算法,避免矩阵求逆耗时的缺点,同时对原有的步长因子进行自适应改变,并通过网络修剪对隐层神经元结构进行优化。最后以某型号设备齿轮箱为例进行仿真。结果表明,本文的改进算法能够明显缩短训练时间,并且经过此算法训练的网络有较高的故障诊断性能。