神经网络结构搜索在脑数据分析领域的研究进展

神经网络结构搜索(neural architecture search,NAS)是自动化机器学习的重要组成部分,已被广泛应用于多个领域,包括计算机视觉、语音识别等,能够针对特定数据、场景、任务寻找最优的深层神经网络结构.将NAS引入至脑数据分析领域,能够在图像分割、特征提取、辅助诊断等多个应用领域大幅度提升性能,展现低能耗自动化机器学习的优势.基于NAS进行脑数据分析是当前的研究热点之一,同时也具有一定挑战.目前,在此领域,国内外可供参考的综述性文献较少.对近年来国内外相关文献进行了细致地调研分析,从算法模型、研究任务、实验数据等不同方面对NAS在脑数据分析领域的研究现状进行了综述.同时,也对能够支撑NAS训练的脑数据集进行了系统性总结,并对NAS在脑数据分析中存在的挑战和未来的研究方向进行了分析和展望.

用于神经网络结构搜索性能评估策略的新评价准则MKR

引言在人工智能领域,深度学习技术因其卓越的性能而广受瞩目。深度学习的核心在于人工神经网络,而神经网络的性能在很大程度上取决于网络结构的设计和优化。这就意味着,为了得到更好的结果,必须致力于设计与优化更为有效的网络结构。

多层前馈人工神经网络结构研究

研究表明,由多层FNN的BP算法误差函数构成的非线性方程组的独立方程个数和FNN的待求未知变量的个数应该相等,该方程组才能有唯一组解.由此导出网络结构方程式,进而导出隐层层数判别式和每层神经元个数判别式.依据Kolmogorov定理,由该判别式得出求解FNN隐层层数和每个隐层神经元个数的具体算法.计算机仿真结果表明该方法简明实用.

神经网络结构动态优化设计的分析与展望

阐述了神经网络结构设计对神经网络性能的影响.介绍了动态结构神经网络,尤其是增长型和修剪型神经网络研究的发展过程,分析了动态设计方法研究在计算能力、学习理论和网络的稳定性等方面取得的成果.最后对神经网络动态设计的研究进行总结,给出了神经网络结构动态设计研究的发展趋势.

基于多级神经网络结构的手写体汉字识别

本文提出了一种用于手写体汉字识别的多级神经网络结构（Ｍｕｌｔｉ－ｓｔａｇｅＮｅｕｒａｌＮｅｔｗｏｒｋＡｒｃｈｉｔｅｃｔｕｒｅ，ＭＮＮＡ）模型。在该模型中，我们将多个神经网络和不同的特征提取方法有机地集成在一起而构成一个完整的模式识别系统。我们讨论了设计ＭＮＮＡ的一般原理，并提出了一个基于多层前馈神经网络的三级结构的手写体汉字识别实验系统。三种不同的特征提取方法被应用于各级子系统之中。对１００个汉字１５０００个样本的实验我们得到了９９．３４％的识别率，０．３６％的拒识率和０．３％的误识率。

优化神经网络结构

本文综述了构造优化神经网络结构的一些方法，并对这些方法进行了分类，最后提出了存在的问题和进一步的工作．

人工神经网络结构对径流预报精度的影响分析

建立了基于径流形成机理的以时段降水量与前期径流量为预报因子的前向多层人工神经网络径流预报模型；分析了网络结构对月径流预报精度的影响，发现随网络结构的复杂化，网络训练误差减小，模型评定的确定性系数增大，并均趋于稳定，预报检验的确定性系数总趋势是减小；发现影响模型精度的决定因素是网络输入单元数，亦即径流影响因素；提出了以模型评定与预报检验共同高效或等效的模型选择的折衷方法，以及按模型适宜预报域进行多模型组合预报的最佳预报域组合法。

任务自适应神经网络结构研究

在基于任务自适应的统一框架下讨论了神经网络的生成方案，重点研究了两类典型而适用的神经网络构筑算法，即基于隐节点自适应增长的神经网络结构算法和基于子网自适应增长的神经网络结构算法。还结合所提出的层次式多网络模型，对基于任务的神经网络的自适应结构方案、发展前景与存在的问题作了详细的比较研究。

一种自动生成神经网络结构的新方法

神经网络已广泛应用于模式识别、优化计算等领域．但是，人们为了寻求某一问题的神经网络结构，往往采用穷举法，从而使得选择合适的神经网络结构随着问题规模的变大而变得越来越困难．本文根据神经元状态的变化导致人脑的空间结构和状态变化的研究，在神经网络中引入神经元的兴奋、抑制和突触修改机制、退化机制、死亡机制、自修复机制等，通过神经网络的学习，自动生成解决某一具体问题的合适的神经网络结构．实验结果表明，该方法是可行的、有效的，为神经网络结构的设计提供了一种新方法．

深度学习的轻量化神经网络结构研究综述

随着深度神经网络和智能移动设备的快速发展,网络结构轻量化设计逐渐成为前沿且热门的研究方向,而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法,对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势,总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性。在此基础上,指出轻量化网络结构设计所面临的挑战,同时对其应用方向及未来发展趋势进行展望。

一种小波神经网络结构及其学习算法研究

基于仿射小波神经网络的逼近原理和结构设计问题 ,本文提出了一种新型小波神经网络结构 ,研究了其结构化设计方法和相应的学习算法 ,优化组合小波基元激励函数 ,实现了小波神经网络权系数的二次学习 ,避免了“维数灾”问题 ,改善了网络学习特性。计算机仿真结果表明 ,研究的小波神经网络结构及其学习算法简单有效 。

基于粗糙集优化神经网络结构的启发式算法

为了解决神经网络设计中确定网络结构尤其是隐层单元数的问题,提出了一种基于粗糙集理论确定神经网络结构的启发式算法。通过粗糙集理论属性约简算法对训练样本数据进行处理,根据处理结果确定网络的输入、输出以及隐层单元数。在对A320飞机自动驾驶仪不能衔接的故障诊断实例中,所设计的网络在训练中能够快速收敛,相对于传统的试探法能更快速准确地确定网络结构,从而提高飞机故障诊断效率,缩短维修时间,证明了该方法的实际可行性。

用神经元网络辨识非线性系统中的网络结构选择

本文定义了神经元网络的权值拟熵，在对多层前馈网训练的常规目标函数中加入权值拟熵作为约束项以改变网络的权值分布从而修定网络结构．将此方法用于一类非线性系统的神经网络辨识中可以优化网络模型输入项数和隐节点数目．

前馈过程神经网络的网络结构与泛化能力

基于提高过程神经网络泛化能力的角度,对前馈过程神经网络网络结构对泛化能力的影响进行研究,得出以下结论:其过程神经元隐层(时变隐层)起主要作用,一般神经元隐层(非时变隐层)并非是必须的,对于相同特征的样本,过程神经元对样本特征的抽取能力远远高于传统神经元。给出了一个基于提高泛化能力的前馈过程神经网络网络结构构造算法,并应用一个实例验证了其有效性。

基于神经网络结构搜索的目标识别方法

针对目标识别需求,对基于神经网络的深度学习方法展开研究。由于深度学习模型中包含了对数据的先验假设,因此人工设计神经网络需要领域内专家丰富的先验知识,且具有劳动密集与时间成本高的缺点。为了获得超越专家个人经验、表现更好的网络,采用一种可微神经结构搜索的高效结构搜索方法,将搜索空间放宽为连续的空间,然后通过梯度下降来优化体系结构的验证集性能,从而找到面向目标识别的最优神经网络结构。仿真实验结果表明,将基于神经网络结构搜索的目标识别方法应用于“低慢小”类目标识别是可行的。

基于粗糙集的神经网络结构优化方法

针对神经网络的结构存在冗余的问题,提出了一种利用粗糙集优化神经网络结构的方法。在保持神经网络处理能力的基础上,利用网络的隐层神经元与网络误差构造决策表并进行属性约简,删除冗余的隐层节点。实验证明,该方法可以简化神经网络结构和减少神经网络的训练时间。

一种用GEP进化神经网络结构和权值的方法

提出一种用基因表达式编程(gene expression programming,GEP)自动设计神经网络结构和权值的算法。论述算法的基本思想和基本操作,针对算法的早熟现象和变异率低问题进行了相应的改进,给出这种算法的应用实例。实验结果表明,GEP可以自动设计神经网络的结构,并能给出优化的网络权值,与其他优化算法相比,收敛速度更快。

新型广义径向基函数神经网络结构研究

提出了一种新型的广义径向基函数(RBF)神经网络,并研究了该网络的学习方法。不同于传统三层结构的RBF网络,广义RBF网络增加了基函数输出加权层,并在输出层采用超曲面去逼近任意的非线性曲面。实例仿真结果表明,与传统的RBF网络相比,该网络具有良好的逼近性能,收敛速度快,可逼近任意多变量非线性函数。

基于递归神经网络结构的非平稳信号自适应盲分离

基于递归网络分离结构并利用时间相关的评价函数,针对二输入二输出盲信号分离问题,提出了一种非平稳信号的自适应盲分离算法。该算法计算量小,可根据输出信号能量大小有选择地更新分离系数,并可扩展到多输入多输出盲分离问题。仿真验证对声音等非平稳信号具有良好的分离效果。

基于低维参数空间的神经网络结构设计方法

本文研究了流形学习的分类器网络结构优化设计问题,针对利用神经网络对同一对象的非线性结构样本集进行分类和识别时,如何合理地设计网络结构的问题,提出了一个新颖的基于低维参数空间估计的神经网络结构设计的方法。该方法以流形学习为基础,结合Sammon系数有效估计出低维参数空间大小,并将此对应到神经网络结构分组设计的隐节点分组数目上,从而设计出具有一定泛化能力的网络结构。实验结果表明了本文所提方法的有效性。