面向图像分类的Vision Transformer研究综述

作为一种基于Transformer架构的模型,ViT已经在图像分类任务中展现出了良好的效果。对ViT在图像分类任务上的应用进行系统性归纳总结。首先,简单介绍了ViT框架及其4个模块(patch模块、位置编码、多头注意力和前馈神经网络)的功能特性;其次,以ViT中4个模块的改进措施为脉络综述其在图像分类任务中的应用;再次,由于不同的模型结构和改进措施对最终的分类性能产生显著影响,还对文中出现的各类ViT进行了横向对比,并详细列出模型的参数和分类精度及其优缺点;最后,指出ViT在图像分类任务中的优势和局限性,并提出未来可能的研究方向以打破其局限性,进一步扩展ViT在其他计算机视觉任务中的应用,同时,还可以探索将ViT扩展到视频理解等更广泛的计算机视觉领域。

Response Surface Methodology and Artificial Neural Network Methods Comparative Assessment for Fuel Rich and Fuel Lean Catalytic Combustion

Modeling, predictive and generalization capabilities of response surface methodology (RSM) and artificial neural network (ANN) have been performed to assess the thermal structure of the experimentally studied catalytic combustion of stabilized confined turbulent gaseous diffusion flames. The Pt/γAl2O3 and Pd/γAl2O3 disc burners were located in the combustion domain and the experiments were accomplished under both fuel-rich and fuel-lean conditions at a modified equivalence (fuel/air) ratio (ø) of 0.75 and 0.25, respectively. The thermal structure of these catalytic flames developed over the Pt and Pd disc burners was scrutinized via measuring the mean temperature profiles in the radial direction at different discrete axial locations along with the flames. The RSM and ANN methods investigated the effect of the two operating parameters namely (r), the radial distance from the center line of the flame, and (x), axial distance along with the flame over the disc, on the measured temperature of the flames and predicted the corresponding temperatures beside predicting the maximum temperature and the corresponding input process variables. A three-layered Feed Forward Neural Network was developed in conjugation with the hyperbolic tangent sigmoid (tansig) transfer function and an optimized topology of 2:10:1 (input neurons:hidden neurons:output neurons). Also the ANN method has been exploited to illustrate the effects of coded R and X input variables on the response in the three and two dimensions and to locate the predicted maximum temperature. The results indicated the superiority of ANN in the prediction capability as the ranges of & F_Ratio are 0.9181 - 0.9809 & 634.5 - 3528.8 for RSM method compared to 0.9857 - 0.9951 & 7636.4 - 24,028.4 for ANN method beside lower values for error analysis terms.

基于邻域粗糙集的气象因子选择在虾塘水温预测中的应用

基于邻域粗糙集对影响虾塘水温变化的气象因子进行选择,并选取模型预测虾塘水温,为南美白对虾养殖趋利避害提供科学参考。首先,将平均气温、最高气温、最低气温、降水量、气压、2 min风速、10 min风速和瞬时风速等8个气象因子组合输入SFNN模型(单隐层前馈神经网络模型)、高斯回归模型和岭回归模型进行虾塘水温预测,选取预测效果最好的SFNN模型为本研究预测模型。然后,运用邻域粗糙集和熵理论,考虑气象因子和虾塘水温之间的相关性、冗余性和交互性,选出影响虾塘水温变化的主要气象因子。最后,利用选出的主要气象因子和SFNN模型实现虾塘水温预测。将基于邻域粗糙集选出的5个气象因子组合与8个气象因子组合,以及8个气象单因子分别输入SFNN模型,预测结果表明:邻域粗糙集选出的5个气象因子组合预测结果最好,其预测均方根误差、均方误差、平均绝对误差最小,分别为1.1211、1.2569和0.8938,决定系数(R2)为0.7916;在气象单因子中,气压对虾塘水温的预测结果较好。因此,基于邻域粗糙集选出的5个气象因子组合,通过SFNN模型进行虾塘水温预测结果最好,此方法在南美白对虾养殖趋利避害、防灾减灾中具有一定的实用价值。

前馈人工神经网络法在大坝安全监控中的应用

应用预测模型来监控大坝复杂的工作性态是一条有效途径。但因大坝的工作条件复杂、影响因素众多 ,给应用精确的数学模型监控大坝工作性态带来了困难。为此 ,应用人工神经网络模型隐式的数学表达形式 ,提出并建立了基于交替学习迭代算法的人工神经网络模型 ,并结合清江隔河岩水电站的实际 ,研究了这种模型在大坝基础渗流量及进水闸顶位移预测中的实际应用 ,其误差收敛快 ,预报精度较高。通过进一步的研究后 。

通用前馈网络及排序学习前向掩蔽模型在模式识别中的应用

本文讨论了不分层的通用前馈网络（GFFN），并提出了一种作为模式分类器的排序学习前向掩蔽（SLAM）模型及其算法实验结果表明，这种网络作为模式分类器用时，学习时间远小于各种改进的BP网络而且所需使用的神经元数量也有显著的减少本文还介绍了这种SLAM模型在应用双阈值神经元DTN时进一步减少神经元数量的实验结果及其网络结构和学习算法，以及这种模型的模式分类器所具有的不断扩展与改善的能力论文还介绍了SLAM模型模式分类器在CASSANDRA-I小型神经计算机上实现的实验结果：在256维输入空间1024个随机样本的分类情况，学习时间约3小时20分，判别时间为0．007秒．

混凝土强度预测的混合神经网络模型

针对由于混凝土配方的多样性,直接利用神经网络模型对其进行强度预测存在精度差和收敛差的缺点,采用多种神经网络模型相结合的方法,建立了混凝土强度预测的混合神经网络模型。模型的建立主要包括以下三个过程:(1)建立混凝土强度影响参数样本数据库;(2)利用自组织神经网络对样本数据分类;(3)以混凝土原材料和制作工艺为输入参数,混凝土最终性能为输出参数,训练双并联神经网络模型。通过实例验证了模型的可靠性。

具有先验知识的前馈网络规划模型在海水腐蚀预测中的应用

应用具有先验知识的前馈网络模型研究海水环境与材料（钢）腐蚀之间对应关系．结果表明该模型能够很好地揭示材料海水腐蚀规律，提高了预测准确度．

具有动态补偿能力的神经网络模型及其在动态系统建模中的应用

本文在多层前馈神经网络模型基础上，引入误差动态反馈环节，从而形成一种新的具有动态补偿能力的神经网络模型．新模型的训练利用反向传播原理实现．采用该模型对非线性动态系统进行建模时，能显著提高建模精度，特别是在网络模型工作时，对新出现的输出误差具有动态补偿能力．文中给出了新网络模型的结构和学习算法，最后是仿真实例．

前向神经网络:一个新的非参数回归方法

从统计建模的观点,前向神经网络可以看作是一个新的非参数回归方法.通过模拟例子和实际例子对前向神经网络和局部多项式光滑方法的有限样本行为进行了对比,结果表明前向神经网络稍微优于局部多项式光滑方法.此外,对前向神经网络的优点和存在的问题进行了深入讨论.

投影寻踪学习网络及其在控制系统中的应用展望

介绍了投影寻踪学习网络（ＰＰＬＮ）的结构原理，给出了其基本学习算法．讨论了ＰＰＬＮ算法结构改进及优缺点，分析了它对多变量控制系统建模、软测量及控制器设计问题的适用性，并展望了ＰＰＬＮ良好的应用前景．

基于差异进化算法的前馈神经网络在大坝变形监测中的应用

针对当前大坝安全监测中广泛采用的回归模型欠拟合的不足,提出了基于差异进化算法的前馈神经网络模型。差异进化算法是基于种群策略的全局优化搜索算法,具有应用简单、收敛快的优点。采用该法训练的神经网络可以有效避免常规BP(back propagation)神经网络收敛于局部极小点的缺陷。将提出的方法应用于某拱坝的变形监测,通过计算表明,应用DE(differential evotntion)神经网络模型预报大坝变形的精度比常规回归模型和BP神经网络模型均有所提高。

极限学习机与支持向量机在储层渗透率预测中的对比研究

极限学习机ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数,并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数,在算法执行过程中不需要调整网络的输入权值以及隐元的偏置,并且产生唯一的最优解,因此具有学习速度快且泛化性能好的优点。本文将极限学习机引入到储层渗透率的预测中,通过对比支持向量机,分析其在储层渗透率预测中的可行性和优势。实验结果表明,极限学习机与支持向量机有近似的预测精度,但在参数选择以及学习速度上极限学习机具有明显的优势。

基于模糊小脑模型神经网络的直线伺服跟踪控制

以永磁直线同步电动机为被控对象,在高精度直线伺服跟踪控制系统中,为使输出响应快速地跟踪输入指令,需要克服系统滞后、未建模动态、不确定性以及负载的变化因素等的影响.为此,提出了一种模糊小脑模型(FCMAC)神经网络直接逆控制的方案,可动态地克服上述这些因素的影响.同时,还给出了较详细的原理分析及实现过程.仿真结果表明,此控制方案是十分有效的,能够明显地提高伺服系统的快速跟踪能力,并使系统具有较强的适应性和鲁棒性.

基于人工神经网络方法求解半圆型防波堤波浪力

相对于传统的数值方法 ,人工神经网络具有建模迅速、实现方法简单、求解速度快等优点。本文用人工神经网络方法研究了半圆型防波堤所受波浪力的问题 ,为人工神经网络在海岸工程中的应用寻找新的思路和方法。

基于模糊算法的多小脑神经网络在混凝投药系统中的应用

净水工艺中的混凝投药是一个受多变量影响的非线性系统,无法建立准确的数学模型,且滞后时间较长。为了将混凝投药后的出水浊度控制在设定的范围内,并且有效地减少投药量,通过对混凝投药过程的分析,设计一种基于模糊算法的多小脑神经网络(CMAC神经网络)前馈控制器,并设计控制器离线建模和在线学习的方法。最后使用MATLAB进行仿真验证,结果表明,该前馈控制器能够在原水浊度和原水温度变化的情况下,有效地将浊度控制在设定的范围内,并且能够实现投药量的优化。

用模糊聚类分析法建立神经网络岩土本构模型

针对岩土类材料本构关系复杂的情况 ,采用BP网络建立了其本构模型 ,并从神经网络隐层的本质特征出发 ,对样本数据 (应力和应变信息 )采用模糊聚类分析法进行特征抽取 ,以确定隐层节点数目 .算例结果表明 ,该方法是可行的 ,并具有较直观的物理意义 ,可为样本的选取提供指导作用 .

基于神经网络的光伏电站气象-功率模型

基于双层前馈神经网络建立光伏电站输出功率与辐照等气象因素间的非机理模型。建立光伏电站输出功率与气象因素的神经网络模型;对功率模型的输入特征进行选择,分析不同气象因素的组合作为输入变量对模型准确度的影响,明确功率模型的输入变量;分析该模型网络的训练算法、隐含层神经元个数及训练次数对模型准确度的影响,据此确定功率模型的最优结构与参数;基于光伏电站的实际数据对功率模型进行验证。结果表明,基于双层前馈神经网络的光伏电站气象功率模型具有较高的准确度。

双抽汽轮机热电负荷解耦协调控制研究

在双抽汽轮机热电负荷协调控制问题的研究中,输出电负荷、抽汽高压热负荷和低压热负荷之间存在着严重的耦合关系,每个负荷的变化都会对其他负荷产生不同程度的影响,引起热、电负荷的频繁波动,从而影响到整个系统的控制性能.为了解决上述问题,提出了一种将简单的前馈补偿解耦和模糊神经网络相结合的改进多变量解耦控制方案.前馈补偿实现动静态解耦,神经网络实时调整模糊控制规则,从而提高了系统的控制效果和自适应能力.MATLAB仿真结果表明,改进的解耦控制方案解决了热电负荷的强耦合问题,提高了系统的鲁棒性和自适应能力,具有较强的实用价值.

非线性时间序列的重构及预测

采用自适应前馈网络算法(AFN)进行非线性时序预测,对网络结构设计进行详细的探讨,并应用该方法对经典非线性时间序列数据进行预测,与传统预测方法(TAR)比较,结果证明此种方法具有较好的效果,网络的结构得到了简化,不仅满足了误差目标的要求,而且提高了网络的推广能力。且AFN方法可以对时间序列数据间的关系给出一种基于贡献率的解释。

采用限定记忆极限学习机的过热汽温逆建模研究

针对常规极限学习机随着学习次数增加增益矩阵慢慢趋于零、学习算法逐渐失去修正能力而出现"数据饱和"的问题,提出了限定记忆极限学习机算法。该算法在学习过程中每增加一个新数据信息,就去掉一个旧数据信息,权值的学习只依赖于限定个数的最新数据信息,从而避免出现"数据饱和"。通过分析隐含层数据矩阵的特点,利用分块矩阵计算方法推导了限定记忆极限学习机在线学习算法。将该算法应用于参数时变的过热汽温对象逆模型的辨识,仿真实验结果表明:该算法能有效克服"数据饱和"问题,提高计算精度,是一种实用有效的过热汽温对象逆建模算法。