基于大模型的具身智能系统综述

得益于近期具有世界知识的大规模预训练模型的迅速发展,基于大模型的具身智能在各类任务中取得了良好的效果,展现出强大的泛化能力与在各领域内广阔的应用前景.鉴于此,对基于大模型的具身智能的工作进行了综述,首先,介绍大模型在具身智能系统中起到的感知与理解作用;其次,对大模型在具身智能中参与的需求级、任务级、规划级和动作级的控制进行了较为全面的总结;然后,对不同具身智能系统架构进行介绍,并总结了目前具身智能模型的数据来源,包括模拟器、模仿学习以及视频学习;最后,对基于大语言模型(Large language model,LLM)的具身智能系统面临的挑战与发展方向进行讨论与总结.

多输入Sigmoid激励函数神经网络权值与结构确定法

结合伪逆直接计算得到神经元之间最优权值的方法,提出了一种双阶段自动搜索与确定最优网络结构的算法,克服了原有BP神经网络模型及其学习算法的固有缺陷。以函数逼近为例,计算机数值实验结果显示了算法有效且耗时短,证实了由该算法得到的网络对于多输入函数具有较优良的逼近(学习与校验)性能。

龙格现象难题破解之系数与阶次双确定方法

龙格现象指出,使用基于等距节点的高阶插值多项式逼近龙格函数时,插值多项式在逼近区间两端会产生明显的振荡现象。因此,传统认为,不适宜用基于等距节点的高阶多项式逼近龙格函数。针对龙格现象,展示一种新型的多项式系数与阶次双确定方法。该方法可快速构造出基于等距节点的不会振荡且有较高逼近精度的高阶多项式,良好地逼近龙格函数。计算机数值实验表明该方法是有效的,即运用基于等距节点的高阶多项式可以很好地消解龙格现象。

线性矩阵方程的梯度法神经网络求解及其仿真验证

介绍一种基于梯度法的Hopfield神经网络在线求解线性矩阵方程,并且探讨其MATLAB仿真技术以验证该神经网络在求解线性矩阵方程问题时的准确性和有效性。仿真过程中用以下几种重要技术手段:①Kroneck-er乘积,用来将描述该神经网络的矩阵微分方程(MDE)转化为向量微分方程(VDE),即标准的给定初始值常微分方程(ODE);②MATLAB指令"ode45",用来仿真上述转化后的给定初始值常微分方程;③各种激励函数的编码实现,用以检验该神经网络系统的收敛性和存在实现误差时的鲁棒性。仿真结果同理论分析的对应与一致,进一步证实基于梯度法的Hopfield神经网络在求解固定系数线性矩阵方程中具有很好的效验。

复指数Fourier神经元网络隐神经元衍生算法

以平方可积空间上的复指数Fourier级数作为激励函数构造了新型Fourier神经元网络,并推导出采用加号逆表示的网络权值直接确定公式,克服了传统BP神经网络收敛速度慢、易陷于局部极小点、迭代学习易发生振荡等缺陷。并在此基础上构造了隐神经元衍生算法,克服了传统BP神经网络难以确定最优网络拓扑结构的缺点。理论分析及仿真实验表明,该复指数Fourier神经元网络能够一步计算网络最优权值且能自适应调整网络结构,对随机加性噪声具有抑制作用,并能高精度逼近非连续函数。

一种权值直接确定及结构自适应的Chebyshev基函数神经网络

基于函数逼近理论,构造一种Chebyshev基函数神经网络模型。推导出该网络模型的权值直接确定方法,可一步计算出权值,克服了传统BP神经网络学习率选取困难、学习过程冗长和易陷入局部极小等缺点。在此基础上,设计了基于二分搜索的结构自适应算法,根据精度要求自动确定网络最优结构。理论分析及仿真验证均表明,该网络不仅能够快速地完成网络权值确定和结构自适应,且具有优异的学习与逼近能力,而且对随机加性噪声也具有较好的抑制作用。

Laguerre正交基前向神经网络及其权值直接确定法

根据多项式理论,构造了一种以Laguerre正交多项式作为隐层神经元激励函数的前向神经网络模型.根据标准BP算法,导出了权值修正的迭代公式(包括标量形式和矩阵形式).区别于这种需要迭代训练获得最优权值的方法,针对该网络模型,进一步提出了一种基于伪逆的直接计算权值的方法.该权值直接确定法避免了以往的权值反复迭代训练的冗长过程.仿真结果显示其具有比传统的BP迭代法更快的计算速度,并且能够能达到更高的工作精度.

两输入幂激励前向神经网络权值与结构确定

基于多元函数逼近与二元幂级数展开理论,构建了一个以二元幂函数序列为隐神经元激励函数的两输入幂激励前向神经网络模型。以该网络模型为基础,基于权值直接确定法以及隐神经元数目与逼近误差的关系,提出了一种网络权值与结构确定算法。计算机仿真与数值实验结果验证了所构建的网络在逼近与去噪方面具有优越的性能,所提出的权值与结构确定算法能够快速、有效地确定网络的权值与最优结构,保证网络的最佳逼近能力。

Hermite前向神经网络隐节点数目自动确定

从函数逼近论出发,构造了一类以Hermite正交基为激励函数的前向神经网络.在保证网络逼近能力的前提下,令其输入层至隐层的权值和各神经元阈值分别为1和0,导出了基于伪逆的隐层至输出层最优权值的直接计算公式.并针对Hermite前向神经网络,提出一种依照学习精度要求而逐次递增型的隐节点数自动、快速、准确的确定算法.对多个目标函数的计算机仿真和预测结果表明,该神经网络权值直接确定方法和隐节点数自动确定算法能很快地找到最优的隐节点数及其对应的最优权值,且网络具有较好的预测能力.

切比雪夫正交基神经网络的权值直接确定法

经典的BP神经网络学习算法是基于误差回传的思想。而对于特定的网络模型,采用伪逆思想可以直接确定权值进而避免以往的反复迭代修正的过程。根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络,其模型采用三层结构并以一组切比雪夫正交多项式函数作为隐层神经元的激励函数。依据误差回传(BP)思想可以推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到网络的最优权值。区别于这种经典的做法,针对切比雪夫正交基神经网络模型,提出了一种基于伪逆的权值直接确定法,从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程。仿真结果表明该方法具有更快的计算速度和至少相同的工作精度,从而验证了其优越性。

幂激励前向神经网络最优结构确定算法

针对一种以幂函数序列为各隐神经元激励函数的前向神经网络,提出了一种基于权值直接确定方法的网络最优结构确定算法。计算机仿真与验证结果表明,该算法能自动、快速、有效地确定网络的最优隐神经元数,达到网络的最佳逼近能力,从而实现网络结构的最优化。

样条神经网络的权值直接确定法

根据样条逼近理论和神经网络原理构造了一种样条神经网络模型,以一组样条基函数作为隐神经元的激励函数。依据误差回传(BP)思想推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到该网络的最优权值。而对于构造的具有特定网络结构的样条神经网络,依据伪逆思想提出了一种直接计算权值的方法,从而避免冗长的迭代训练过程。仿真结果表明该权值直接确定法不仅能一步确定权值从而获得更快的运算速度,而且能达到更高的计算精度。

基于权值与结构确定法的单极Sigmoid神经网络分类器

构造了以单极Sigmoid函数作为隐层神经元激励函数的神经网络分类器,网络中输入层到隐层的权值和隐层神经元的阈值均为随机生成。同时,结合利用伪逆思想一步计算出隐层和输出层神经元之间连接权值的权值直接确定(WDD)法,进一步提出了具有边增边删和二次删除策略的网络结构自确定法,用来确定神经网络最优权值和结构。数值实验结果表明,该算法能够快速有效地确定单极Sigmoid激励函数神经网络分类器的最优网络结构;分类器的分类性能良好。

符号函数激励的WASD神经网络与XOR应用

基于权值与结构确定(WASD)算法,提出和构建了一种以非连续符号函数为隐层神经元激励函数的WASD神经网络模型。通过WASD算法,能有效地确定所构建网络的权值及网络的最优结构。该文也将此网络模型应用于XOR(异或)上,并详细讨论了在带噪类型不同时网络在此应用上的性能。计算机数值实验结果验证了所提出的权值与结构确定法能够有效地确定出网络的最优权值与结构,所构建的WASD网络在XOR应用上具有优秀的抗噪性能。另外,通过对比符号函数激励的WASD神经网络与幂函数激励的WASD神经网络在高维XOR应用方面的性能差异,证实了所提出的符号函数激励的WASD神经网络及算法在解决非线性问题时的优越性。

基于ARIMA与WASDN加权组合的时间序列预测

为了提高时间序列预测方法的预测精度以及增强其适用性,提出一种ARIMA-WASDN加权组合方法。该方法同时使用差分自回归移动平均(autoregressive integrated moving average,ARIMA)模型与配备权值及结构确定(weights and structure determination,WASD)算法的幂激励前向神经网络(WASDN)对时间序列进行建模、测试以及预测。根据测试结果,将ARIMA与WASDN进行加权组合。数值实验结果显示,所提出的ARIMA-WASDN加权组合方法的预测精度高于ARIMA或WASDN单独使用时的预测精度,验证了该方法在时间序列预测方面的有效性和优越性。

多类单输入多项式神经网络预测能力比较

多项式神经网络是根据函数逼近理论与多项式插值建立的一种以线性无关或者正交多项式为隐层神经元激励函数的前向神经网络。分别利用Legendre多项式、Hermite多项式、第一类Chebyshev多项式、第二类Chebyshev多项式、Bernoulli多项式及幂函数构造相应的单输入多项式神经网络,设计出一种适用于该六类神经网络的增长型权值与结构确定算法以确定其相应的最优网络结构与连接权值。基于该算法,深入研究了采用不同的隐层神经元激励函数时多项式神经网络的学习和预测能力。仿真结果表明,除了由Hermite多项式和Bernoulli多项式构建的神经网络的学习和预测能力相对一般外,其他四类神经网络都具有较为优越的学习和预测能力。最后,利用第一类Chebyshev多项式神经网络对世界人口趋势进行了仿真预测。

Fourier三角基神经元网络的权值直接确定法

根据Fourier变换理论,本文构造出一类基于三角正交基的前向神经网络模型。该模型由输入层、隐层、输出层构成,其输入层和输出层采用线性激励函数,以一组三角正交基为其隐层神经元的激励函数。依据误差回传算法(即BP算法),推导了权值修正的迭代公式。针对BP迭代法收敛速度慢、逼近目标函数精度较低的缺点,进一步提出基于伪逆的权值直接确定法,该方法避免了权值反复迭代的冗长过程。仿真和预测结果表明,该方法比传统的BP迭代法具有更快的计算速度和更高的仿真与测试精度。

基于前向和中间差分的离散ZNN的定常矩阵求逆方法

不同于传统的梯度神经网络,一类特殊的用于解决时变问题(如时变矩阵求逆)的新型递归神经网络(ZNN)于2001年提出.为了便于使用数字电路进行硬件实现,需要将该类递归神经网络进行离散化,在之前工作的基础上,利用多点前向差分和中间差分数值微分方法,得到一类通过一系列ZNN离散模型表示的矩阵求逆方法,数学分析结果表明,传统牛顿迭代法可以看作其中一个特例.为验证此方法的有效性,针对定常矩阵求逆问题进行求解,同时,利用线搜索算法来保证该模型的收敛速度.实验结果表明,基于多种数值微分公式并辅以线搜索算法的ZNN离散模型可以较好地收敛到问题的理论解,且具有较佳的收敛性能.

Hermite插值神经网络权值和结构确定理论探讨

为了克服BP神经网络固有的缺陷,基于Hermite插值理论,构造了一种新型的前向神经网络模型(即Hermite插值神经网络模型)。针对该网络模型,提出了一种基于矩阵伪逆的权值直接确定方法,并在此基础上探讨了隐神经元数目自动确定的方法(即网络结构自确定方法)。计算机仿真结果表明,相比于传统的BP神经网络,使用权值与结构双确定方法的Hermite插值神经网络具有更好的收敛速度和校验能力。同时,也验证了该神经网络良好的降噪和预测能力。

求解线性不定方程组所展现的BP与Hopfield类型神经网络的学习同质性研究

主要针对求解线性不定方程组的两种并行计算神经网络模型(BP和Hopfield类型神经网络)进行了探讨。BP神经网络和Hopfield类型神经网络尽管在起源、网络定义、拓扑结构和学习模式上有较大的不同,但这两类人工神经网络在相同学习率条件下求解线性不定方程组中却可以表现出相同的数学公式、学习本质和计算能力,即学习同质性。此外,分别在零初值、相同但非零初值和不同随机初值三种情况下,针对两类人工神经网络求解线性不定方程组体现出来的学习同质性进行了计算机仿真验证,并证实了两类神经网络算法的有效性。