可分离非线性最小二乘计算方法及其在LiDAR波形分解中的应用研究

非线性最小二乘作为最基本的非线性优化方法,广泛应用于测绘领域中非线性函数模型的参数估计。LiDAR全波形回波信号的高斯特征参数的求解通常并未考虑模型可以分解成多个高斯函数的结构特点,而将所有的待求参数看作非线性参数,用泰勒级数展开公式对非线性模型线性化,进而利用LM(Levenberg-Marquardt)算法进行求解,对待求参数初值要求较高。

基于Moore-Penrose广义逆及立体矩阵的可分离非线性最小二乘解算方法

针对测绘领域中函数模型为非线性函数的线性组合的特殊结构,本文提出了基于Moore-Penrose广义逆和立体矩阵的可分离非线性最小二乘解算方法。该方法首先利用变量投影算法消除可分离非线性模型中的线性参数,将包含两类参数的原非线性优化问题转化为仅含有非线性参数的最小二乘问题。然后,基于Moore-Penrose广义逆矩阵的微分和立体矩阵理论计算最小二乘目标函数的一阶导数,进而采用非线性优化的LM方法求解非线性参数的最优估值。最后,根据最小二乘方法求解线性参数的最优估值。通过指数函数模型拟合和机载LiDAR全波形参数求解试验与传统参数不分离优化方法进行对比,结果表明,基于Moore-Penrose广义逆和立体矩阵的可分离非线性最小二乘解算方法对待求参数初值依赖性低,同时避免了迭代过程中线性参数导致的病态问题,算法稳定性好,为测绘领域中可分离非线性最小二乘问题的解算提供了一种思路,也拓展了可分离非线性最小二乘方法的应用。

基于矩阵分解的可分离非线性最小二乘问题求解方法及其应用

针对可分离非线性函数模型的特殊结构,本文使用变量投影法(VP)将线性参数与非线性参数分离开来,并分别与矩阵的满秩分解、QR分解、奇异值分解和施密特正交化相结合,对两类参数分别求解,缩短了计算机解算方程组的运算时间,使算法更加高效,同时也使得具有一定病态程度的方程组在解算过程中保持相对较好的稳定性。本文利用Mackey-Glass时间序列拟合试验和空间直角坐标转换参数解算试验对比分析了基于不同矩阵分解方法的算法优劣性。试验结果表明,基于矩阵分解的改进变量投影法具有高效的运算效率与稳定的解算过程,也适用于解算空间直角坐标转换参数问题。

一个求解非线性最小二乘问题的新方法

在Gauss Newton(G N)方法和Levenbery Marquardt(L M)方法(阻尼最小二乘法)的基础上给出了一种新的求解非线性最小二乘问题的方法,它是通过寻求新的非线性方程组的数值方法来实现的.首先给出了不用计算导数的求解非线性方程组的收敛迭代方法,该方法是建立在求解动力系统的稳定点的基础上,采用了较稳定的常微分方程初值问题的数值方法进行迭代求解,并采用Steffensen加速技术以提高收敛速度.最后,给出了用Matlab试算的数值例子.试验结果表明了该方法的有效性.

基于全局非线性可分离的最小二乘法的飞机颤振模态参数辨识

考虑在输入-输出数据都带有噪声的前提下,将偏差补偿最小二乘算法(CLS)进行推广得到非线性可分离的最小二乘算法(NSLS)。采用适用于噪声环境的非线性可分离的最小二乘算法可准确地辨识飞机的颤振模态参数,该算法结合传递函数模型,将带噪声系统的辨识问题转化为非线性可分离的最小二乘问题。利用该算法,两噪声的方差值和传递函数中的模型参数可分离地估计出来。最后利用试飞试验数据辨识飞机的系统参数,验证了该方法的有效性。

广义非线性动态最小二乘问题的一个直接解算方法

构建“数字地球”、“数字国家”等数字化科学工程的基础是数据[1 ] ,其数据具有多源、多维、多种类型、多种时态、多种精度并具有非线性特征等特点[2 ] ,首先要进行数据处理并应采用全新的广义非线性动态最小二乘法[3] [4] ,数据处理方法的核心是广义非线性动态最小二乘问题参数估计的函数模型及其解算方法 ,迄今国内外对这方面的研究尚不多。本文在作者前期研究、提出的广义非线性动态最小二乘函数模型参数估计迭代法求解[5] 的基础上 ,进一步研究、提出了一种广义非线性动态最小二乘模型参数估计的直接解算方法 ,将问题分离 ,把待求参数减半 ,直接求解。从而大大降低求解问题的维数 ,大大减少计算难度和计算工作量 ,这是国内外首次研究提出的一种比迭代法更快速、更有效、更科学的解算方法。为多源、多类、多时态数据处理开辟了一新途径 。

基于符号运算和信赖域方法的非线性最小二乘法

以牛顿法为基础 ,通过符号运算求导和信赖域方法 ,解决其Hesse矩阵计算工作量大和局部收敛性的问题 ,设计和实现了非线性最小二乘的通用算法。该方法计算速度快 ,计算精度高 ,对初始值的选择不敏感 ,不仅可以直接用于线性最小二乘 ,而且可以适用于大数据量的非线性最小二乘。

一种新型非线性偏最小二乘方法研究及应用——基于Chebyshev多项式改进的PLS方法

在实际生产过程中,过程变量之间往往存在大量相关关系,甚至非线性相关关系。过程变量间存在线性相关时,可采用偏最小二乘方法(PartialLeastSquares,PLS)计算模型参数,但由于PLS方法采用线性关系来联系输入和输出因子,因而并不能有效地应用于非线性较强的过程。在这种情况下要对变量进行有效的压缩维数,需要采用非线性PLS方法。基于Chebyshev多项式改进的多元多项式PLS方法,是一种新的非线性PLS方法。该方法利用Chebyshev多项式的正交性质和递推性质,将过程输入变量正交化、线性化后,再应用PLS方法计算模型参数并还原,从而得到比较精确的模型。由于该方法综合考虑了输入变量的自相关和输入变量间的协相关关系,能够更有效地表达过程变量间的非线性关系,因此其对非线性过程的研究提供了新的思路。

基于模糊加权最小二乘支持向量回归的非线性系统建模方法

针对非线性系统建模时边界数据会产生较大的建模偏差、数据计算负荷大以及如何从数据集中选取K个近邻点才能保证其性能缺乏统一标准等问题,提出了基于模糊加权最小二乘支持向量回归的非线性系统建模方法。该方法融合了模糊加权机理与最小二乘支持向量回归的优点,通过引入重叠因子,在保证建模精度(均方根误差越小越好)的情况下,去除建模过程中的一些非重要数据,减小建模方法的运算时间,并能将全局与局部建模方法相融合有效解决局部建模方法所产生的边界效应问题。实验验证结果表明,分别对几种方法从训练/测试均方根误差、不同重叠因子、计算时间方面比较都有明显的有效性和优越性。

一种单站纯方位跟踪中的非线性最小二乘方法

对纯方位跟踪问题进行了描述,通过建立模型,设计求解算法,提出了一种解纯方位跟踪问题的非线性最小二乘方法,并将它与解纯方位跟踪问题的线性最小二乘方法进行了比较与仿真分析。仿真结果表明,非线性最小二乘方法具有较高的估计精度,是一种有效的算法,对潜艇实施隐蔽探测与跟踪具有重要意义。

重力固体潮IMF的AM-FM非线性最小二乘拟合

周挚（2005）的重力固体潮研究表明，EMD分解后的重力固体潮IMF（本征模态函数）的信号特征与AM—FM（调频调幅）信号非常接近。AM—FM信号是典型的非平稳信号。基于AM—FM研究的前沿性，本文借助于函数构造理论和非线性逼近方法，求取重力固体潮IMF信号的数学显式，为进一步的解析工作做好铺垫。

基于变量分离和加权最小二乘法的图像复原

为提高图像复原的质量和速度,提出一种新的图像复原算法。首先基于变量分离技术,加入新的约束条件,建立解决图像复原问题的目标函数;然后利用交替最小化方法,将目标函数的优化分解为两个交替迭代的过程,以获得图像复原问题的全局最优解。在求解分离得到的新变量的过程中,引入迭代重加权最小二乘法(IRLS)处理L1范式的不可微分问题。实验结果表明,提出的算法有效地解决了图像复原问题;与同类的一些算法相比,该算法在复原速度和复原效果方面均具有优势。

自适应模糊偏最小二乘方法在药物构效关系建模中的应用

作为一种局部逼近方法,自适应神经模糊推理系统(ANFIS)适于为药物定量构效关系(QSAR)建模。描述药物分子结构的参数较多,常存在耦合关系,会增加建模难度,并影响模型的预报性能。为此,将ANFIS和偏最小二乘(PLS)相结合,先由PLS从样本数据中提取成分,再由ANFIS实现每对成分间的非线性映射,并基于输出误差进一步修正所提取的成分,使之对因变量具有最优的解释能力,由此构建为EBAFPLS方法。该法已成功地应用于HIV-1蛋白酶抑制剂的QSAR建模,效果良好,显示出很强的学习能力,所建模型的预报性能也优于其它方法。

输入非线性方程误差自回归系统的多新息辨识方法

典型块结构非线性系统包括基本的输入非线性系统、输出非线性系统、输入输出非线性系统、反馈非线性系统等.输入非线性系统包括输入非线性方程误差类系统和输入非线性输出误差类系统.以输入非线性方程误差自回归系统,即输入非线性受控自回归自回归(IN-CARAR)系统为例,分别基于过参数化模型,基于关键项分离原理,基于数据滤波技术以及基于辨识模型分解技术,研究和提出了IN-CARAR系统的随机梯度辨识方法、多新息随机梯度辨识方法、递推最小二乘辨识方法、多新息最小二乘辨识方法.这些方法可以推广到其他输入非线性方程误差系统、输入非线性输出误差类系统、输出非线性方程误差类系统、输出非线性输出类系统、反馈非线性系统等.同时,给出了几个典型辨识算法的计算步骤、流程图和计算量.

输入非线性方程误差系统的多新息辨识方法

针对输入非线性方程误差系统,即输入非线性受控自回归系统,研究了基于过参数化模型的多新息辨识方法和基于过参数化模型的递阶多新息辨识方法;研究了基于关键项分离原理的多新息辨识方法;使用辨识模型分解技术,研究了基于关键项分离原理的两阶段多新息辨识方法和三阶段多新息辨识方法.这些方法可以推广到其他输入非线性方程误差系统、输入非线性输出误差类系统、输出非线性方程误差类系统、输出非线性输出类系统、反馈非线性系统等.同时,给出了几个典型辨识算法的计算量、计算步骤和流程图.

辅助模型辨识方法(2):输入非线性输出误差系统

针对具有已知基的输入非线性输出误差系统,提出了基于过参数化模型的辅助模型递推辨识方法和辅助模型递阶辨识方法,提出了基于关键项分离的辅助模型递推辨识方法、基于关键项分离的辅助模型两阶段辨识方法和辅助模型三阶段辨识方法,提出了基于双线性参数模型分解的辅助模型随机梯度算法和基于双线性参数模型分解的辅助模型递推最小二乘算法,并给出了几个典型辨识算法的计算量、计算步骤.这些算法的收敛性分析都是需要研究的辨识课题.

辅助模型辨识方法(3):输入非线性输出误差自回归系统

输入非线性系统包括输入非线性方程误差类系统和输入非线性输出误差类系统.针对输入非线性输出误差自回归系统,分别基于过参数化模型,基于关键项分离原理,基于数据滤波技术,研究了相应的基于过参数化模型的辅助模型递推辨识方法、基于关键项分离的辅助模型递推辨识方法、基于数据滤波的辅助模型递推辨识方法.这些方法可以推广到其他输入非线性输出误差系统、输出非线性输出误差系统、反馈非线性系统等.并给出了几个典型辨识算法的计算步骤、流程图和计算量.

基于神经网络的非线性PCA方法

该文采用基于正交最小二乘方法 (OLS)的径向基函数 (RBF)神经网络进行非线性主元分析 (NLPCA)算法的训练 ,提高了训练速度 ,且不存在局部最优问题。将其应用到聚丙烯生产的高维非线性数据相关特性的提取中 ,仿真试验显示这种NLPCA方法提高了熔融指数 (MI)的预报精度 ,具有实际应用价值。

等离子体中非线性二维德拜屏蔽的精确解析解

研究了等离子体中非线性二维德拜屏蔽 ,首次给出了二维泊松方程的一些新的精确解析解 .对于一些特殊情况 。

非线性数据拟合对重叠峰信号的分离

从最小二乘法出发提出了一种含噪音重迭峰信号的分离方法-利用非线性数据拟合处理含噪音的重叠峰数据,得到各子峰的函数表达式,将传统的峰分辨和峰分解两个步骤合二为一,简化了重叠峰信号分析过程。讨论了该方法对不同分离度重叠峰信号分离的效果,通过仿真分析发现该方法在对分离度仅为0.75的重叠峰信号的分离也有很好的效果。在分离度相同时,对高斯-洛仑兹峰重叠信号分离的相对误差小于对高斯-高斯峰重叠信号的分离;分离得到的各子峰参数相对误差随分离度的提高而减小。该方法可用于实际的含噪音重迭峰信号进行处理。