一种新型径向基函数神经网络学习算法——递归正交最小二乘法(ROLS)

径向基函数神经网络在很多领域都得到了成功的应用。但迄今为止仍没有一种有效的方法来确定隐层中心数目。笔者将递归正交最小二乘 (ROLS)方法引入RBFNN建模训练 ,利用ROLS算法训练网络后所得的有用信息 ,采用后向选择算法 ,逐步去掉那些使网络残差增加最小的中心 ,在得到网络有效中心的同时 ,还满足了精度要求 ,从而大大简化了RBF网络结构 ,节约了大量的存储空间以及计算量。

基于LU分解和交替最小二乘法的分布式奇异值分解推荐算法

针对当前分布式潜在因子推荐算法存在时间复杂度较高、运行时间较长的问题,文中提出基于LU分解和交替最小二乘法(ALS)的分布式奇异值分解推荐算法,利用ALS利于分布式求解目标函数的特点,提出网格状分布式粒度分割策略,获取相互独立不相关的特征向量.在更新特征矩阵时,使用LU分解求逆矩阵,加快算法的运行速度.在KDD CUP 2012 Track1中的腾讯微博数据集上的实验表明,文中算法在确保一定推荐精度的前提下,大幅提升推荐速度和算法效率.

基于改进ELM的递归最小二乘时序差分强化学习算法及其应用

针对值函数逼近算法对精度及计算时间等要求,提出了一种基于改进极限学习机的递归最小二乘时序差分强化学习算法。首先,将递推方法引入到最小二乘时序差分强化学习算法中消去最小二乘中的矩阵求逆过程,形成递推最小二乘时序差分强化学习算法,减少算法的复杂度及其计算量。其次,考虑到LSTD(0)算法收敛速度慢,加入资格迹增加样本利用率提高收敛速度的算法,形成LSTD(λ)算法,以保证在经历过相同数量的轨迹后能收敛于真实值。同时,考虑到大部分强化学习问题的值函数是单调的,而传统ELM方法通常运用具有双侧抑制特性的Sigmoid激活函数,增大了计算成本,提出采用具有单侧抑制特性的Softplus激活函数代替传统Sigmoid函数,以减少计算量提高运算速度,使得该算法在提高精度的同时提高了计算速度。通过与传统基于径向基函数的最小二乘强化学习算法和基于极限学习机的最小二乘TD算法在广义Hop-world问题的对比实验,比较结果证明了所提出算法在满足精度的条件下有效提高了计算速度,甚至某些条件下精度比其他两种算法更高。

基于累积量的递归最小二乘算法研究

从基于累积量的均方误差（ＣＭＳＥ）准则，本文推导了一种基于累积量的递归最小（ＣＲＬＳ）算法。并从信号检验和估计的角度对三阶ＣＲＬＳ算法中出现的加权求和系数给出的一种物理解释，以说明其抗高斯噪声的机理。本文提出应根据三种不同条件下信号的最优估计来确定最佳窗口函数的原则。

QR分解的最小二乘格型自适应滤波算法在噪声主动控制中的应用

在噪声主动控制系统中,滤波-x递归最小二乘(FxRLS)算法收敛速度快但计算量大。基于此,提出了格型联合估计滤波器结构与基于QR分解的最小二乘格型(QRD-LSL)自适应滤波算法相结合的噪声控制方法,该方法对联合估计过程进行了改进并得到了基于各阶估计误差的联合过程估计权系数更新关系,格型联合估计器结构简单,QRD-LSL自适应滤波算法数值稳定性好。仿真结果表明提出的噪声控制方法有良好的噪声控制效果,收敛速度快,计算量小,稳态误差小,跟踪性能好。

异步CDMA系统中基于预处理递归最小二乘恒模算法的盲自适应接收

该文提出一种基于预处理递归最小二乘恒模算法(PP-RLSCMA)的多径异步CDMA系统盲自适应接收技术。首先对接收信号进行自适应预处理,并分析了预处理器的复杂性和稳定性。预处理的目的是通过对干扰和噪声的部分抑制以提高恒模接收的性能,所提出的预处理方法只与多径信道的最大长度有关。鉴于统计恒模算法收敛速度慢的缺点,提出一种快速递归最小二乘恒模算法的盲自适应接收。仿真表明,该文算法的误码率及收敛性能比LCMMV,LCCMA好。

时间渐消递推最小二乘估计的矩阵QR分解方法

给出了当数据一步更新时,利用矩阵QR分解进行最小二乘估计的直接递推形式。与利用Givens旋转变换进行参数递推估计的方法相比,该方法直接表征了被辨识参数的递推计算关系,因而可直接判定递推估计算法的收敛性。

基于格型递归最小二乘算法的船舶运动极短期预报

在最小二乘方法(RLS,recursive least square)的基础上,提出利用格型递归最小二乘(LRLS,lattice recursiveleast square)算法对AR模型参数进行自适应估计。该算法为模块式的多极格型结构,降低了一般RLS算法的计算复杂度。利用实测的动态数据结合AIC准则建立自适应AR预报模型,并将该模型应用于船舶运动预报中,仿真结果表明,相对于最小二乘算法,基于LRLS算法的AR预报模型可有效提高船舶运动预报精度。

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法。针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程。采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性。采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性。实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度。

非负矩阵分解的分层最小二乘快速算法研究

非负矩阵分解是对于代价函数近似非线性优化问题,考虑均方误差值作为代价函数,通过对分层交替非负最小二乘算法的迭代运算量进行分析,对运算耗费大的矩阵运算提出利用限制更新的方法对分层交替非负最小二乘算法进行修改,达到加速收敛的目的。通过仿真,与原倍乘更新算法、投射梯度算法比较,验证算法的有效性和稳定性和高效性。

加权随机汇池网络中递归最小二乘算法研究

实际应用中信号和噪声的统计知识经常是未知的,为探究未知噪声环境中加权随机汇池网络模型的信号参数估计性能,本文研究了加权随机汇池网络中信号估计的递归最小二乘自适应递推算法,分析了该模型下算法的收敛性、均方误差、学习曲线等统计特征。在非平稳输入信号下,引入遗忘因子,探究了算法有效跟踪信号变化的能力。实验结果验证了关于算法收敛性与均方误差性能的理论分析,同时还证实了自适应过程中的超阈值随机共振现象。本文研究结果对于加权随机汇池网络的实际应用具有理论指导义。

最小二乘递推算法和 Kalman 滤波算法

就一般加权、最优加权和指数加权三种情形分别介绍了最小二乘递推（ＲＬＳ）算法和Ｋａｌｍａｎ滤波算法，且首次将状态向量的概念扩展到了状态矩阵的概念．这将使我们在某些应用中能采用比以前规模小得多的模型而丝毫不会因此带来任何误差．最后，我们还指出了ＲＬＳ算法和Ｋａｌｍａｎ滤波算法所存在的一些问题．

基于参考曲线模型和并行非线性最小二乘算法的HPLC-DAD数据分解

HPLC-DAD数据分解问题是化学计量学领域的一个重要课题,也是很多其他研究领域的前提和基础。本文基于参考曲线模型,构造了一种三参数的色谱峰参考曲线,并提出了并行非线性最小二乘算法对参考曲线模型(RCM)进行求解。通过仿真实验和HPLC-DAD数据实验,验证了本文提出的方法具有分辨率高、收敛速度快、参数易控制等特点。

基于变分模态分解和改进粒子群算法优化最小二乘支持向量机的短期电价预测

针对电价序列具有非线性强、波动性大的特点,提出一种基于变分模态分解(VMD)和改进粒子群算法(PSO)优化最小二乘支持向量机(LSSVM)的短期电价预测模型。首先利用VMD将原始电价数据分解为多个子序列,然后采取LSSVM模型分别对子序列进行预测。对于LSSVM预测模型的最优参数选择问题,利用改进的PSO优化LSSVM模型的参数,能够很好地提高模型预测精度。最后集成各子序列预测结果,获得最终电价预测值。为了验证所提模型的有效性,以美国PJM市场电价数据为例进行分析,并与其他预测模型进行对比,结果表明,所提模型能够很好地对短期电价进行预测。

严格的最小二乘递推算法在系统辨识与滤波中的应用

研究了严格的最小二乘递推（R2LS）算法在系统辨识与滤波中的应用。另一重要内容是给出了与R2LS算法相对应的充分激励（PE）系列及重要性质。且从关于多目标飞行轨迹的跟踪应用中可知，由于采用了状态矩阵这一新概念，使我们能用一规模很小的模型同时描述多个目标的运动，从而使计算量大为减小。

基于递归最小二乘的微波对射雷达信号处理算法

微波对射雷达被用在安全防护领域的雷达系统,可形成电子栅栏,这种雷达系统容易受雨、雪等天气因素的干扰,出现虚警。针对这个现象,文章提出了采用中值均值法和递归最小二乘算法对雷达回波的强度进行估计的微波对射雷达信号处理算法,同时提出了目标持续时间、最大相对幅度变化比例、接收能量损失三个判决统计量和相应的判决方法。经验证,采用该算法的微波对射雷达在降水过程中检测到入侵者的同时未引起虚警。

基于不等式约束的最小二乘法三维电阻率反演及其算法优化

基于光滑约束的最小二乘法是三维电阻率反演的主要方法,但该方法在某些情况下存在着多解性较强的问题,且普遍耗时较长,严重制约了三维反演方法的推广与发展.为改善上述问题,将表征模型参数变化范围的不等式约束作为先验信息引入最小二乘线性反演方法中,有效地改善了反演结果的精度,降低了反演的多解性问题.为了解决耗时较长的问题,基于预条件共轭梯度(PCG)算法和Cholesky分解法的特点提出了一套优化三维电阻率反演计算效率的计算方案.在该方案中,Cholesky分解法被用来求解敏感度矩阵计算中的多个点源场的正演问题,Cholesky分解法只需对总体系数矩阵进行一次分解,然后对不同的右端向量进行回代即可.将预条件共轭梯度法引入到三维电阻率反演方程的求解中,将雅可比迭代中的对角阵作为预处理矩阵,其具有求逆方便、无需内存空间的特点,有效地加快了收敛速度.对合成数据以及实测数据的反演算例表明,借助不等式约束和反演效率优化方案,最小二乘反演方法可得到较为精确的反演结果,有效地提高了反演计算效率,具有良好的推广前景.

基于聚类经验模态分解和最小二乘支持向量机的短期风速组合预测

从分析风速序列的非线性和非平稳性特征出发,将一种基于聚类经验模态分解(EEMD)和最小二乘支持向量机(LSSVM)的组合预测模型引入到风速预测中。首先使用聚类经验模态分解将风速序列分解为一组相对平稳的子序列,以减轻不同趋势信息间的相互影响;然后运用最小二乘支持向量机对各子序列分别建模预测,为降低预测风险,使用自适应扰动粒子群算法(ADPSO)和模型学习效果反馈机制对LSSVM预测模型的输入维数和超参数进行联合优化;最后将各个子序列的预测结果叠加得到预测风速。实例研究表明,本文所提的组合预测模型可以有效挖掘风速序列特性,具有较高的预测精度。

衰减激励条件下递阶最小二乘辨识的均方收敛性

为减少递推辨识的计算量 ,提出了递阶辨识原理 ,它是将系统分解为多个维数较小的虚拟子系统进行辨识 ,从而获得递阶最小二乘辨识方法。在衰减激励条件下 ,针对时不变系统研究了递阶最小二乘法的收敛性 ,得到了参数估计误差均方收敛于零时衰减指数应满足的条件。递阶最小二乘具有良好的性能 ,其计算量比递推最小二乘辨识要小得多 。

偏最小二乘相关算法在系统建模中的两类典型应用

讨论了偏最小二乘回归(PLSR)的相关算法对两类典型实际系统建模的有效应用。分析了传统的偏最小二乘回归批处理算法及由此产生的一种简化算法的基本原理和技术特点。在此基础上,对原有的递推算法进行了一定程度的改进,直接采用自变量主元t的回归系数矩阵P和R来取代旧的数据信息,从而进一步简化了计算过程。针对上述两种算法的特点,分别对无人机费用模型(少样本,多变量)和切削力峰值模型(多样本,少变量)参数进行了估计计算,说明了各自算法的应用优势。