一类值函数激励学习的遗忘算法

大状态空间值函数的激励学习是当今国际激励学习领域的一个热点和难点问题 .将记忆心理学中有关遗忘的基本原理引入值函数的激励学习 ,形成了一类适合于值函数激励学习的遗忘算法 .首先简要介绍了解决马尔可夫决策问题的基本概念 ,比较了离策略和在策略激励学习算法的差别 ,概述了标准的 SARSA(λ)算法 .在分析了人类记忆和遗忘的一些特征后 ,提出了一个智能体遗忘准则 ,进而将 SARSA(λ)算法改进为具有遗忘功能的 Forget-SARSA(λ)算法 。

基于动态规划方法的激励学习遗忘算法

一个激励学习Agent通过学习一个从状态到动作映射的最优策略来解决策问题。激励学习方法是Agent利用试验与环境交互以改进自身的行为。Markov决策过程(MDP)模型是解决激励学习问题的通用方法,而动态规划方法是Agent在具有Markov环境下与策略相关的值函数学习算法。但由于Agent在学习的过程中,需要记忆全部的值函数,这个记忆容量随着状态空间的增加会变得非常巨大。文章提出了一种基于动态规划方法的激励学习遗忘算法,这个算法是通过将记忆心理学中有关遗忘的基本原理引入到值函数的激励学习中,导出了一类用动态规划方法解决激励学习问题的比较好的方法,即Forget-DP算法。

基于有效跟踪的平均渐进瞬时差分学习遗忘算法(英文)

智能体通过学习最优决策来解决其决策问题.激励学习方法是智能体通过与其所处的环境交互来改进它自身的行为.Markov决策过程(MDP)模型是求解激励学习问题的一般框架,瞬时差分TD(λ)是在MDP模型下与策略相关的学习值函数的一种算法.一般情况下,智能体必须记住其所有的值函数的值,当状态空间非常大时,这种记忆的量是大得惊人的.为了解决这个问题,给出了一种遗忘算法,这种算法把心理学的遗忘准则引入到了激励学习之中.利用遗忘算法,可以解决智能体在大状态空间中的激励学习问题.

基于改进初值带遗忘因子的递推最小二乘法的锂电池参数辨识

锂电池荷电状态(state of charge,SOC)的准确估计依赖于精确的锂电池模型参数。在采用带遗忘因子的递推最小二乘法(forgetting factor recursive least square,FFRLS)对锂电池等效电路模型进行参数辨识时,迭代初始值选取不当会造成辨识精度低、收敛速度慢的问题。为此,将电路分析法与FFRLS相结合,提出基于改进初值带遗忘因子的递推最小二乘法(improved initial value-FFRLS,IIV-FFRLS)。首先,通过离线辨识得到各荷电状态点对应的等效电路模型参数并进行多项式拟合;然后,利用初始开路电压(open circuit voltage,OCV)和OCV-SOC曲线获得初始SOC,代入参数拟合函数得到初始参数;最后,将初始参数带入递推公式得到IIV-FFRLS迭代初始值。对4种锂电池工况进行参数辨识,结果表明:与传统方法相比,IIV-FFRLS的平均相对误差、收敛时间分别减小58%、23%以上;IIV-FFRLS具有更高的辨识精度与更快的收敛速度。

基于FFRLS-SRUKF算法的锂电池SOC估计研究

传统无迹卡尔曼滤波在荷电状态(SOC)估计时主要面临两个问题:一是电池模型参数固定导致SOC估计精度低;二是协方差矩阵出现非正定时导致SOC估计失败。提出了遗忘因子递推最小二乘(FFRLS)算法结合平方根无迹卡尔曼滤波(SRUKF)的SOC估计算法。首先,建立二阶阻容(RC)等效电路模型。其次,利用FFRLS算法对电路模型参数在线辨识并实时修正电池等效电路模型,在此基础上使用SRUKF算法估计SOC。最后,通过间歇恒流脉冲放电和动态应力测试工况对所提算法进行验证。试验结果表明,该算法的平均绝对值误差低于0.0115、均方根误差低于0.012。与SRUKF算法相比,FFRLS-SRUKF算法具有更好的SOC估计性能,为电池管理系统解决锂电池的不一致性提供了可靠依据。

时变参数遗忘梯度估计算法的收敛性

提出了时变随机系统的遗忘梯度辨识算法 ,并运用随机过程理论研究了算法的收敛性 .分析表明 ,遗忘梯度算法的性能类似于遗忘因子最小二乘法 ,可以跟踪时变参数 ,但计算量要小得多 ,且数据的平稳性可以减小参数估计误差上界和提高辨识精度 .阐述了最佳遗忘因子的选择方法 ,以获得最小参数估计上界 .对于确定性时不变系统 ,遗忘梯度算法是指数速度收敛的 ;对于时变或时不变随机系统 ,遗忘梯度算法的参数估计误差一致有上界 .

推广的遗忘因子递推最小二乘算法在GPS中的应用

作者将推广的遗忘因子递推最小二乘算法应用到GPS以确定动态目标的轨迹 ,并与推广的Kalman滤波进行比较 ,发现两种算法在GPS中具有各自的优点 ,当噪声相关性较大又不能准确地得到其方差时 。

基于变遗忘因子恒模约束的改进空时联合抗干扰算法

针对空时联合抗干扰方法(STAP)计算复杂度高,不能有效抑制来自导航信号方向的窄带干扰等问题。利用改进的频域LMS滤波器进行前期处理,滤除来自导航信号方向的窄带干扰;再利用改进的变遗忘因子恒模约束递归最小二乘算法(ITVFF-CCM-RLS)来降低空时处理的计算复杂度。通过仿真实验结果表明,改进的空时联合抗干扰算法能够在降低计算复杂度的同时,有效地抑制来自导航信号方向的窄带干扰,明显提高了算法的输出信干噪比。

学习型预期与适应性学习算法研究

适应性学习作为理性预期的替代,正在广泛应用于宏观经济模型的构建。适应性学习假定经济行为主体能够像计量经济学家一样,运用统计或计量经济模型,去形成自己的预期。然而,预期的准确性与适应性学习算法密切相关。通过查阅适应性学习相关文献,对现有文献中常用的适应性学习算法进行梳理,并基于可变遗忘因子的最小二乘算法对两种常用适应性学习算法进行了理论推导,以期为以后的研究提供一定的借鉴。

基于递推最小二乘算法的小信号检测

受到强干扰影响的小信号通常难于有效检测。在分析递推最小二乘算法(RLS)原理及其几种改进形式的基础上,采用自适应方法将已检测出的大信号与原混叠信号对消,降低大信号对小信号的遮蔽作用,再进行小信号的检测。最后通过仿真证明,该方法能够在较小失真的情况下,有效检测出被大调幅信号干扰下的小调频信号;同时分别比较了各种算法的优劣,得出基于可变遗忘因子的RLS(VFF-RLS)算法不仅具有较快的收敛速度,而且收敛之后具有很好的平稳性能。

基于联合算法的锂电池SOC与SOH协同在线预测

以18650型锂电池为研究对象,建立双极化Thevenin(DP-Thevenin)等效电路模型描述其动静态特征。分别以恒流脉冲放电实验和带遗忘因子的递推最小二乘法完成电池电动势及模型参数的辨识;在Simulink中搭建等效电路模型,以脉冲电流作为激励进行验证,得出模型响应电压与实际端电压契合度较好,平均误差为1.836%;构建电池实验硬件电路,编写算法程序完成了锂电池实验系统的构建。最后,在随机测试工况下借助Matlab分析了基于联合算法的锂电池荷电状态(SOC)与健康状态(SOH)在预测精确度、错误初值时算法收敛性等方面的性能。实验结果表明,算法可精确估计出电池SOC和内阻大小,最大误差不超过3.5%;且在初值相差15%时,算法可在319 s内收敛至真值附近,鲁棒性较好。

基于梯度算法的电液伺服振动台加速度谐波辨识

由于电液伺服振动台中的非线性因素,当系统作正弦加速度振动试验时,其响应信号中存在高次谐波,导致加速度信号失真。为了抑制谐波失真,准确辨识谐波信息,本文提出了基于遗忘因子梯度算法的谐波辨识方法。该方法由谐波发生器产生输入向量,将加速度响应实际值与辨识得到的加速度信号值作差,并用于构建准则函数。通过梯度算法不断更新参数向量,当准则函数取得极小值时,利用参数向量便可计算各次谐波的幅值和相位,也可直接计算得到各次谐波。实验结果表明:该谐波辨识方法具有良好的实时性和收敛性能,并具有较高的辨识精度。

基于DFFRLS和神经网络-ASRUKF算法的蓄电池SOC估计

以3.5 V/20 A·h的磷酸铁锂电池为研究对象,针对其荷电状态(SOC)在线估计问题,建立二阶戴维南(Thevenin)等效RC电路模型,结合BP神经网络、动态遗忘因子最小递推二乘(DFFRLS)法和自适应平方根无迹卡尔曼滤波(ASRUKF)算法提出一种SOC联合估计算法。采用BP神经网络代替多项式拟合开路电压-荷电状态(OCV-SOC)曲线,提高曲线拟合精度;通过DFFRLS在线辨识模型参数;结合ASRUKF算法进行SOC联合估计。研究表明提出的联合估计算法有效消除了因噪声协方差初值人为设定的误差并克服滤波发散导致状态协方差矩阵非半正定问题,达到获取最优SOC估计值的目的。在循环动态压力测试(DST)实验工况下,将联合估计算法与其他传统算法进行比较,结果表明提出的SOC联合估计算法具有更好的快速性、收敛性和精确性。

回声状态网络的递推训练算法

针对回声状态网络(ESN)传统的训练方法无法解决高维矩阵不可逆时的训练,以及无法应用于需要在线训练的建模当中等问题,提出了两种新的递推训练算法。分别将含遗忘因子递推最小二乘算法(FFRLS)和无先导卡尔曼滤波算法(UKF)应用到回声状态网络输出神经元为线性函数和非线性函数的权值训练中,进而直接对网络的输出权值进行递推更新。与传统的训练方法相比,所提新方法不仅具有在线更新、精度高的优点,而且还可以解决传统训练方法中批量数据构成的向量矩阵不可逆及输出神经元为非线性函数且其反函数不可求的问题。通过对连续搅拌釜式反应器(CSTR)浓度和温度的预测仿真,结果证明了所提新方法的有效性。

基于组合积分过程的自适应控制算法研究

组合积分系统广泛存在于钢铁、石油化工、食品加工、打叶复烤、矿物处理等现代工业生产过程中,传统将被控对象简单通过一阶Pade近似设计控制器的方法已无法满足更高精度的控制要求,且基于组合积分控制器的设计仍停留在非自适应控制的阶段;研究根据组合积分系统对象特性,利用带遗忘因子的递推最小二乘算法、相关性分析算法以及粒子群优化算法首次提出并设计了组合积分自适应控制器,并通过系统仿真验证了组合积分自适应控制算法的非线性在线跟踪能力、抗干扰特性以及鲁棒性,取得了理想的控制效果;组合积分自适应控制器的设计思想也可应用于其他低阶时滞系统的自适应控制过程中,只需将广义目标过程G0按组合积分模型设计即可实现;因此,组合积分自适应控制器对于提高传统时滞系统自适应控制器的控制精度有着广泛的意义,并且在带有时滞环节的工业过程自适应控制研究中有极大的应用价值。

具有采样偏差抑制的三电平NPC整流器DBC

为降低三电平中点箝位型(NPC)整流器的电流畸变率,提出一种对采样偏差抑制的无差拍控制(DBC)方法。为此,在电网电压采样结果和输出电流采样结果中都加入了遗忘迭代滤波算法,通过消除采样偏差的影响提高DBC算法的控制能力。通过仿真和试验测试,配置了参数的范围,验证了所提算法的有效性。

常态下风电场并网惯量削弱量估计方法

大规模风电场并网会导致电网惯量削弱、系统频率特性变差。为推行虚拟惯量控制技术并判定虚拟惯量支撑强度,提出一种常态下风电场并网惯量削弱量估计方法。首先以网络节点为基本对象,提取节点有功/频率随机扰动信息;进而建立受控自回归模型、利用遗忘因子多新息最小二乘算法对节点惯量进行辨识,得到全网等效惯量;再经过数学推导求解风电场并网惯量削弱量。最后通过Matlab/Simulink算例系统验证所提理论和方法的有效性。

一种锂离子电池SOH在线检测方法

针对目前锂离子电池健康状态在线检测误差较大的问题,提出了一种综合改进蚁狮优化算法和粒子滤波算法的锂离子电池SOH在线估计方法。建立了锂离子电池SOH估计的状态方程和观测方程,利用动态遗忘因子最小二乘算法实现了模型参数的在线辨识。利用粒子滤波算法实现对模型动态参数准确地进行预测与跟踪,利用改进蚁狮优化算法进行粒子适应度计算并更新目标位置,解决了粒子滤波方法由于粒子退化和样本贫化而导致估计精度低的问题。利用NASA数据集和实测实验对本文方法的SOH检测精度进行了对比实验,结果表明:NASA数据中SOH检测的最大绝对误差为2.04%,平均绝对误差为0.57%,均方根误差为0.74%;实测试验中SOH检测的最大绝对误差为1.55%,平均绝对误差为0.71%,均方根误差为0.87%。

电网不对称时抑制负序电流并网逆变器的控制策略

当三相电网不平衡时,传统双闭环控制策略下将在直流侧和交流侧分别产生偶数次和奇数次非特征谐波,从而严重影响并网逆变器的输出品质。针对这一问题,本文首先建立了电网不平衡时并网逆变器的数学模型,给出了同步旋转坐标下的电压矢量方程;并根据瞬时功率理论分析了功率波动形式;然后提出了一种瞬时正、负序分离方法,该算法准确度较高,且基本无延时;为了使三相并网电流对称,以抑制负序电流为控制目标,正序电流由控制器的外环给定,在正序和负序同步旋转坐标下实现并网电流的控制。在实验室内搭建了并网实验平台,实验结果表明新的控制策略下并网电流波形对称,有效地抑制了负序电流。

基于用户的个性化综合倒排索引

针对传统搜索引擎的不足,论述了个性化综合倒排索引的基本思想,结合词频渠道奖励算法、遗忘算法和文档关注度算法来动态获取用户兴趣变化,从而满足个性化搜索的需求.