随机线性二次问题中一类改进的强化学习方法

随机线性二次问题是一类重要且研究较为成熟的随机控制问题。其中,部分信息条件下的随机线性二次问题是指系统的状态方程或代价函数中存在未知系数的情形,该文在前人工作的基础上,改进部分信息条件下线性二次问题的最优控制在线强化学习算法。所研究系统方程和代价函数的系数都存在未知量,在此条件下,算法通过可观察的样本轨迹和回报函数求得最优控制以及代价函数中的未知系数,进一步地,我们给出迭代过程收敛性与控制稳定性的证明。

单输入多时滞离散系统的线性二次调节问题

研究了单输入多时滞的离散时间系统的线性二次调节问题(LQR问题),给出了求解最优控制输入序列的一种简单有效而又新颖的方法.将该动态的离散时滞系统的LQR最优控制问题最终转化成了一个静态的、不带时滞的数学规划模型——带等式线性约束的严格凸二次规划问题,并利用两种方法解这个二次规划问题,均成功地导出了系统的最优控制输入序列.仿真结果验证了我们的方法的正确有效性.

时变系统线性二次型问题:无约束条件时的一般结果和有控制能量约束条件时的讨论

本文中我们首先对无约束条件时的有限时间区间上时变系统线性二次型（FHLQ）问题进行了分类，并给出了问题属于每一类的充分必要条件（定理2）．其次证明了对于HLLQ问题其下确界有限与其可达是等价的（定理1）在此基础上给出了问题为正则的一些新的条件（定理3）．最后。

随机系数下线性二次控制问题的最优性条件及其应用

本文旨在研究随机系数下随机微分方程的线性二次最优控制问题.本文从闭环最优控制/策略存在的必要性条件的角度开展研究.若闭环最优控制/策略存在,得到其显示反馈表示、带伪逆运算的倒向随机Riccati方程的适定性及不同系数间满足的一些本质性条件.此处结论本质地推广和改进了文[Ait Rami M,Moore J,Zhou X.Indefinite stochastic linear quadratic control and generalized differential Riccati equation[J].SIAM J Control Optim,2001,40:1296-1311;Sun J,Yong J.Linear quadratic stochastic differential games:open-loop and closed-loop saddle points[J].SIAM J Control Optim,2014,52:4082-4121;Lü Q,Wang T,Zhang X.Characterization of optimal feedback for stochastic linear quadratic control problems,Probab Uncertain Quant Risk,2017,2:11,DOI 10.1186/s41546-017-0022-7]的相应结论.此外,本文得到了一个关于倒向随机Riccati方程和二阶伴随方程两类方程适应解之间的微妙关系.注意到,这一结论在现有文献中首次出现.最后,本文讨论了在均值方差对冲问题中的应用.

带有终端约束的线性二次最优控制问题

主要研究了带有终端约束的线性二次最优控制问题的可解性.首先,借助Riccati方程给出了最优控制的状态反馈形式;其次,基于状态反馈表示提出了最优状态和最优控制的计算方法;最后,通过数值算例验证了数值算法的有效性,并且展示了该算法的一阶收敛速度.

由布朗运动和列维过程联合驱动的一个有限期的线性二次最优随机控制问题（英文）

我们研究了由布朗运动和列维过程联合驱动的线性二次最优随机控制问题.我们利用深刻的截口定理新的仿射随机微分方程存在逆过程.应用拟线性贝尔曼原理和单调迭代收敛方法,我们证明了倒向黎卡提微分方程解的存在性和唯一性.最后,我们证明了存在一个最优反馈控制且值函数由相应的倒向黎卡提微分方程和相应的伴随方程的初始值合成.

用改进的差分式Hopfield网络实现线性二次型最优控制

为解决差分式Hopfield网络能量函数的局部极小问题,本文对之改进得到一种具有迭代学习功能的线性差分式Hopfield网络.理论分析表明,该网络具有稳定性,且稳定状态使其能量函数达到唯一极小值.基于线性差分式Hopfield网络稳定性与其能量函数收敛特性的关系,本文将该网络用于求解多变量时变系统的线性二次型最优控制问题.网络的理论设计方法表明,网络的稳态输出就是欲求的最优控制向量.数字仿真取得了与理论分析一致的实验结果.

控制能量有界的时不变系统线性二次型最优控制

本文通过新的途径讨论控制能量有界的时不变系统线性二次型最优控制问题．文中通过“不亏损的S-过程”方法将该问题转化成无约束的时不变系统线性二次型最优控制问题，从而利用后者的基本结果给出本文问题的最优控制的解析构造．结果表明此时最优控制仍由一线性状态反馈控制器确定，但其增益矩阵的选择是与初始状态有关的，并且对某些初始状态还可能出现奇异情况．

平均场线性二次最优控制问题离散反馈控制的收敛速度

本文就平均场系统的线性二次(linear quadratic,LQ)最优控制问题提出基于反馈控制的数值算法.首先,将原问题分解为两个子问题:随机系统的LQ问题和确定系统的LQ问题.其次,依次对两个子问题利用反馈控制策略进行离散化,并证明该离散的收敛速度.最后,给出数值例子来支撑理论结果.

Hilbert空间线性二次最优控制问题中的一个算子的可逆性

对于如下出现在Hilbert空间线性二次最优控制问题中的线性算子■其中F_3,F_5是自伴算子．本文得到了它具有有界逆的充分必要条件,并举例验证了结果的有效性．

广义系统的奇异LQ问题及最优代价单调性

研究了广义系统的奇异线性二次指标最优控制问题(即LQ问题).在给定的条件下,给出LQ问题的惟一最优控制和最优状态,并将最优控制综合为状态反馈.所得闭环系统正则,稳定,无脉冲模.并给出广义系统的最优代价比较定理.

非方广义系统带最坏干扰抑制的奇异LQ问题

研究了非方广义系统带最坏干扰抑制的奇异线性二次指标最优控制问题(即LQ问题).在给定的条件下,最坏干扰和最优控制—状态对均存在且惟一,最优控制可被综合为状态反馈.在最坏干扰和最优控制作用下,所得闭环系统的任意有限特征值均在开左半复平面,且闭环系统的状态有最少自由元.

完全耦合的正倒向随机控制系统的LQ问题

研究完全耦合的正倒向随机控制系统的线性二次最优控制问题 (LQ问题 ) ,在适当假设下得到了随机控制系统状态解的存在惟一性结果 ,然后得到了惟一的最优控制的显式形式 .

对一般滤子情形下SLQ问题最优反馈的刻画

控制论中的一个基本问题是为系统设计反馈最优控制.这已在LQ问题中得到了很好的实现.但是,在已有的文献中,对这一问题的随机情形的讨论多集中在自然滤子情形.本文应用转置解这一概念在一般滤子情形下给出了带随机系数的SLQ问题最优反馈控制存在的充分条件,证明了对一维控制问题而言这还是必要条件.

线性—二次型最优控制问题的Chebyshev—Legendre拟谱方法

介绍了一种求解线性—二次型最优控制问题的拟谱方法.使用Legendre展开式逼近控制和状态函数,采用Chebyshev-Gauss-Lobatto(CGL)点作为插值点,对原问题进行离散,从而将最初的最优控制问题化归为一个与之等价的二次规划(QP)问题,对应QP问题的未知量分别为状态和控制函数的Legendre展开式系数.通过求解QP问题得到原问题的数值解.整个离散过程使用快速Legendre变换(FLT)以及相关的一些技巧,能方便计算出函数在各个CGL点上的函数值.数值实验结果表明用该方法解决这类最优控制问题的有效性和高精度.

一类随机Riccati矩阵代数方程的线性迭代解法

针对无穷区间随机线性二次最优控制问题对应的随机代数Riccati方程提出了线性迭代解法.算法中得到Liapunov线性代数方程解的序列,该序列收敛于随机Riccati代数方程的解.已有的理论算法针对该SARE得到的是非线性的常规Riccati代数方程解的序列,而通常每一次运用经典的Kleinman迭代方法求解常规Riccati代数方程,都是反复迭代求解Lia-punov线性代数方程的过程.这就使得本文算法相较于已有理论算法在针对特定类型SARE时,具有较好的性能.

离散广义系统的奇异LQ问题及最优代价单调性

研究了离散广义系统的奇异线性二次指标最优控制问题。在给定的条件下,给出线性二次(LQ)问题的惟一最优控制和最优状态,并将最优控制综合为状态反馈。闭环系统正则,因果,稳定。并给出离散广义系统的最优代价比较定理。

非方离散广义系统的奇异LQ问题及最优代价单调性

研究了非方离散广义系统的奇异线性二次指标最优控制问题(即LQ问题).在给定的条件下,给出LQ问题的惟一最优控制和最优状态,并将最优控制综合为状态反馈.闭环系统的所有有限特征值均在开单位圆内,闭环系统的状态有最少自由元.并给出非方离散广义系统的最优代价比较定理.

基于ELQG算法的水库群优化调度研究

针对目前复杂水库群优化调度算法存在早熟收敛和运行时间长等问题,本文深入研究基于ELQG算法的水库群优化调度的原理、方法与步骤,利用ELQG算法求解新安江-富春江水库优化调度模型,并将不同典型年优化下调度结果与DP算法进行对比。结果表明：ELQG算法中梯级水库联合年发电量减少0.1亿-0.3亿kW·h,平均水位降低1.0-1.3 m,但计算速度平均提高20倍。ELQG算法具有较强的实用性和可操作性,为多目标、高维水库群的优化调度提供了一种新的途径。

一类混合不确定系统的对偶自适应控制

在具有未知常数且状态能够精确测量的线性二次型高斯(linear quadratic Gaussian, LQG)问题中,因为参数估计和控制增益存在耦合,所以分离定理不再成立,导致控制律无法获得解析解.为此,提出了一种对偶自适应控制方法,首先建立参数估计的状态空间模型,利用滚动动态规划获得控制增益,用Kalman滤波对未知参数进行估计,解决了估计增益与控制增益相互耦合的问题,进而设计了具有次优性质的控制器.该控制器既能优化控制目标,又能对未知参数进行有效学习.仿真结果表明了所提控制算法的有效性.