由布朗运动和列维过程联合驱动的一个有限期的线性二次最优随机控制问题（英文）

我们研究了由布朗运动和列维过程联合驱动的线性二次最优随机控制问题.我们利用深刻的截口定理新的仿射随机微分方程存在逆过程.应用拟线性贝尔曼原理和单调迭代收敛方法,我们证明了倒向黎卡提微分方程解的存在性和唯一性.最后,我们证明了存在一个最优反馈控制且值函数由相应的倒向黎卡提微分方程和相应的伴随方程的初始值合成.

带有随机跳跃干扰的线性二次随机最优控制问题(英文)

给出一类布朗运动和泊松过程混合驱动的正倒向随机微分方程解的存在唯一性结果 ,应用这一结果研究带有随机跳跃干扰的线性二次随机最优控制问题 ,并得到最优控制的显式形式 ,可以证明最优控制是唯一的 .然后 ,引入和研究一类推广的黎卡提方程系统 。

正倒向随机微分方程与一类线性二次随机最优控制问题(英文)

讨论一类正倒向随机微分方程解的存在唯一性及其对应的一类线性二次随机最优控制问题 ,利用单调性方法证明了一类特殊的正倒向随机微分方程解的存在唯一性定理 ,利用该结果研究一类耦合了一个倒向随机微分方程的线性随机控制系统广义最优指标随机控制问题 ,得到由正倒向随机微分方程的解所表示的唯一最优控制的显式表达式 ,并得到精确的线性反馈及其对应的Riccati方程 .

具终端状态约束的无穷维随机发展方程的线性二次最优控制

1968年,Wonham提出随机线性二次最优控制问题.随后,1976年Bismut开始研究带有随机系数的随机线性二次最优控制问题.直到1998年,陈、李和周首次成功解决了具有不定控制加权项的随机系数的随机线性二次最优控制问题.此后,越来越多的研究者开始对随机线性二次最优控制问题产生兴趣.近二十年来,人们逐渐开始研究以无穷维随机发展方程为控制系统的线性二次最优控制问题.另一方面,实际应用中的控制系统的状态变量往往需要满足一些约束条件.在此背景下,本文研究了具终端状态约束的随机发展方程的线性二次最优控制问题.基于算子值Riccati方程可解性、控制系统的适当能控性及拉格朗日对偶理论,本文得到了该约束问题最优控制的表达式.

由Lévy过程驱动的随机线性二次最优控制问题

主要研究一类在更一般情况下的随机线性二次最优控制问题.该系统由Teugel’s鞅和布朗运动共同驱动,且状态方程中存在漂移项,性能指标中含有交叉项.研究中基于凸变分原理得到最优控制的存在唯一性;利用对偶技术导出最优控制的对偶表达式,建立随机Hamiltonian系统,该系统是一个含有Teugel’s鞅的、线性的、完全耦合的正倒向随机微分方程;通过随机Hamiltonian系统推导出相应的Riccati方程,并通过证明Riccati方程解的存在唯一性获得了最优控制的反馈表达式.

基于线性二次最优-PID车辆控制策略研究

针对车辆在循迹过程中主动跟随精确性的问题,本文提出了一种利用线性二次(LQR)-PID最优算法设计上层控制器的方法。首先,根据车辆的动静态特性和运动特性建立CarSim车辆模型,并设计相应的性能指标;然后,采用LQR线性二次最优控制和PID控制设计了针对不同路况条件下的两种跟车策略,结合实际驾驶条件下自身传感器采集的数据作为系统输入,将所设计控制策略得到的输出作用于车辆模型。联合仿真表明:线性二次-PID最优控制策略在不同工况条件下能够有效地减小车辆在跟随过程中的稳态误差,且能够明显改善驾乘体验。

随机线性二次最优控制在投资组合中的应用

提出一类随机线性二次最优控制问题,给出了一个新的随机黎卡提方程,若此方程有解,就可以得到系统的最优反馈控制;作为其应用,讨论了连续时间的均值-方差投资组合选择问题,其目标是投资组合的最终收益最大,风险最小,通过"嵌入"方法将其转化为随机线性二次最优控制问题,并在非自融资的条件下,得出最优证券组合;最后将其理论应用于实例分析.

模型自由的离散时间系统的随机线性二次最优控制

针对模型自由的随机线性离散时间系统,通过Q学习算法求解无限时间随机线性二次最优控制问题。首先根据贝尔曼最优性原理定义Q函数,通过值迭代算法的思想构造Q学习算法;其次给出Q学习算法的等价形式并证明其收敛性;最后通过一个仿真实例说明Q学习算法的有效性。

带熵的随机线性二次最优控制问题

本文研究了随机线性二次最优控制问题,对带有随机参数的无限时间内的离散时间线性二次最优控制问题,我们不考虑控制过程本身的最优解而是求解控制过程的概率分布,并用熵来度量这个随机概率分布的探索水平。经计算得到控制过程的最优概率分布服从高斯分布,再利用概率分布可求得线性二次型最优控制问题值函数的各项系数矩阵的迭代式。在值迭代的基础上使用Q-learning算法求解各项系数值的平稳解。最后选择两个数值算例证明了Q-learning算法的有效性,并比较了加熵和不加熵时的算法效果,结果表明熵的运用可以使算法收敛更快更稳定。

随机系数下线性二次控制问题的最优性条件及其应用

本文旨在研究随机系数下随机微分方程的线性二次最优控制问题.本文从闭环最优控制/策略存在的必要性条件的角度开展研究.若闭环最优控制/策略存在,得到其显示反馈表示、带伪逆运算的倒向随机Riccati方程的适定性及不同系数间满足的一些本质性条件.此处结论本质地推广和改进了文[Ait Rami M,Moore J,Zhou X.Indefinite stochastic linear quadratic control and generalized differential Riccati equation[J].SIAM J Control Optim,2001,40:1296-1311;Sun J,Yong J.Linear quadratic stochastic differential games:open-loop and closed-loop saddle points[J].SIAM J Control Optim,2014,52:4082-4121;Lü Q,Wang T,Zhang X.Characterization of optimal feedback for stochastic linear quadratic control problems,Probab Uncertain Quant Risk,2017,2:11,DOI 10.1186/s41546-017-0022-7]的相应结论.此外,本文得到了一个关于倒向随机Riccati方程和二阶伴随方程两类方程适应解之间的微妙关系.注意到,这一结论在现有文献中首次出现.最后,本文讨论了在均值方差对冲问题中的应用.

一类线性二次正倒向随机最优控制问题

研究了一类特殊的线性正倒向随机控制系统的最优控制问题,通过运用最大值原理来解决所给出的线性二次随机最优控制问题,从而获得线性二次指标泛函下的控制的显示形式,并验证了控制的显示表达式是最优控制并且唯一。

随机线性二次问题中一类改进的强化学习方法

随机线性二次问题是一类重要且研究较为成熟的随机控制问题。其中,部分信息条件下的随机线性二次问题是指系统的状态方程或代价函数中存在未知系数的情形,该文在前人工作的基础上,改进部分信息条件下线性二次问题的最优控制在线强化学习算法。所研究系统方程和代价函数的系数都存在未知量,在此条件下,算法通过可观察的样本轨迹和回报函数求得最优控制以及代价函数中的未知系数,进一步地,我们给出迭代过程收敛性与控制稳定性的证明。

对带熵的随机线性二次最优控制问题的收敛性证明

本文通过矩阵变换将带熵的随机线性二次最优控制问题的解转化为其等价形式后,证明了线性二次方程的二次项系数解的唯一性和迭代式的收敛性,而一次项系数为0,常数项系数只与二次项有关,控制过程的最优概率分布也只与二次项有关。然后用蒙特卡洛随机抽样样本的均值估计期望值,由此设置了算法1,并证明了算法1中的迭代式具有波动性,波动率的大小和随机参数的方差有关,也与蒙特卡洛中的样本数有关,样本数越多,波动对应的方差越小。然后用两个数值案例比较了随机逼近Q-learning算法和蒙特卡洛Q-learning算法,相同迭代次数下,随机逼近Q-learning算法计算时间更少,但误差更大,蒙特卡洛Q-learning算法收敛更快更稳定,并且可以通过增加随机抽取的样本数使误差更小。

带有交叉项的离散不定随机线性二次控制问题

研究性能指标带有交叉项的离散时间不定随机线性二次(LQ)控制问题,允许权矩阵是不定的。引人一个广义差分Riccati方程,证明了此方程的可解性是LQ问题存在最优控制的一个充分条件,并用方程的解给出了最优控制。推广了文[1]的结果。

一类具有状态约束的线性二次最优控制问题

研究具有状态积分不等式约束的线性二次控制问题，证明了最优控制的存在性和唯一性。

存款利率与贷款利率不等式的随机线性二次最优控制的应用

讨论在存贷款利率与贷款利率不等和非自融资(考虑收入和消费)条件下的随机线性二次最优控制问题,将其应用到连续时间的均值-方差投资组合选择问题中,得到最优证券组合.

随机线性二次最优控制:从离散到连续时间模型

在一般情形下,分析了离散时间LQ问题与连续时间情形两者之间的自然联系.首先回顾了连续时间和离散时间随机LQ问题及对应Riccati微分/差分方程的相关结论.接下来在假设Riccati微分方程有解的前提下,证明了离散化步长足够小时,Riccati差分方程有解.然后针对连续和离散时间模型,采用配对问题最优控制的反馈形式,分别构造了一个辅助反馈控制,并证明该控制可驱使对应模型的性能指标逼近于配对问题的值函数,以此得到了关于两个模型之间联系的初步结论.最后藉由前述结论以及控制问题的特性,揭晓了连续时间和离散时间模型之间的自然联系,并给出了Riccati差分方程和微分方程的解之间的误差估计.由此联系,可构造相应离散系统和LQ问题,以适当的阶估计连续时间LQ问题的解,抑或为离散时间模型构造一个近似最优控制.无论哪种思路,都旨在降低直接求解原问题的难度和复杂性.

带有终端约束的线性二次最优控制问题

主要研究了带有终端约束的线性二次最优控制问题的可解性.首先,借助Riccati方程给出了最优控制的状态反馈形式;其次,基于状态反馈表示提出了最优状态和最优控制的计算方法;最后,通过数值算例验证了数值算法的有效性,并且展示了该算法的一阶收敛速度.

基于MATLAB的线性二次型最优控制器设计

给出了完整的线性二次型最优控制器的设计过程 ,简述了线性二次型最优控制器的基本原理、控制器的设计方法 ,并对控制器作用下的闭环系统的稳定性和响应进行了分析 ,设计所得到的控制器控制效果比较好 ,对参数摄动也不敏感 ,达到了设计的目的。

线性二次最优算法的倒立摆系统仿真与实时控制

文章对倒立摆进行了详细的力学分析,建立了该种倒立摆的数学模型,并为系统设计了线性二次指标最优控制器。然后,通过计算机数值仿真实验,为倒立摆控制系统选取合适的性能指标和状态反馈矩阵,仿真实验结果说明,应用该状态反馈控制,能够取得了良好的控制效果。最后,文章建立了基于matlabRTW实时工具箱的倒立摆实时控制平台。通过倒立摆的实时控制实验,验证了理论分析和数值仿真的正确性。