具终端状态约束的无穷维随机发展方程的线性二次最优控制

1968年,Wonham提出随机线性二次最优控制问题.随后,1976年Bismut开始研究带有随机系数的随机线性二次最优控制问题.直到1998年,陈、李和周首次成功解决了具有不定控制加权项的随机系数的随机线性二次最优控制问题.此后,越来越多的研究者开始对随机线性二次最优控制问题产生兴趣.近二十年来,人们逐渐开始研究以无穷维随机发展方程为控制系统的线性二次最优控制问题.另一方面,实际应用中的控制系统的状态变量往往需要满足一些约束条件.在此背景下,本文研究了具终端状态约束的随机发展方程的线性二次最优控制问题.基于算子值Riccati方程可解性、控制系统的适当能控性及拉格朗日对偶理论,本文得到了该约束问题最优控制的表达式.

随机线性二次问题中一类改进的强化学习方法

随机线性二次问题是一类重要且研究较为成熟的随机控制问题。其中,部分信息条件下的随机线性二次问题是指系统的状态方程或代价函数中存在未知系数的情形,该文在前人工作的基础上,改进部分信息条件下线性二次问题的最优控制在线强化学习算法。所研究系统方程和代价函数的系数都存在未知量,在此条件下,算法通过可观察的样本轨迹和回报函数求得最优控制以及代价函数中的未知系数,进一步地,我们给出迭代过程收敛性与控制稳定性的证明。

对带熵的随机线性二次最优控制问题的收敛性证明

本文通过矩阵变换将带熵的随机线性二次最优控制问题的解转化为其等价形式后,证明了线性二次方程的二次项系数解的唯一性和迭代式的收敛性,而一次项系数为0,常数项系数只与二次项有关,控制过程的最优概率分布也只与二次项有关。然后用蒙特卡洛随机抽样样本的均值估计期望值,由此设置了算法1,并证明了算法1中的迭代式具有波动性,波动率的大小和随机参数的方差有关,也与蒙特卡洛中的样本数有关,样本数越多,波动对应的方差越小。然后用两个数值案例比较了随机逼近Q-learning算法和蒙特卡洛Q-learning算法,相同迭代次数下,随机逼近Q-learning算法计算时间更少,但误差更大,蒙特卡洛Q-learning算法收敛更快更稳定,并且可以通过增加随机抽取的样本数使误差更小。

带有随机跳跃干扰的线性二次随机最优控制问题(英文)

给出一类布朗运动和泊松过程混合驱动的正倒向随机微分方程解的存在唯一性结果 ,应用这一结果研究带有随机跳跃干扰的线性二次随机最优控制问题 ,并得到最优控制的显式形式 ,可以证明最优控制是唯一的 .然后 ,引入和研究一类推广的黎卡提方程系统 。

正倒向随机微分方程与一类线性二次随机最优控制问题(英文)

讨论一类正倒向随机微分方程解的存在唯一性及其对应的一类线性二次随机最优控制问题 ,利用单调性方法证明了一类特殊的正倒向随机微分方程解的存在唯一性定理 ,利用该结果研究一类耦合了一个倒向随机微分方程的线性随机控制系统广义最优指标随机控制问题 ,得到由正倒向随机微分方程的解所表示的唯一最优控制的显式表达式 ,并得到精确的线性反馈及其对应的Riccati方程 .

由Lévy过程驱动的随机线性二次最优控制问题

主要研究一类在更一般情况下的随机线性二次最优控制问题.该系统由Teugel’s鞅和布朗运动共同驱动,且状态方程中存在漂移项,性能指标中含有交叉项.研究中基于凸变分原理得到最优控制的存在唯一性;利用对偶技术导出最优控制的对偶表达式,建立随机Hamiltonian系统,该系统是一个含有Teugel’s鞅的、线性的、完全耦合的正倒向随机微分方程;通过随机Hamiltonian系统推导出相应的Riccati方程,并通过证明Riccati方程解的存在唯一性获得了最优控制的反馈表达式.

模型自由的离散时间系统的随机线性二次最优控制

针对模型自由的随机线性离散时间系统,通过Q学习算法求解无限时间随机线性二次最优控制问题。首先根据贝尔曼最优性原理定义Q函数,通过值迭代算法的思想构造Q学习算法;其次给出Q学习算法的等价形式并证明其收敛性;最后通过一个仿真实例说明Q学习算法的有效性。

带熵的随机线性二次最优控制问题

本文研究了随机线性二次最优控制问题,对带有随机参数的无限时间内的离散时间线性二次最优控制问题,我们不考虑控制过程本身的最优解而是求解控制过程的概率分布,并用熵来度量这个随机概率分布的探索水平。经计算得到控制过程的最优概率分布服从高斯分布,再利用概率分布可求得线性二次型最优控制问题值函数的各项系数矩阵的迭代式。在值迭代的基础上使用Q-learning算法求解各项系数值的平稳解。最后选择两个数值算例证明了Q-learning算法的有效性,并比较了加熵和不加熵时的算法效果,结果表明熵的运用可以使算法收敛更快更稳定。

一类线性二次正倒向随机最优控制问题

研究了一类特殊的线性正倒向随机控制系统的最优控制问题,通过运用最大值原理来解决所给出的线性二次随机最优控制问题,从而获得线性二次指标泛函下的控制的显示形式,并验证了控制的显示表达式是最优控制并且唯一。

随机线性二次最优控制:从离散到连续时间模型

在一般情形下,分析了离散时间LQ问题与连续时间情形两者之间的自然联系.首先回顾了连续时间和离散时间随机LQ问题及对应Riccati微分/差分方程的相关结论.接下来在假设Riccati微分方程有解的前提下,证明了离散化步长足够小时,Riccati差分方程有解.然后针对连续和离散时间模型,采用配对问题最优控制的反馈形式,分别构造了一个辅助反馈控制,并证明该控制可驱使对应模型的性能指标逼近于配对问题的值函数,以此得到了关于两个模型之间联系的初步结论.最后藉由前述结论以及控制问题的特性,揭晓了连续时间和离散时间模型之间的自然联系,并给出了Riccati差分方程和微分方程的解之间的误差估计.由此联系,可构造相应离散系统和LQ问题,以适当的阶估计连续时间LQ问题的解,抑或为离散时间模型构造一个近似最优控制.无论哪种思路,都旨在降低直接求解原问题的难度和复杂性.

带有终端约束的线性二次最优控制问题

主要研究了带有终端约束的线性二次最优控制问题的可解性.首先,借助Riccati方程给出了最优控制的状态反馈形式;其次,基于状态反馈表示提出了最优状态和最优控制的计算方法;最后,通过数值算例验证了数值算法的有效性,并且展示了该算法的一阶收敛速度.

由布朗运动和列维过程联合驱动的一个有限期的线性二次最优随机控制问题（英文）

我们研究了由布朗运动和列维过程联合驱动的线性二次最优随机控制问题.我们利用深刻的截口定理新的仿射随机微分方程存在逆过程.应用拟线性贝尔曼原理和单调迭代收敛方法,我们证明了倒向黎卡提微分方程解的存在性和唯一性.最后,我们证明了存在一个最优反馈控制且值函数由相应的倒向黎卡提微分方程和相应的伴随方程的初始值合成.

用改进的差分式Hopfield网络实现线性二次型最优控制

为解决差分式Hopfield网络能量函数的局部极小问题,本文对之改进得到一种具有迭代学习功能的线性差分式Hopfield网络.理论分析表明,该网络具有稳定性,且稳定状态使其能量函数达到唯一极小值.基于线性差分式Hopfield网络稳定性与其能量函数收敛特性的关系,本文将该网络用于求解多变量时变系统的线性二次型最优控制问题.网络的理论设计方法表明,网络的稳态输出就是欲求的最优控制向量.数字仿真取得了与理论分析一致的实验结果.

考虑组合风险的指数化投资与随机线性二次最优控制

指数化投资使投资者享有市场平均收益水平,具有投资风险分散化、投资组合透明化、投资成本低廉等优势,日益受到投资者的亲睐.由于通常指数化投资者不愿意承担较大风险,本文考虑极小化跟踪误差与投资组合的风险之和(其中风险用风险资产的累积方差来衡量).本文证明了无论是连续时间或离散时间、有限时区或无限时区的情形,在一定的条件下,最优控制都唯一存在,即利用随机线性二次最优控制进行指数化投资,最优投资策略都唯一存在.

随机系数下线性二次控制问题的最优性条件及其应用

本文旨在研究随机系数下随机微分方程的线性二次最优控制问题.本文从闭环最优控制/策略存在的必要性条件的角度开展研究.若闭环最优控制/策略存在,得到其显示反馈表示、带伪逆运算的倒向随机Riccati方程的适定性及不同系数间满足的一些本质性条件.此处结论本质地推广和改进了文[Ait Rami M,Moore J,Zhou X.Indefinite stochastic linear quadratic control and generalized differential Riccati equation[J].SIAM J Control Optim,2001,40:1296-1311;Sun J,Yong J.Linear quadratic stochastic differential games:open-loop and closed-loop saddle points[J].SIAM J Control Optim,2014,52:4082-4121;Lü Q,Wang T,Zhang X.Characterization of optimal feedback for stochastic linear quadratic control problems,Probab Uncertain Quant Risk,2017,2:11,DOI 10.1186/s41546-017-0022-7]的相应结论.此外,本文得到了一个关于倒向随机Riccati方程和二阶伴随方程两类方程适应解之间的微妙关系.注意到,这一结论在现有文献中首次出现.最后,本文讨论了在均值方差对冲问题中的应用.

关于具有二次损失泛函线性系的最优控制

运用非线性滤波理论讨论了随机信息模拟中一类不完全数据下与连续时间下具有二次损失泛函线性系的最优控制 ,得到了在这两种情形下具有二次损失泛函线性系的两个最优控制数学模型 ,为此类随机信息的最优化提供了又一有效的模拟控制新方法 .

控制能量有界的时不变系统线性二次型最优控制

本文通过新的途径讨论控制能量有界的时不变系统线性二次型最优控制问题．文中通过“不亏损的S-过程”方法将该问题转化成无约束的时不变系统线性二次型最优控制问题，从而利用后者的基本结果给出本文问题的最优控制的解析构造．结果表明此时最优控制仍由一线性状态反馈控制器确定，但其增益矩阵的选择是与初始状态有关的，并且对某些初始状态还可能出现奇异情况．

履带底盘半主动悬架线性二次型最优控制

为了充分发挥半主动悬架性能,改善履带底盘的平顺性,研究了一种履带底盘半主动悬架线性二次型最优控制算法.在建立履带底盘半车七自由度动力学模型的基础上,设计线性二次型最优控制算法,并以E级随机路面不平度为激励信号,进行被动悬架、天棚地棚混合控制策略和线性二次型最优控制策略的对比仿真试验,得到不同控制策略下的时域响应和频域响应特性.试验结果表明,采用线性二次型最优控制算法可使履带底盘加速度、速度和支重轮变形量均有不同程度的减小,有效地改善履带底盘的平顺性,并可以满足减震器可靠性要求和支重轮贴地性要求.

随机最优控制LQG问题中的一类可行法则

本文对随机最优控制中的ＬＱＧ问题给出了一类比较简单易行而又较好的可行反馈法则，证明了这类法则是平稳法则，同时它还可以抑制状态变量实现值的个数成双指数增长。在这类可行法则上寻求最优法则的问题相当于解一个简单得多的随机规划问题。

条件平均场随机微分方程的最优控制问题

作者研究了一个条件平均场随机微分方程的最优控制问题.这种方程和某些部分信息下的随机最优控制问题有关,并且可以看做是平均场随机微分方程的推广.作者以庞特里雅金最大值原理的形式给出最优控制满足的必要和充分条件.此外,文中给出一个线性二次最优控制问题来说明理论结果的应用.