对带熵的随机线性二次最优控制问题的收敛性证明

本文通过矩阵变换将带熵的随机线性二次最优控制问题的解转化为其等价形式后,证明了线性二次方程的二次项系数解的唯一性和迭代式的收敛性,而一次项系数为0,常数项系数只与二次项有关,控制过程的最优概率分布也只与二次项有关。然后用蒙特卡洛随机抽样样本的均值估计期望值,由此设置了算法1,并证明了算法1中的迭代式具有波动性,波动率的大小和随机参数的方差有关,也与蒙特卡洛中的样本数有关,样本数越多,波动对应的方差越小。然后用两个数值案例比较了随机逼近Q-learning算法和蒙特卡洛Q-learning算法,相同迭代次数下,随机逼近Q-learning算法计算时间更少,但误差更大,蒙特卡洛Q-learning算法收敛更快更稳定,并且可以通过增加随机抽取的样本数使误差更小。

带有随机跳跃干扰的线性二次随机最优控制问题(英文)

给出一类布朗运动和泊松过程混合驱动的正倒向随机微分方程解的存在唯一性结果 ,应用这一结果研究带有随机跳跃干扰的线性二次随机最优控制问题 ,并得到最优控制的显式形式 ,可以证明最优控制是唯一的 .然后 ,引入和研究一类推广的黎卡提方程系统 。

正倒向随机微分方程与一类线性二次随机最优控制问题(英文)

讨论一类正倒向随机微分方程解的存在唯一性及其对应的一类线性二次随机最优控制问题 ,利用单调性方法证明了一类特殊的正倒向随机微分方程解的存在唯一性定理 ,利用该结果研究一类耦合了一个倒向随机微分方程的线性随机控制系统广义最优指标随机控制问题 ,得到由正倒向随机微分方程的解所表示的唯一最优控制的显式表达式 ,并得到精确的线性反馈及其对应的Riccati方程 .

模型自由的离散时间系统的随机线性二次最优控制

针对模型自由的随机线性离散时间系统,通过Q学习算法求解无限时间随机线性二次最优控制问题。首先根据贝尔曼最优性原理定义Q函数,通过值迭代算法的思想构造Q学习算法;其次给出Q学习算法的等价形式并证明其收敛性;最后通过一个仿真实例说明Q学习算法的有效性。

带有交叉项的离散不定随机线性二次控制问题

研究性能指标带有交叉项的离散时间不定随机线性二次(LQ)控制问题,允许权矩阵是不定的。引人一个广义差分Riccati方程,证明了此方程的可解性是LQ问题存在最优控制的一个充分条件,并用方程的解给出了最优控制。推广了文[1]的结果。

由Lévy过程驱动的随机线性二次最优控制问题

主要研究一类在更一般情况下的随机线性二次最优控制问题.该系统由Teugel’s鞅和布朗运动共同驱动,且状态方程中存在漂移项,性能指标中含有交叉项.研究中基于凸变分原理得到最优控制的存在唯一性;利用对偶技术导出最优控制的对偶表达式,建立随机Hamiltonian系统,该系统是一个含有Teugel’s鞅的、线性的、完全耦合的正倒向随机微分方程;通过随机Hamiltonian系统推导出相应的Riccati方程,并通过证明Riccati方程解的存在唯一性获得了最优控制的反馈表达式.

由布朗运动和列维过程联合驱动的一个有限期的线性二次最优随机控制问题（英文）

我们研究了由布朗运动和列维过程联合驱动的线性二次最优随机控制问题.我们利用深刻的截口定理新的仿射随机微分方程存在逆过程.应用拟线性贝尔曼原理和单调迭代收敛方法,我们证明了倒向黎卡提微分方程解的存在性和唯一性.最后,我们证明了存在一个最优反馈控制且值函数由相应的倒向黎卡提微分方程和相应的伴随方程的初始值合成.

随机线性二次最优控制:从离散到连续时间模型

在一般情形下,分析了离散时间LQ问题与连续时间情形两者之间的自然联系.首先回顾了连续时间和离散时间随机LQ问题及对应Riccati微分/差分方程的相关结论.接下来在假设Riccati微分方程有解的前提下,证明了离散化步长足够小时,Riccati差分方程有解.然后针对连续和离散时间模型,采用配对问题最优控制的反馈形式,分别构造了一个辅助反馈控制,并证明该控制可驱使对应模型的性能指标逼近于配对问题的值函数,以此得到了关于两个模型之间联系的初步结论.最后藉由前述结论以及控制问题的特性,揭晓了连续时间和离散时间模型之间的自然联系,并给出了Riccati差分方程和微分方程的解之间的误差估计.由此联系,可构造相应离散系统和LQ问题,以适当的阶估计连续时间LQ问题的解,抑或为离散时间模型构造一个近似最优控制.无论哪种思路,都旨在降低直接求解原问题的难度和复杂性.

离散跳变无限不定随机线性二次控制

主要论述了伴有状态和控制独立噪音的无限离散时间系统的带马尔科夫跳的随机线性二次控制问题.该问题给出了一个包含等式和不等式约束的广义代数黎卡提方程(GARE).跳变不定线性二次控制(LQC)问题的适定性被证明与一个线性矩阵不等式(LMI)的可行性是等价的;并且GARE一个镇定解的存在性等价于跳变线性二次控制问题的可达性.最后给出了一个基于LMI的方法通过半定规划来解决GARE.

带熵的随机线性二次最优控制问题

本文研究了随机线性二次最优控制问题,对带有随机参数的无限时间内的离散时间线性二次最优控制问题,我们不考虑控制过程本身的最优解而是求解控制过程的概率分布,并用熵来度量这个随机概率分布的探索水平。经计算得到控制过程的最优概率分布服从高斯分布,再利用概率分布可求得线性二次型最优控制问题值函数的各项系数矩阵的迭代式。在值迭代的基础上使用Q-learning算法求解各项系数值的平稳解。最后选择两个数值算例证明了Q-learning算法的有效性,并比较了加熵和不加熵时的算法效果,结果表明熵的运用可以使算法收敛更快更稳定。

带有交叉项的离散时间不定随机线性二次控制

本文主要是研究离散时间下,带有交叉项的不定随机线性二次最优控制,并且介绍了广义代数黎卡提方程和线性矩阵不等式。进一步阐述了线性矩阵不等式的可解性是等价于广义代数黎卡提方程的解。最后,我们得到最优控制的解的情况。

一类线性二次正倒向随机最优控制问题

研究了一类特殊的线性正倒向随机控制系统的最优控制问题,通过运用最大值原理来解决所给出的线性二次随机最优控制问题,从而获得线性二次指标泛函下的控制的显示形式,并验证了控制的显示表达式是最优控制并且唯一。

考虑组合风险的指数化投资与随机线性二次最优控制

指数化投资使投资者享有市场平均收益水平,具有投资风险分散化、投资组合透明化、投资成本低廉等优势,日益受到投资者的亲睐.由于通常指数化投资者不愿意承担较大风险,本文考虑极小化跟踪误差与投资组合的风险之和(其中风险用风险资产的累积方差来衡量).本文证明了无论是连续时间或离散时间、有限时区或无限时区的情形,在一定的条件下,最优控制都唯一存在,即利用随机线性二次最优控制进行指数化投资,最优投资策略都唯一存在.

基于随机LQ控制的一类投资组合优化策略

将随机LQ控制模型推广到系统状态为带有马尔科夫调制参数的跳跃-扩散过程的随机LQ控制模型,采用倒向随机微分方程得到最优反馈控制,然后用来处理借贷利率不等条件下的投资组合问题.将原始问题转化为随机LQ最优控制问题后,引入跳跃-扩散的随机Riccati方程,应用随机变分法求得问题的最优反馈控制策略.

证券组合优化模型的随机LQ控制框架

将随机LQ控制模型推广到系统状态为跳跃 扩散过程的随机LQ控制,通过引入跳跃 扩散的Riccati方程而得到最优的反馈控制,然后运用该框架去处理金融中未定权益的套期保值问题,与均值 方差分析模型,得到了精确的最优套期保值策略与最优的投资组合策略.

一类随机Riccati矩阵代数方程的线性迭代解法

针对无穷区间随机线性二次最优控制问题对应的随机代数Riccati方程提出了线性迭代解法.算法中得到Liapunov线性代数方程解的序列,该序列收敛于随机Riccati代数方程的解.已有的理论算法针对该SARE得到的是非线性的常规Riccati代数方程解的序列,而通常每一次运用经典的Kleinman迭代方法求解常规Riccati代数方程,都是反复迭代求解Lia-punov线性代数方程的过程.这就使得本文算法相较于已有理论算法在针对特定类型SARE时,具有较好的性能.

随机控制下的资产投资策略

考虑一段时间的最优投资策略选择问题———最小化总收益与初始资金的偏差.在给定初始准备金的前提下,利用随机线性二次控制中Hamilton-Jacobi-Bellman(HJB)方程的相关理论,得到满足保险公司投资决策目标的最优投资策略的表达式.结果表明:保险公司的最优投资策略不仅取决于债券市场的风险大小,而且取决于保费收益率、索赔到达的强度以及债券风险收益率等.

一类随机Riccati方程解的存在性

考虑一类随机Riccati方程解的存在性条件.首先,基于随机Riccati方程自身结构的特点,利用It8公式,构造一个不带限制条件的倒向随机微分方程;其次,在倒向随机微分方程的构造中先使其解满足随机Riccati方程中相应的代数限制条件,再利用二者间的关系给出随机Riccati方程解的存在性条件.

基于SLQ控制器的时滞微分系统的鲁棒镇定

该文基于随机线性二次控制问题,讨论了多时滞、且具有马尔可夫跳变参数的微分系统的最优控制的鲁棒性及可镇定问题．应用了Lyapunov-Krasovskii型的泛函、伊藤(Ito)公式、及Schur补等工具,分析了该随机多时滞、具有马尔可夫过程的微分系统的均方指数稳定性．得到了时滞相关与时滞无关的充分性的代数判据．

一种新型汽车主动悬架控制系统的研究方法

主动悬架控制器的设计中引入了一种新型研究方法,缩短了主动悬架控制系统的开发周期。采用MATLAB/Simulink/RTW(Real-TimeWorkshop)为软件开发环境,采用xPC结构配置目标硬件,将通用PC转化为实时控制器,搭建开发平台建立了被动悬架、线性二次型高斯(Linear Quadratic Gaussian,LQG)主动悬架和模糊控制主动悬架的Simulink模型,利用RTW工具箱从Simulink模型自动生成可执行代码,下载到xPC环境的目标PC上采用外部模型运行,得到仿真结果,在时域范围内采用均方根值(RMS)法对3种悬架模型的性能加以分析对比。