带有随机跳跃干扰的线性二次随机最优控制问题(英文)

给出一类布朗运动和泊松过程混合驱动的正倒向随机微分方程解的存在唯一性结果 ,应用这一结果研究带有随机跳跃干扰的线性二次随机最优控制问题 ,并得到最优控制的显式形式 ,可以证明最优控制是唯一的 .然后 ,引入和研究一类推广的黎卡提方程系统 。

正倒向随机微分方程与一类线性二次随机最优控制问题(英文)

讨论一类正倒向随机微分方程解的存在唯一性及其对应的一类线性二次随机最优控制问题 ,利用单调性方法证明了一类特殊的正倒向随机微分方程解的存在唯一性定理 ,利用该结果研究一类耦合了一个倒向随机微分方程的线性随机控制系统广义最优指标随机控制问题 ,得到由正倒向随机微分方程的解所表示的唯一最优控制的显式表达式 ,并得到精确的线性反馈及其对应的Riccati方程 .

具终端状态约束的无穷维随机发展方程的线性二次最优控制

1968年,Wonham提出随机线性二次最优控制问题.随后,1976年Bismut开始研究带有随机系数的随机线性二次最优控制问题.直到1998年,陈、李和周首次成功解决了具有不定控制加权项的随机系数的随机线性二次最优控制问题.此后,越来越多的研究者开始对随机线性二次最优控制问题产生兴趣.近二十年来,人们逐渐开始研究以无穷维随机发展方程为控制系统的线性二次最优控制问题.另一方面,实际应用中的控制系统的状态变量往往需要满足一些约束条件.在此背景下,本文研究了具终端状态约束的随机发展方程的线性二次最优控制问题.基于算子值Riccati方程可解性、控制系统的适当能控性及拉格朗日对偶理论,本文得到了该约束问题最优控制的表达式.

随机线性二次控制的资格迹方法

本文研究了强化学习方法在线性二次控制问题(LQR)中的应用。在LQR问题的研究中,常见的方法通过求解代数黎卡提方程得到最优控制,并不直接优化控制增益。本文在策略梯度算法的基础上引入资格迹方法,直接优化控制增益矩阵。考虑已知和未知参数两种情况下,资格迹方法的收敛。在有限时域和高斯噪声的条件下,分别给出了已知和未知参数两种情况下算法的全局收敛保证。参数未知时,利用零阶优化定理近似梯度项,这可以将问题扩展至代价函数非凸的情况。数值模拟结果显示资格迹方法与梯度下降算法相比更快收敛,方差更小。

对带熵的随机线性二次最优控制问题的收敛性证明

本文通过矩阵变换将带熵的随机线性二次最优控制问题的解转化为其等价形式后,证明了线性二次方程的二次项系数解的唯一性和迭代式的收敛性,而一次项系数为0,常数项系数只与二次项有关,控制过程的最优概率分布也只与二次项有关。然后用蒙特卡洛随机抽样样本的均值估计期望值,由此设置了算法1,并证明了算法1中的迭代式具有波动性,波动率的大小和随机参数的方差有关,也与蒙特卡洛中的样本数有关,样本数越多,波动对应的方差越小。然后用两个数值案例比较了随机逼近Q-learning算法和蒙特卡洛Q-learning算法,相同迭代次数下,随机逼近Q-learning算法计算时间更少,但误差更大,蒙特卡洛Q-learning算法收敛更快更稳定,并且可以通过增加随机抽取的样本数使误差更小。

模型自由的离散时间系统的随机线性二次最优控制

针对模型自由的随机线性离散时间系统,通过Q学习算法求解无限时间随机线性二次最优控制问题。首先根据贝尔曼最优性原理定义Q函数,通过值迭代算法的思想构造Q学习算法;其次给出Q学习算法的等价形式并证明其收敛性;最后通过一个仿真实例说明Q学习算法的有效性。

随机线性二次最优控制在投资组合中的应用

提出一类随机线性二次最优控制问题,给出了一个新的随机黎卡提方程,若此方程有解,就可以得到系统的最优反馈控制;作为其应用,讨论了连续时间的均值-方差投资组合选择问题,其目标是投资组合的最终收益最大,风险最小,通过"嵌入"方法将其转化为随机线性二次最优控制问题,并在非自融资的条件下,得出最优证券组合;最后将其理论应用于实例分析.

离散时间时变Markov跳变系统的线性二次最优控制

研究了离散时间时变Markov跳变系统在有限时域上的最优控制问题。证明了任何离散时间时变Markov跳变系统的最优控制问题都可以通过广义代数Riccati方程的解来确定;也证明了最优控制问题的可达性是广义代数Riccati方程解的存在性的充分条件;最后通过数值举例来验证结果的正确性。

存款利率与贷款利率不等式的随机线性二次最优控制的应用

讨论在存贷款利率与贷款利率不等和非自融资(考虑收入和消费)条件下的随机线性二次最优控制问题,将其应用到连续时间的均值-方差投资组合选择问题中,得到最优证券组合.

由Lévy过程驱动的随机线性二次最优控制问题

主要研究一类在更一般情况下的随机线性二次最优控制问题.该系统由Teugel’s鞅和布朗运动共同驱动,且状态方程中存在漂移项,性能指标中含有交叉项.研究中基于凸变分原理得到最优控制的存在唯一性;利用对偶技术导出最优控制的对偶表达式,建立随机Hamiltonian系统,该系统是一个含有Teugel’s鞅的、线性的、完全耦合的正倒向随机微分方程;通过随机Hamiltonian系统推导出相应的Riccati方程,并通过证明Riccati方程解的存在唯一性获得了最优控制的反馈表达式.

随机线性二次最优控制:从离散到连续时间模型

在一般情形下,分析了离散时间LQ问题与连续时间情形两者之间的自然联系.首先回顾了连续时间和离散时间随机LQ问题及对应Riccati微分/差分方程的相关结论.接下来在假设Riccati微分方程有解的前提下,证明了离散化步长足够小时,Riccati差分方程有解.然后针对连续和离散时间模型,采用配对问题最优控制的反馈形式,分别构造了一个辅助反馈控制,并证明该控制可驱使对应模型的性能指标逼近于配对问题的值函数,以此得到了关于两个模型之间联系的初步结论.最后藉由前述结论以及控制问题的特性,揭晓了连续时间和离散时间模型之间的自然联系,并给出了Riccati差分方程和微分方程的解之间的误差估计.由此联系,可构造相应离散系统和LQ问题,以适当的阶估计连续时间LQ问题的解,抑或为离散时间模型构造一个近似最优控制.无论哪种思路,都旨在降低直接求解原问题的难度和复杂性.

大型风力发电机组线性二次型高斯最优控制策略

为优化额定风速下变速恒频风力发电机组的运行效能,使风力机既能最大化地捕获风能又能最小化随机风引起的疲劳载荷及功率波动,提出一种基于有效风速估计的自适应增益调度线性二次型高斯(gain schedule linear quadratic Gaussian optimal control,GS-LQG)最优控制策略。该控制策略以扩展Kalman滤波器(extended Kalman filter,EKF)估计出的平均有效风速作为增益调度变量,根据风电机组稳态工作点的变化,自适应调整控制器参数,使得在每个工作点都能实现最优控制。以1.5MW风电机组作为研究对象,对大范围变化风况激励下,风电机组响应情况进行了仿真研究,结果表明该控制策略可以实现准确的风速估计,并且相对于传统控制策略能够有效缓和传动链上转矩的波动,平滑输出功率,对改善风电的电能质量,延长机组使用寿命具有重要意义。

带熵的随机线性二次最优控制问题

本文研究了随机线性二次最优控制问题,对带有随机参数的无限时间内的离散时间线性二次最优控制问题,我们不考虑控制过程本身的最优解而是求解控制过程的概率分布,并用熵来度量这个随机概率分布的探索水平。经计算得到控制过程的最优概率分布服从高斯分布,再利用概率分布可求得线性二次型最优控制问题值函数的各项系数矩阵的迭代式。在值迭代的基础上使用Q-learning算法求解各项系数值的平稳解。最后选择两个数值算例证明了Q-learning算法的有效性,并比较了加熵和不加熵时的算法效果,结果表明熵的运用可以使算法收敛更快更稳定。

基于线性二次型最优控制策略的倒立摆实验系统搭建

以自动控制领域典型的实验、教研设备——倒立摆系统作为研究对象,在建立了倒立摆系统数学模型的基础上,采用线性二次型最优策略进行控制,并利用MFC实现了人机交互,自主搭建了一套直线型一级倒立摆实验系统。系统的成功起摆与保持倒立控制的实现,验证了建模的正确性与控制方式的有效性。

基于线性二次型的多级联输水渠道最优控制

灌溉输配水是水联网链路的重要环节,其自动控制水平直接影响着水联网效率和风险控制能力,对实现水资源高效管理与利用有重要意义。通过变化输水渠道线性积分时滞控制模型,建立了多级联渠道离散时间状态空间方程,基于线性二次型理论设计最优状态反馈控制器,利用MATLAB求解和SOBEK模拟进行了验证。在甘肃省昌马南灌区多级联渠道运行过程优化控制的模拟结果显示,线性二次型算法能够使控制点水位较快恢复并稳定在设定值,控制过程动作与水位波动次数少、幅度小,效果远优于常规分布式PI反馈控制。线性二次型算法能够应对多级联渠道时滞、耦合特性和一般未知取水扰动,实现可靠供水服务和有效运行控制。目前算法仅采用反馈控制,尚无法应对过大未知取水扰动,还有进一步改进空间。

平面二级倒立摆的线性二次最优控制

采用Lagrange方程建立了平面二级倒立摆的非线性动力学模型,将其在平衡位置附近进行线性化,得到系统在2个正交控制方向解耦的近似模型。根据最优控制理论设计了系统的线性二次最优调节器,并利用Visual C++6.0和Visual Basic 6.0实现了人机交互,实时控制在多媒体定时器中断服务函数内实现,自主搭建了一套平面二级倒立摆实验平台。系统成功实现稳摆控制,仿真及实验结果表明建立平面二级倒立摆解耦模型的合理性与控制算法的有效性。

基于线性二次型最优控制和径向基神经网络PID的ESC控制策略

为提高电子稳定控制(ESC)的鲁棒性和自适应能力,采用联合扩展卡尔曼滤波方法估算轮胎侧偏刚度,改进了2自由度模型,在此基础上提出了线性二次型最优控制和径向基神经网络PID联合的控制算法,设计了双层控制器,其上层控制器通过线性二次型最优控制算法获取主动横摆力矩,下层控制器通过径向基神经网络PID进行车轮分配和变滑移率的控制。采用15自由度车辆模型进行了仿真验证,结果表明设计的控制策略较好地满足ESC的控制要求,并具备良好的自学习功能和瞬态控制能力。

燃料电池轿车动力系统线性二次型最优控制研究

建立了包括燃料电池发动机、电机及其控制器、动力蓄电池组在内的燃料电池轿车动力系统的动态数学模型,根据系统的噪声特性,将动力系统线性二次型最优控制问题归结为线性二次型高斯问题,并建立了考虑随机干扰的燃料电池轿车动力系统线性二次型最优动力控制算法。离线仿真和实车转鼓试验证明,该算法能够充分考虑动力系统主要部件的动力性和经济性,具有一定的实用价值。

一种基于线性二次最优控制的PID参数优化方法

时域分析法和频域分析法是设计控制系统的两种基本方法 ,对应同一物理系统 ,两种方法之间必然存在一定的联系。本文通过对基于时域状态空间描述的线性二次最优控制系统和基于输出反馈的频域 PID控制系统的对比分析 ,提出一种由 PID动态补偿网络实现线性二次最优控制的方法 。

数字缸伺服系统线性二次型最优控制仿真研究

根据数字缸伺服系统的框图结构,建立了系统的状态空间方程数学模型;利用线性二次型最优控制理论,给出相应控制算法,设计了系统最优控制器,并通过MATLAB对系统特性进行仿真分析;对于采用最优控制算法前后的系统分别进行了阶跃响应和频率响应仿真分析,以验证该算法对系统动态特性的影响,同时又探讨了最优控制器中的加权矩阵对系统稳定性的影响。仿真结果表明,最优控制算法改善了系统动态品质,实现简单,且控制精度高,工程实用性强。