对带熵的随机线性二次最优控制问题的收敛性证明

本文通过矩阵变换将带熵的随机线性二次最优控制问题的解转化为其等价形式后,证明了线性二次方程的二次项系数解的唯一性和迭代式的收敛性,而一次项系数为0,常数项系数只与二次项有关,控制过程的最优概率分布也只与二次项有关。然后用蒙特卡洛随机抽样样本的均值估计期望值,由此设置了算法1,并证明了算法1中的迭代式具有波动性,波动率的大小和随机参数的方差有关,也与蒙特卡洛中的样本数有关,样本数越多,波动对应的方差越小。然后用两个数值案例比较了随机逼近Q-learning算法和蒙特卡洛Q-learning算法,相同迭代次数下,随机逼近Q-learning算法计算时间更少,但误差更大,蒙特卡洛Q-learning算法收敛更快更稳定,并且可以通过增加随机抽取的样本数使误差更小。

离散时间时变Markov跳变系统的线性二次最优控制

研究了离散时间时变Markov跳变系统在有限时域上的最优控制问题。证明了任何离散时间时变Markov跳变系统的最优控制问题都可以通过广义代数Riccati方程的解来确定;也证明了最优控制问题的可达性是广义代数Riccati方程解的存在性的充分条件;最后通过数值举例来验证结果的正确性。

奇异线性二次最优控制的线性迭代计算方法

利用经典线性二次最优控制的Riccati方程的线性迭代法研究一类奇异线性二次最优控制问题.对于线性迭代序列的收敛性进行了分析并且给出了算法.该算法通过3个例子得到验证.

平面二级倒立摆的线性二次最优控制

采用Lagrange方程建立了平面二级倒立摆的非线性动力学模型,将其在平衡位置附近进行线性化,得到系统在2个正交控制方向解耦的近似模型。根据最优控制理论设计了系统的线性二次最优调节器,并利用Visual C++6.0和Visual Basic 6.0实现了人机交互,实时控制在多媒体定时器中断服务函数内实现,自主搭建了一套平面二级倒立摆实验平台。系统成功实现稳摆控制,仿真及实验结果表明建立平面二级倒立摆解耦模型的合理性与控制算法的有效性。

一种基于线性二次最优控制的PID参数优化方法

时域分析法和频域分析法是设计控制系统的两种基本方法 ,对应同一物理系统 ,两种方法之间必然存在一定的联系。本文通过对基于时域状态空间描述的线性二次最优控制系统和基于输出反馈的频域 PID控制系统的对比分析 ,提出一种由 PID动态补偿网络实现线性二次最优控制的方法 。

模型自由的离散时间系统的随机线性二次最优控制

针对模型自由的随机线性离散时间系统,通过Q学习算法求解无限时间随机线性二次最优控制问题。首先根据贝尔曼最优性原理定义Q函数,通过值迭代算法的思想构造Q学习算法;其次给出Q学习算法的等价形式并证明其收敛性;最后通过一个仿真实例说明Q学习算法的有效性。

基于修正型线性二次最优控制的PID参数优化方法及其应用

线性二次最优控制(LQ)系统具有较大的增益裕量、相位裕量和较好的非线性容限。时域分析和频域分析是设计控制系统的基本方法,且它们之间有着紧密的联系。本文通过基于时域状态空间描述的线性二次最优控制系统和基于输出反馈的频域PID控制系统的对比分析,提出基于修正型线性二次最优控制的PID参数优化方法,这种控制方法被应用在直线无刷直流电机(LBDCM)的控制系统中。运用MATLAB仿真,仿真结果证明了方案的合理性、有效性。

切换系统线性二次最优控制:动态规划方法

考虑切换系统线性二次最优控制问题,对于时变子系统,研究由状态反馈控制与切换控制组成的最优反馈控制对的存在性。利用动态规划的原理和方法,论证了同时构造最优状态反馈控制与切换控制的可行性,并且通过一组微分Riccati边值问题的解给出了最优控制对的设计方案。对于一维切换系统,证明了最优控制对存在性的结论。提出了便于实现的反馈控制与切换控制分层独立设计的次优化方法。

无穷时间多维不确定线性二次最优控制

研究了一类无穷时间区间多维不确定系统的线性二次最优控制模型,推导出求解该模型的最优性方程,并证明了该模型最优控制存在的充分和必要条件.

煤矿静止无功发生器线性二次最优控制研究

静止无功发生器是柔性交流输电系统中的重要电力电子装置,与传统的无功补偿装置相比,它具有控制精度高、响应速度快、可动态连续补偿、有效抑制电压波动和闪变等优越性能,具有良好的应用前景。首先介绍了静止无功发生器的基本原理及电流的检测方法,而后对静止无功发生器的控制方法进行了讨论,并提出了一种LQR-PI控制系统。并在MATLAB/Simulink环境下进行了仿真,对仿真的结果进行了分析,证明了这种控制系统的可行性及其在性能上的优越性。

由Lévy过程驱动的随机线性二次最优控制问题

主要研究一类在更一般情况下的随机线性二次最优控制问题.该系统由Teugel’s鞅和布朗运动共同驱动,且状态方程中存在漂移项,性能指标中含有交叉项.研究中基于凸变分原理得到最优控制的存在唯一性;利用对偶技术导出最优控制的对偶表达式,建立随机Hamiltonian系统,该系统是一个含有Teugel’s鞅的、线性的、完全耦合的正倒向随机微分方程;通过随机Hamiltonian系统推导出相应的Riccati方程,并通过证明Riccati方程解的存在唯一性获得了最优控制的反馈表达式.

随机线性二次最优控制:从离散到连续时间模型

在一般情形下,分析了离散时间LQ问题与连续时间情形两者之间的自然联系.首先回顾了连续时间和离散时间随机LQ问题及对应Riccati微分/差分方程的相关结论.接下来在假设Riccati微分方程有解的前提下,证明了离散化步长足够小时,Riccati差分方程有解.然后针对连续和离散时间模型,采用配对问题最优控制的反馈形式,分别构造了一个辅助反馈控制,并证明该控制可驱使对应模型的性能指标逼近于配对问题的值函数,以此得到了关于两个模型之间联系的初步结论.最后藉由前述结论以及控制问题的特性,揭晓了连续时间和离散时间模型之间的自然联系,并给出了Riccati差分方程和微分方程的解之间的误差估计.由此联系,可构造相应离散系统和LQ问题,以适当的阶估计连续时间LQ问题的解,抑或为离散时间模型构造一个近似最优控制.无论哪种思路,都旨在降低直接求解原问题的难度和复杂性.

带有终端约束的线性二次最优控制问题

主要研究了带有终端约束的线性二次最优控制问题的可解性.首先,借助Riccati方程给出了最优控制的状态反馈形式;其次,基于状态反馈表示提出了最优状态和最优控制的计算方法;最后,通过数值算例验证了数值算法的有效性,并且展示了该算法的一阶收敛速度.

带熵的随机线性二次最优控制问题

本文研究了随机线性二次最优控制问题,对带有随机参数的无限时间内的离散时间线性二次最优控制问题,我们不考虑控制过程本身的最优解而是求解控制过程的概率分布,并用熵来度量这个随机概率分布的探索水平。经计算得到控制过程的最优概率分布服从高斯分布,再利用概率分布可求得线性二次型最优控制问题值函数的各项系数矩阵的迭代式。在值迭代的基础上使用Q-learning算法求解各项系数值的平稳解。最后选择两个数值算例证明了Q-learning算法的有效性,并比较了加熵和不加熵时的算法效果,结果表明熵的运用可以使算法收敛更快更稳定。

考虑组合风险的指数化投资与随机线性二次最优控制

指数化投资使投资者享有市场平均收益水平,具有投资风险分散化、投资组合透明化、投资成本低廉等优势,日益受到投资者的亲睐.由于通常指数化投资者不愿意承担较大风险,本文考虑极小化跟踪误差与投资组合的风险之和(其中风险用风险资产的累积方差来衡量).本文证明了无论是连续时间或离散时间、有限时区或无限时区的情形,在一定的条件下,最优控制都唯一存在,即利用随机线性二次最优控制进行指数化投资,最优投资策略都唯一存在.

基于线性二次最优控制的无刷直流电机控制器研究

无刷直流电机(Brushless DC Motor)在电动工具、设备、汽车和医疗等各行业运用普遍。文章依据无刷直流电机相关方程给出了状态空间表达式。采用线性二次最优控制(LQR),在Simulink中搭建模型,进行调速控制;然后与经典PID控制对比。仿真结果表明,LQR控制下系统速度响应上升时间和调节时间分别为0.041s和0.056s,相比于PID控制分别减少了0.121s和0.166s。受到干扰时,LQR控制下系统上升时间和调节时间分别比PID控制下减少0.122s和0.177s。故本文所选取的方法和故障模型是可行有效的。

随机线性二次控制的资格迹方法

本文研究了强化学习方法在线性二次控制问题(LQR)中的应用。在LQR问题的研究中,常见的方法通过求解代数黎卡提方程得到最优控制,并不直接优化控制增益。本文在策略梯度算法的基础上引入资格迹方法,直接优化控制增益矩阵。考虑已知和未知参数两种情况下,资格迹方法的收敛。在有限时域和高斯噪声的条件下,分别给出了已知和未知参数两种情况下算法的全局收敛保证。参数未知时,利用零阶优化定理近似梯度项,这可以将问题扩展至代价函数非凸的情况。数值模拟结果显示资格迹方法与梯度下降算法相比更快收敛,方差更小。

具终端状态约束的无穷维随机发展方程的线性二次最优控制

1968年,Wonham提出随机线性二次最优控制问题.随后,1976年Bismut开始研究带有随机系数的随机线性二次最优控制问题.直到1998年,陈、李和周首次成功解决了具有不定控制加权项的随机系数的随机线性二次最优控制问题.此后,越来越多的研究者开始对随机线性二次最优控制问题产生兴趣.近二十年来,人们逐渐开始研究以无穷维随机发展方程为控制系统的线性二次最优控制问题.另一方面,实际应用中的控制系统的状态变量往往需要满足一些约束条件.在此背景下,本文研究了具终端状态约束的随机发展方程的线性二次最优控制问题.基于算子值Riccati方程可解性、控制系统的适当能控性及拉格朗日对偶理论,本文得到了该约束问题最优控制的表达式.

平均场线性二次最优控制问题离散反馈控制的收敛速度

本文就平均场系统的线性二次(linear quadratic,LQ)最优控制问题提出基于反馈控制的数值算法.首先,将原问题分解为两个子问题:随机系统的LQ问题和确定系统的LQ问题.其次,依次对两个子问题利用反馈控制策略进行离散化,并证明该离散的收敛速度.最后,给出数值例子来支撑理论结果.

Hilbert空间线性二次最优控制问题中的一个算子的可逆性

对于如下出现在Hilbert空间线性二次最优控制问题中的线性算子■其中F_3,F_5是自伴算子．本文得到了它具有有界逆的充分必要条件,并举例验证了结果的有效性．