连续时间Markov控制过程的平均代价最优鲁棒控制策略

在Markov性能势基础上 ,研究了一类转移速率不确定但受紧集约束的遍历连续时间Markov控制过程 (CTMCP)的鲁棒控制问题 .根据系统的遍历性 ,平均代价Poisson方程的解可被看作是性能势的一种定义 .在平均代价准则下 ,优化控制的目标是选择一个平稳策略使得系统在参数最坏取值下能获得最小无穷水平平均代价 ,据此论文给出了求解最优鲁棒控制策略的策略迭代 (PI)算法 ,并详细讨论了算法的收敛性 .

随机模型检测连续时间Markov过程

功能正确和性能可满足是复杂系统可信要求非常重要的两个方面。从定性验证和定量分析相结合的角度,对复杂并发系统进行功能验证和性能分析,统一地评估系统是否可信。连续时间Markov决策过程CTMDP(Continu-ous-time Markov decision process)能够统一刻画复杂系统的概率选择、随机时间及不确定性等重要特征。提出用CT-MDP作为系统定性验证和定量分析模型,将复杂系统的功能验证和性能分析转化为CTMDP中的可达概率求解,并证明验证过程的正确性,最终借助模型检测器MRMC(Markov Reward Model Checker)实现模型检测。理论分析表明,提出的针对CTMDP模型的验证需求是必要的,验证思路和方法具有可行性。

涝渍连续过程以时间为尺度的作物排水控制指标研究

在易涝易渍地区雨季,涝渍相伴相随,对作物影响很大,研究涝渍连续过程作物排水控制指标具有重要生产意义。根据这类地区涝渍发生特点,以棉花涝渍相随试验为基础,建立了作物排水分析基本模型,依据模型提出了涝、渍连续过程排水控制指标的确定方法。从涝、溃连续过程的统一体中确定适宜的排涝、排渍指标与传统的从涝、渍分别试验确定排涝、排渍指标有很大不同,它符合涝渍地域生产实际,体现了涝渍兼治的排水控制新理念。

连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法.运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型,研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.

基于性能势的Markov控制过程双时间尺度仿真算法

在基于性能势的随机逼近方法中引入双时间尺度的概念,提出了离散时间Markov控制过程的基于性能势的双时间尺度仿真梯度算法,弥补了传统算法中每步更新算法更新频率过快和更新环更新算法更新频率过慢的不足,并利用三个数值例子来说明双时间尺度更新算法在计算复杂度、收敛速度和收敛精度上的优势。

Markov控制过程基于性能势仿真的并行优化

Markov控制过程是研究随机离散事件动态系统性能优化问题的一个重要模型,并在许多实际工程问题中有着广泛的应用。在Markov性能势理论的基础上,我们讨论了一类连续时间Markov控制过程在紧致行动集上的性能优化仿真问题。由于实际系统的状态空间往往非常巨大,通常的串行仿真算法,可能耗时过长,也可能由于硬件限制而无法实现,故我们提出了一种基于性能势的并行仿真优化算法,来寻找系统的最优平稳策略。一个仿真实例表明该算法有较好的运行效率。该算法可应用于大规模实际系统的性能优化。

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

噪声有色时连续时间系统的最优控制

文［１，２］讨论了噪声是Ｗｉｅｎｅｒ过程时连续时间系统的最优控制问题．当噪声是有色时，本文采用配平方的方法进行了讨论，得到了最优控制量公式．文中公式表达明了清晰，避免了高维的计算上的困难，同时，所得公式与采用扩充状态变量所得公式不同，是又一种计算方式．

一类耦合连续时间随机游走模型的控制方程

应用耦合连续时间随机游走模型构造出一类特殊的时变Levy过程,研究了这类过程的控制方程并分别讨论了当时间过程为三种不同的逆从属过程时的控制方程以及各阶矩的情况.

多业务异构网络的呼叫接纳控制

呼叫接纳控制作为异构网络系统资源管理的重要部分,直接影响整个网络资源使用的有效性,因此在异构网络环境下设计一个合理有效的接纳控制策略至关重要.考虑了异构网络中的呼叫接入问题,根据各类服务的带宽需求以及提供的利润差异,针对其随机分布的特性,建立连续时间Markov分析模型,提出一种基于缓存的呼叫接入控制算法,并采取迭代策略对算法进行优化.仿真实验验证了算法的有效性,最终的控制策略是系统长期平均利润最大化的最优策略.

单整定参数的简化CGPC控制器

本文阐述一种连续时间广义预报控制器(CGPC)的简化设计方法,这种简化设计将原来CGPC控制器的15项设计参数减少至两个,同时不失去原CGPC控制器的优良控制性能;与原CGPC控制器相比,这种简化的CGPC控制器具有无控制加权、无参考轨迹设计、无参数估计器、无预测起点相对时间T_1,自动设计N_v,N_u和C(s)的特点,狭义的设计参数只剩下仿真步长δ和预测终点相对时间T_2,其中T_2是唯一的现场整定参数。

基于BER和CTMC的航天器发射组织过程可靠度模型

在航天器发射工程中,存在组织过程可靠性评估难以量化的问题。基于航天器发射组织过程的时间特性呈现多个子过程并发执行且子过程具有Markov性和齐次性的特点,使用连续时间Markov链(CTMC)建立多吸收态的组织过程可靠度模型,利用互模拟等价关系(BER)简化组织过程的状态空间,并进一步给出各种状态转移率和组织过程可靠度计算方法。最后,通过数据分析说明模型在航天器发射工程进度计划评估中的作用和意义。

事件驱动Q学习在呼叫接入控制中的应用

文章研究了计时报酬方式下最优呼叫接入控制问题,建立了系统的连续时间Markov决策过程(CT-MDP),根据系统特征引入后状态Q值更新方法,给出呼叫接入控制问题基于事件驱动Q学习优化算法,并给出一个数值仿真实例;仿真结果表明,该算法比Q学习具有收敛速度快、存储空间小的优势;根据实验结果分析了在最优策略下业务拒绝率与业务特征的关系。

连续时间Markov决策过程的均值-方差优化问题

本文考虑连续时间Markov决策过程折扣模型的均值-方差优化问题.假设状态空间和行动空间均为Polish空间,转移率和报酬率函数均无界.本文的优化目标是在折扣最优平稳策略类里,选取相应方差最小的策略.本文致力于寻找Polish空间下Markov决策过程均值-方差最优策略存在的条件.利用首次进入分解方法,本文证明均值-方差优化问题可以转化为"等价"的期望折扣优化问题,进而得到关于均值-方差优化问题的"最优方程"和均值-方差最优策略的存在性以及它相应的特征.最后,本文给出若干例子说明折扣最优策略的不唯一性和均值-方差最优策略的存在性.

YGYZ—2000型连续式螺旋予煮器

该机采用夹套加热,加热过程中实现了整体及分段加热方式,温度和时间变化采用自动控制和记录曲线。生产能力;1800～2000千克/小时。予煮温度:90~100℃。予煮时间:5~10分钟。

焦炉在延长结焦时间时闷炉的研究

焦炉在年检及因异常事故导致结焦时间延长时须进行闷炉，由于焦炉是一种连续生产的加热炉体，当结焦时间延长时，焦炉的温度会升高，这些对焦炉本体及焦炉生产都会产生影响，本文对结焦时间延长时焦炉的闷炉进行了探讨，从闷炉准备工作、焦炉的加热制度的调整。闷炉时温度控制过程及生产恢复过程进行了阐述。

连续时间Markov链的嵌入及其不变分布的数值计算

本文采用嵌入的思想来研究连续时间Markov链不变分布的数值计算问题.本文建立连续时间嵌入Markov链作为截断扩充逼近的两个基本性质,得到连续时间水平依赖的M/G/1型Markov过程不变分布的迭代公式,并且在此基础上给出广义Markov分支过程不变分布的稳定算法,并通过两个例子来介绍这一算法.

连续时间Markov链的遍历度

以首中时的矩来研究连续时间Markov链高阶偏差矩阵的存在及有限性,并由此给出转移矩阵收敛到平稳分布的多项式速度的估计,对于生灭过程,给出了显式的表达式。

工业通信与5G工业应用

文章主要从以下方面来介绍:首先是工业过程与控制系统;其次是工业通信网络及特性分析。再次是5G工业应用发展与挑战;最后进行总结和展望。工业过程与控制系统工业通信和工业网络都是为了工业生产、工业控制服务的,按工业生产过程变量的时间连续性,工业生产的典型过程可分为连续控制和离散控制。

仿增量前馈简化CGPC

本文阐述一种仿增量前馈简化连续时间广义预测控制(CGPC)。它可以克服原始CGPC有静态偏差,不能利用可测扰动信号和设计参数偏多的缺点。因而能在有可测负荷扰动和有模型误差的工业过程控制场合下满意地工作。