基于距离信息的追逃策略:信念状态连续随机博弈

追逃问题的研究在对抗、追踪以及搜查等领域极具现实意义.借助连续随机博弈与马尔科夫决策过程(Markov decision process, MDP),研究使用测量距离求解多对一追逃问题的最优策略.在此追逃问题中,追捕群体仅领导者可测量与逃逸者间的相对距离,而逃逸者具有全局视野.追逃策略求解被分为追博弈与马尔科夫决策两个过程.在求解追捕策略时,通过分割环境引入信念区域状态以估计逃逸者位置,同时使用测量距离对信念区域状态进行修正,构建起基于信念区域状态的连续随机追博弈,并借助不动点定理证明了博弈平稳纳什均衡策略的存在性.在求解逃逸策略时,逃逸者根据全局信息建立混合状态下的马尔科夫决策过程及相应的最优贝尔曼方程.同时给出了基于强化学习的平稳追逃策略求解算法,并通过案例验证了该算法的有效性.

连续时间分支过程的一类推广

随机稳定性是各种随机模型中的至关重要的问题 ,随机稳定性的关键问题是找出过程遍历和强遍历的条件 .本文对连续时间分支过程的一类推广进行了研究 ,给出了过程随机单调和强遍历的条件 .与此同时 ,得到了最小过程是

基于时间过程视角的连续并购研究综述

通过文献计量梳理现有连续并购相关的文献,对连续并购的概念及内涵进行了界定。鉴于连续并购是一个在时间上具有持续性、行为上具有重复性、影响上具有动态性的概念,故以时间过程为视角,对连续并购发生的前因后果及其内部作用机制的研究成果进行综述,着重梳理连续并购的4个时间属性,即并购频数、并购节奏、并购经验及次序模式。从决策影响因素、并购效应的影响因素及其作用机制等方面厘清了现有研究成果,构建了研究现状的逻辑关系图,并指出现有研究的不足和未来的研究方向。

基于连续时间的生产过程优化调度

为了研究印染生产过程的优化问题,分析包括烧毛在内的前处理工艺、染色工艺和后整理的整个印染生产工艺,得出染色工艺是整个印染生产过程优化调度的关键.针对染色工序,建立单阶段的基于直接前后序的连续时间混合线性整数规划(MILP)优化调度模型.该模型考虑有直接前后序加工关系印染产品颜色的深浅关系和这2个产品切换生产成本的因素,调度目标包括提前完工和延期完工惩罚因素.根据给出的案例,利用ILOG公司的求解器对模型求解.调度结果的甘特图表明,通过对染色机生产的优化调度,整个印染生产过程的各种资源得到优化,提高了生产效率,降低了库存成本.

涝渍连续过程以时间为尺度的作物排水控制指标研究

在易涝易渍地区雨季,涝渍相伴相随,对作物影响很大,研究涝渍连续过程作物排水控制指标具有重要生产意义。根据这类地区涝渍发生特点,以棉花涝渍相随试验为基础,建立了作物排水分析基本模型,依据模型提出了涝、渍连续过程排水控制指标的确定方法。从涝、溃连续过程的统一体中确定适宜的排涝、排渍指标与传统的从涝、渍分别试验确定排涝、排渍指标有很大不同,它符合涝渍地域生产实际,体现了涝渍兼治的排水控制新理念。

连续时间Markov控制过程的平均代价最优鲁棒控制策略

在Markov性能势基础上 ,研究了一类转移速率不确定但受紧集约束的遍历连续时间Markov控制过程 (CTMCP)的鲁棒控制问题 .根据系统的遍历性 ,平均代价Poisson方程的解可被看作是性能势的一种定义 .在平均代价准则下 ,优化控制的目标是选择一个平稳策略使得系统在参数最坏取值下能获得最小无穷水平平均代价 ,据此论文给出了求解最优鲁棒控制策略的策略迭代 (PI)算法 ,并详细讨论了算法的收敛性 .

随机模型检测连续时间Markov过程

功能正确和性能可满足是复杂系统可信要求非常重要的两个方面。从定性验证和定量分析相结合的角度,对复杂并发系统进行功能验证和性能分析,统一地评估系统是否可信。连续时间Markov决策过程CTMDP(Continu-ous-time Markov decision process)能够统一刻画复杂系统的概率选择、随机时间及不确定性等重要特征。提出用CT-MDP作为系统定性验证和定量分析模型,将复杂系统的功能验证和性能分析转化为CTMDP中的可达概率求解,并证明验证过程的正确性,最终借助模型检测器MRMC(Markov Reward Model Checker)实现模型检测。理论分析表明,提出的针对CTMDP模型的验证需求是必要的,验证思路和方法具有可行性。

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

基于连续时间马尔可夫过程的证券投资策略

在假设股票价格所处状态间的转移概率连续变化情况下,得到了股票价格转移概率的常微分方程组;考虑股票在不同状态之间转移所获得报酬及股票在状态发生转移之前单位时间所获得的报酬的情况下,给出了股票在不同状态之间发生转移的总期望报酬模型·通过对总期望报酬模型进行变换得到了策略改进算法·同时得到了转移系数矩阵一般表达式,给出了针对具体股票状态转移时间间隔的指数分布并对其进行了估计·

具有不稳定初始状态的连续时间系统辨识

针对传统辨识方法不适用于具有不稳定初始状态的连续时间系统的问题,提出一种全新的状态估计辨识法.首先,用状态空间模型中状态变量的初始值表征系统初始状态,并将状态变量的初始值看作待辨识参数的一部分.然后,用粒子群优化算法获得所有参数的最优估计.该方法在测试开始前不需要任何过程数据,对测试信号无任何要求,可直接用于闭环辨识.仿真实验证明该算法是有效的.

连续时间非线性时滞系统的协状态预测算法

研究了非线性连续时间时滞系统最优控制问题 ,提出了基于线性时滞模型的协状态预测算法 ,在模型与实际存在差异的情况下 ,给出了原问题的最优解 .与现有算法相比 ,该算法具有每次迭代的计算简单、易于实现等优点 。

时间离散状态连续非齐次马氏链的强大数定律

定义了时间离散状态连续的马氏链,引入二元函数的范数,利用近年来研究离散状态马氏链泛函的强大数定律的方法,根据连续状态下数学期望的定义及一些特殊不等式,研究了时间离散状态连续非齐次马氏链的收敛性,得到了时间离散状态连续非齐次马氏链二元函数的强大数定律.

非连续状态反馈控制系统反馈最大允许时间间隔

提出了一种求解状态反馈的最大允许时间间隔的方法.控制系统采用状态反馈控制,分析了状态反馈时间间隔τ、控制器的输入状态与对象实时状态之间的关系,得到了定量的关系式并给出了证明过程.在此基础上用广义李亚普诺夫稳定性理论方法分析反馈的时间间隔必须满足的条件,并证明了在该条件下系统一定保持渐近稳定.基于此条件得到了求解最大允许时间间隔的方法.实例表明该方法求得的最大时间间隔的保守性较小,并且求解过程也比较简单.

Q（f）－过程非唯一时连续时间折扣目标MDP

考虑的是可数状态空间连续时间ＭＤＰ的折扣模型，与以往不同的是，我们放弃了由策略ｆ所确定的Ｑ（ｆ）－过程唯一的传统假设．而首次考虑Ｑ（ｆ）－过程非唯一的情形，借助于Ｑ－过程的构造理论，用拓扑分析的方法，证明了最优策略的存在性．

基于连续时间状态的资产配置优化组合及其选择

在资本市场中,资产配置受税收、红利、通货膨胀等因素影响,资本市场的资源配置也随时间连续变化。文章基于均值-方差投资组合分析框架,构建了摩擦市场条件下的连续时间资产配置模型,并且通过嵌入方法将多目标的资产配置转换成LQ的最优控制分析,获得了资产配置的投资最优策略与有效前沿解,最后文章根据这些前沿解提出了相关的政策建议。

连续时间参数下马尔可夫过程的可逆性

本文是在文献[1]的基础之上,给出了连续时间参数下可逆马尔可夫过程所具有的几个性质,并建立了连续时间参数下马尔可夫过程可逆的充分必要条件。

回购与缺货成本下的连续时间报童模型

对带回购策略与缺货成本的连续时间报童模型,研究了其最优订购策略与批发价策略,使得生产商和零售商期望收益最大化。在零售价格依赖需求过程与零售价格外生的两种情形下,讨论了带回购策略和缺货成本对连续时间报童均衡策略的共同影响。运用随机最大值原理研究了以上问题均衡策略的存在唯一性,讨论了均衡策略满足的条件,在价格外生情形下得出结论:回购策略与缺货成本的共同作用,使得零售商的最优订购量和供应商的最优批发价格均提高很多。最后,通过数值算例做了最优批发价格与最优订购策略的敏感度分析,具体例子验证了已得结论。

连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法.运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型,研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.

一类带移民的连续状态分枝过程的非中性突变模型

考虑了一类由带移民连续状态分枝过程加非中性突变得到的平稳随机粒子模型.假设移民的类型(突变)是由一个突变率测度随机地给出的.文中将考虑过程的一些系谱的性质,如现在到最近祖先所需时间的分布等.

连续时间马氏决策过程——最优策略对折扣因子的灵敏度分析

讨论了连续时间马氏决策过程中最优平稳策略对折扣因子的灵敏度问题，并将之化为一个多项式问题来求解。