基于连续时间马尔可夫过程的证券投资策略

在假设股票价格所处状态间的转移概率连续变化情况下,得到了股票价格转移概率的常微分方程组;考虑股票在不同状态之间转移所获得报酬及股票在状态发生转移之前单位时间所获得的报酬的情况下,给出了股票在不同状态之间发生转移的总期望报酬模型·通过对总期望报酬模型进行变换得到了策略改进算法·同时得到了转移系数矩阵一般表达式,给出了针对具体股票状态转移时间间隔的指数分布并对其进行了估计·

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

连续时间参数下马尔可夫过程的可逆性

本文是在文献[1]的基础之上,给出了连续时间参数下可逆马尔可夫过程所具有的几个性质,并建立了连续时间参数下马尔可夫过程可逆的充分必要条件。

时间连续马尔可夫链的复杂网络上SIRS模型分析

针对传播过程中普遍存在的随机波动特点,以均匀网络上的基本SIRS模型为研究对象,建立基于时间连续马尔可夫链的随机网络模型,以平稳分布为研究方法分析了模型的稳态阈值和临界条件,发现所得结果和采用平均场方法所得结果相同;而基于时间连续马尔可夫链建立的传播模型,在对传播过程中存在的随机波动现象的描述方面,给出了较充分的理论解释,这也是概率统计方法在解决此类问题上较平均场方法最明显的优势所在,同时也为分析复杂网络上的传播动力学行为提供了一种基于概率统计方法的思路。

基于连续密度隐马尔可夫的时间序列分类算法

针对数据挖掘过程中对异常数据检测的准确率较低、分类速度较慢,导致数据分类准确率较低、效率较差的问题,提出基于连续密度隐马尔可夫的时间序列分类算法。构建时间序列变化趋势分割点目标函数,利用贪婪搜索法求解时间序列分段值,提取序列变化趋势特征得到数据主要信息,提升数据分类的准确性;改进帧内特征表达准确性,使用因子分析矩阵高斯分布建立连续密度隐马尔可夫模型,提高时间序列分类速度;采用平稳子空间分析法把数据划分为平稳子空间和非平稳子空间,运用相对熵权衡平稳子空间分布相似度,实现时间序列精准分类。仿真结果表明,所提方法分类正确率较高、计算速度快且鲁棒性好,可以满足真实场景下数据分析需求。

基于纯不连续马尔可夫过程的频谱感知研究

为解决在连续时间观测条件下认知无线电(CR:Cognitive Radio)频谱感知的问题,提出一种在纯不连续马尔可夫过程中的频谱感知方法。信道状态在任意时刻可分为空闲和忙碌两种状态,同时借助纯不连续马尔可夫过程在任意时刻停留的时间服从指数分布性质和富克-普朗克方程,导出此类过程的状态转移矩阵,主用户的累计占用时间和主用户在时间域上的分布情况。仿真结果表明,该方法能较好地完成对信道状态进行预测和对主用户状态进行跟踪的任务。

基于纯不连续马尔可夫过程的蠕虫传播模型

网络蠕虫给网络造成了巨大的安全问题,这是由于网络蠕虫可以在网络中自动的传播并且不断的危害网络中的计算机.蠕虫在传播过程中的不断演化也给防御蠕虫提出一个巨大的挑战.提出了基于纯不连续马尔可夫过程的随机蠕虫传播模型.首先,基于纯不连续马尔可夫过程对于网络蠕虫进行了建模,并且讨论了模型的稳定性,极限分布以及平稳分布的存在性.然后,讨论了网络蠕虫在传播初期灭绝的充要条件.最后,仿真实验对于模型进行了验证.

基于时间过程视角的连续并购研究综述

通过文献计量梳理现有连续并购相关的文献,对连续并购的概念及内涵进行了界定。鉴于连续并购是一个在时间上具有持续性、行为上具有重复性、影响上具有动态性的概念,故以时间过程为视角,对连续并购发生的前因后果及其内部作用机制的研究成果进行综述,着重梳理连续并购的4个时间属性,即并购频数、并购节奏、并购经验及次序模式。从决策影响因素、并购效应的影响因素及其作用机制等方面厘清了现有研究成果,构建了研究现状的逻辑关系图,并指出现有研究的不足和未来的研究方向。

基于连续时间的生产过程优化调度

为了研究印染生产过程的优化问题,分析包括烧毛在内的前处理工艺、染色工艺和后整理的整个印染生产工艺,得出染色工艺是整个印染生产过程优化调度的关键.针对染色工序,建立单阶段的基于直接前后序的连续时间混合线性整数规划(MILP)优化调度模型.该模型考虑有直接前后序加工关系印染产品颜色的深浅关系和这2个产品切换生产成本的因素,调度目标包括提前完工和延期完工惩罚因素.根据给出的案例,利用ILOG公司的求解器对模型求解.调度结果的甘特图表明,通过对染色机生产的优化调度,整个印染生产过程的各种资源得到优化,提高了生产效率,降低了库存成本.

网络系统可靠性分析的马尔可夫过程法

针对网络系统状态空间的巨大问题,提出用最大概值状态生成法生成网络实际运行时最可能出现的状态,并定义数字0和1的一种运算,以生成网络的断集空间用于判断网络状态的正常与故障。从而在网络部件寿命以及修理时间均为指数分布时,可应用马尔可夫过程理论获得网络系统的稳态可用度,首次故障前平均时间,稳态故障频度等指标,并举例进行说明。

涝渍连续过程以时间为尺度的作物排水控制指标研究

在易涝易渍地区雨季,涝渍相伴相随,对作物影响很大,研究涝渍连续过程作物排水控制指标具有重要生产意义。根据这类地区涝渍发生特点,以棉花涝渍相随试验为基础,建立了作物排水分析基本模型,依据模型提出了涝、渍连续过程排水控制指标的确定方法。从涝、溃连续过程的统一体中确定适宜的排涝、排渍指标与传统的从涝、渍分别试验确定排涝、排渍指标有很大不同,它符合涝渍地域生产实际,体现了涝渍兼治的排水控制新理念。

连续时间Markov控制过程的平均代价最优鲁棒控制策略

在Markov性能势基础上 ,研究了一类转移速率不确定但受紧集约束的遍历连续时间Markov控制过程 (CTMCP)的鲁棒控制问题 .根据系统的遍历性 ,平均代价Poisson方程的解可被看作是性能势的一种定义 .在平均代价准则下 ,优化控制的目标是选择一个平稳策略使得系统在参数最坏取值下能获得最小无穷水平平均代价 ,据此论文给出了求解最优鲁棒控制策略的策略迭代 (PI)算法 ,并详细讨论了算法的收敛性 .

随机模型检测连续时间Markov过程

功能正确和性能可满足是复杂系统可信要求非常重要的两个方面。从定性验证和定量分析相结合的角度,对复杂并发系统进行功能验证和性能分析,统一地评估系统是否可信。连续时间Markov决策过程CTMDP(Continu-ous-time Markov decision process)能够统一刻画复杂系统的概率选择、随机时间及不确定性等重要特征。提出用CT-MDP作为系统定性验证和定量分析模型,将复杂系统的功能验证和性能分析转化为CTMDP中的可达概率求解,并证明验证过程的正确性,最终借助模型检测器MRMC(Markov Reward Model Checker)实现模型检测。理论分析表明,提出的针对CTMDP模型的验证需求是必要的,验证思路和方法具有可行性。

基于马尔可夫决策过程的MES系统动态调度方法

针对以事件为驱动的网络化制造环境下生产系统的特征,扩展马尔可夫决策过程,根据生产制造的特点进行动态生产调度方法的研究.以面向用户标准为基础,用制造系统响应时间来评价调度算法在不同规则下具有的性能特点;根据分析结果分别确定各种调度规则在预期时间内能够达到生产优化调度或满意调度的可能程度.将调度规则与实际生产相结合,设计网络化制造环境下动态调度指令单管理系统,实现制造管理的信息化.本系统可以按照用户需求实时反映生产制造信息;根据企业情况确定调度规则,生成调度决策方案,最大程度保证企业利益.

暂留马尔可夫过程向无穷大的徘徊

本文研究暂留的齐次、右连续强马尔可夫过程趋于无穷大的方式。我们得到:在一定条件下,过程必须通过一切方向绕无穷远点作无穷次徘徊后方趋于无穷大。

基于马尔可夫过程的UPS可靠性指标的计算

不间断电源(UPS)是在电网异常的情况下不间断地为电器负载设备提供后备交流电源,以维持电器正常运作的设备,目前其已在诸多领域中得到了广泛的应用。因此,基于六性协同工作平台的马尔可夫过程模块对某UPS系统的可靠性指标进行了认证和分析。首先,简单地介绍了UPS系统及其可靠性建模方法;其次,概述了可维修系统的马尔可夫过程求解;然后,阐述了六性协同工作平台和马尔可夫过程模块;最后,对利用六性协同工作平台的马尔可夫过程模块计算UPS系统可靠性指标的具体过程进行了详细的介绍,对于快速地求解UPS系统的可靠性水平具有重要的意义。

连续时间分支过程的一类推广

随机稳定性是各种随机模型中的至关重要的问题 ,随机稳定性的关键问题是找出过程遍历和强遍历的条件 .本文对连续时间分支过程的一类推广进行了研究 ,给出了过程随机单调和强遍历的条件 .与此同时 ,得到了最小过程是

Q（f）－过程非唯一时连续时间折扣目标MDP

考虑的是可数状态空间连续时间ＭＤＰ的折扣模型，与以往不同的是，我们放弃了由策略ｆ所确定的Ｑ（ｆ）－过程唯一的传统假设．而首次考虑Ｑ（ｆ）－过程非唯一的情形，借助于Ｑ－过程的构造理论，用拓扑分析的方法，证明了最优策略的存在性．

连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法.运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型,研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.

连续时间马氏决策过程——最优策略对折扣因子的灵敏度分析

讨论了连续时间马氏决策过程中最优平稳策略对折扣因子的灵敏度问题，并将之化为一个多项式问题来求解。