连续时间Markov控制过程的平均代价最优鲁棒控制策略

在Markov性能势基础上 ,研究了一类转移速率不确定但受紧集约束的遍历连续时间Markov控制过程 (CTMCP)的鲁棒控制问题 .根据系统的遍历性 ,平均代价Poisson方程的解可被看作是性能势的一种定义 .在平均代价准则下 ,优化控制的目标是选择一个平稳策略使得系统在参数最坏取值下能获得最小无穷水平平均代价 ,据此论文给出了求解最优鲁棒控制策略的策略迭代 (PI)算法 ,并详细讨论了算法的收敛性 .

随机模型检测连续时间Markov过程

功能正确和性能可满足是复杂系统可信要求非常重要的两个方面。从定性验证和定量分析相结合的角度,对复杂并发系统进行功能验证和性能分析,统一地评估系统是否可信。连续时间Markov决策过程CTMDP(Continu-ous-time Markov decision process)能够统一刻画复杂系统的概率选择、随机时间及不确定性等重要特征。提出用CT-MDP作为系统定性验证和定量分析模型,将复杂系统的功能验证和性能分析转化为CTMDP中的可达概率求解,并证明验证过程的正确性,最终借助模型检测器MRMC(Markov Reward Model Checker)实现模型检测。理论分析表明,提出的针对CTMDP模型的验证需求是必要的,验证思路和方法具有可行性。

无人机集群作战中连续时间Markov链模型的求解方法

针对无人机集群目标作战解析建模时在状态转移过程中计算速率低的问题,提出了一种基于行压缩存储的四阶Runge-Kutta法。根据无人机集群作战样式将无人机集群作战过程划分为三个阶段,并分阶段对无人机集群作战的状态转移过程建立连续时间Markov链模型。以无人机集群完成作战任务的可靠性作为求解指标,运用四阶Runge-Kutta法对Markov模型进行求解。由于求解过程中速率转移矩阵具有稀疏特性,采用基于行压缩存储的算法优化求解速率。仿真实验表明,运用连续时间Markov理论建立的无人机集群作战过程模型的有效性和可行性优于其他模型。同时,与其他算法及模型相比,该算法计算速率更高、能更好地满足结果精度的可靠性需求,进一步说明了本算法的优越性。

一类连续时间Markov链的灵敏度分析和性能优化

从连续时间Markov链(CTMC)性能势的角度,借助于定义的折扣Poisson方程,给出了CTMC基于性能势的灵敏度公式及折扣代价准则(简称折扣准则)下的最优性方程.此外,建立了在折扣准则与无穷时间平均代价准则(简称平均准则)下灵敏度公式及最优性方程之间的联系.

连续时间Markov链的二元Log-PH分布研究

对连续时间Markov链的一元PH分布研究作了推广。根据Ramaswami提出的连续时间Markov链的一元Log-PH分布的概念,对一元Log-PH分布进行k阶矩,Laplace变换,Kronecker运算等基本性质的研究。结合Assaf D[5]提出的连续时间Markov链的二元PH分布,推导出相应的二元Log-PH分布的分布函数,密度函数,k阶矩和Laplace变换。

基于连续时间Markov的网络可生存性建模与量化

为了从故障恢复角度对网络可生存性进行全面有效的量化和分析,对网络可生存性建模和量化方法进行了研究。在给出Heegaard故障恢复模型及其状态转换过程的基础上,提出了一种改进的基于连续时间马尔可夫(CTMC)的网络故障恢复模型。改进的模型增加了故障状态模型,减少了故障恢复状态数。结合网络性能模型,提出了一种改进的基于CTMC的网络可生存性模型,模拟了网络故障后的生存状态转移过程。以丢包率作为量化指标,给出一种基于CTMC网络可生存性模型的网络可生存性量化方法,并简化可生存性计算过程。仿真结果表明,给出的建模与量化方法能够对网络可生存性进行更加全面、准确的量化。

连续时间Markov工业互联网安全测度研究

随着工业互联网平台布局的迅速增长,打破了传统的工业生产系统相对封闭的环境,使其不可避免地面对互联网中的病毒、黑客等安全威胁。各种工业网络安全事件呈现爆发式的增长,给企业和社会造成了极大的经济损失和安全威胁,开展工业互联网安全性测度研究迫在眉睫。在分析工业互联网安全特殊需求的基础上,运用多状态Markov理论针对工业互联网的特点构建Markov安全性评估模型和定量计算方法。运用通用生成函数理论提出工业互联网系统的结构方程计算方法计算整体及不同层级的系统的安全性。

连续时间Markov链的嵌入及其不变分布的数值计算

本文采用嵌入的思想来研究连续时间Markov链不变分布的数值计算问题.本文建立连续时间嵌入Markov链作为截断扩充逼近的两个基本性质,得到连续时间水平依赖的M/G/1型Markov过程不变分布的迭代公式,并且在此基础上给出广义Markov分支过程不变分布的稳定算法,并通过两个例子来介绍这一算法.

连续时间Markov链的遍历度

以首中时的矩来研究连续时间Markov链高阶偏差矩阵的存在及有限性,并由此给出转移矩阵收敛到平稳分布的多项式速度的估计,对于生灭过程,给出了显式的表达式。

基于改进连续时间动态系统的模拟SAT求解器

针对布尔可满足性问题的高效求解进行了研究。首先,通过对k-SAT问题和基于耦合常微分方程形式的确定性连续时间动态系统的分析,提出了一种基于时延信息形式的改进连续时间动态系统方程,以保持集中搜索特性;然后,提出了实现该系统方程的三个主要组件即信号动态电路、辅助变量电路和数字验证电路的模拟设计。在信号动态电路的设计中,设计了一种获得更高性能、更小面积和更低功耗的模拟硬件形式;在提出的辅助变量电路和数字验证电路的模拟硬件设计中,实现了避免梯度下降搜索陷入无解和确定给定问题的解是否已经找到的目标;同时提出了降低面积和功耗的可替代辅助变量电路的两种设计方案。仿真实验结果表明,提出的新的模拟SAT求解器不仅是有效的,而且相比于单一软件算法实现的SAT求解器和其他硬件类SAT求解器具有更高的加速性能和更低的功耗。

连续时间Markov决策过程的均值-方差优化问题

本文考虑连续时间Markov决策过程折扣模型的均值-方差优化问题.假设状态空间和行动空间均为Polish空间,转移率和报酬率函数均无界.本文的优化目标是在折扣最优平稳策略类里,选取相应方差最小的策略.本文致力于寻找Polish空间下Markov决策过程均值-方差最优策略存在的条件.利用首次进入分解方法,本文证明均值-方差优化问题可以转化为"等价"的期望折扣优化问题,进而得到关于均值-方差优化问题的"最优方程"和均值-方差最优策略的存在性以及它相应的特征.最后,本文给出若干例子说明折扣最优策略的不唯一性和均值-方差最优策略的存在性.

连续时间完全-限定(K=2)两级轮询系统性能分析

为了实现区分网络优先级、保证公平性、提高普通站点的性能和效率,在完全-限定(K=1)两级轮询控制系统模型的基础上,提出连续时间完全-限定(K=2)两级轮询控制系统模型。在该模型中,使用限定(K=2)服务和完全服务分别对普通站点和中心站点进行服务。中心站点转换到普通站点进行服务时,使用捎带查询方式。在此基础上,采用马尔可夫链和概率母函数的数学方法建立该轮询系统模型,并推导平均排队队长和时延。利用MATLAB进行仿真实验,结果表明:理论值与仿真值误差较小,验证了理论分析的正确性;与门限-完全服务模型相比,该模型中心站点的队长和时延均小于门限-完全服务中心站点的队长和时延,具有更高的优先级;与一级完全服务和一级限定(K=2)服务模型相比,区分了优先级,性能分别提升11.7%和14.5%,说明两级服务远好于一级服务;与完全-限定(K=1)两级服务模型相比,增加了发送的数据,减少了等待时间,性能提升13.04%左右,进一步优化了普通站点的性能。

转移概率部分未知的离散时间Markov跳变系统Nash微分博弈

考虑到转移概率矩阵元素无法完全获悉,如何在转移概率部分未知的情境下研究离散时间Markov跳变系统Nash微分博弈是有待解决的问题之一,这一问题可以为转移概率部分未知的Markov跳变系统Nash微分博弈理论在管理问题上的应用提供理论支撑。基于此,本文首先研究单人博弈情形,即ε-次优控制问题,借助自由连接权矩阵和配方法,得到了ε-次优控制策略存在的充分性条件,并给出了成本函数上界的显式表达;然后延伸至双人博弈进行分析,得到了ε-次优Nash均衡策略存在的条件等价于求解双线性矩阵不等式和矩阵不等式的优化问题,并通过启发式算法求解优化问题得到ε-次优Nash均衡策略;最后通过数值算例证明了主要结论的有效性。

主余震序列作用下基于时间维度的连续梁桥易损性分析

为研究连续梁桥在主余震序列作用下基于时间维度的易损性情况,以一座三跨连续梁桥为研究对象,基于OpenSees有限元软件进行非线性动力分析。选取符合区域场地类型的地震动,通过改进的大森定律和区域主余震统计关系,构建基于时间的主余震序列。以改进的Park-Ang损伤指数作为结构的损伤指标,运用直接回归概率线性拟合的方法建立主震后短期内各时间节点桥墩在不同损伤状态下的地震易损性曲线,研究区域时间范围内主余震序列对连续梁桥抗震性能的影响。结果表明:(1)余震会给桥梁结构带来明显的增量损伤;(2)各种损伤状态的超越概率随着PGA的增大和时间的推移而不断增大,且主震造成的损伤状态等级越高,其超越概率越低,余震作用时超越概率增大越明显。超越概率在震后第1日增幅最大,随着时间的推移逐渐减小,第10日趋于平稳,因此在分析地震给桥梁带来的损伤时,要充分考虑主余震序列的时间效应。

连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法.运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型,研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.

计及调节资源AGC动态特性的离散-连续时间随机前瞻经济调度

随着具有波动性的可再生能源渗透比例不断提高,系统对调频备用的需求显著增加。为了制定更合理的调度方案和调频备用,有必要研究经济调度和自动发电控制(automatic generation control,AGC)之间的协调优化。该文提出建立考虑调节资源AGC动态特性的离散-连续时间随机前瞻经济调度模型,以制定兼顾能量平衡和调频需求的调度决策,并实现快慢资源的最优协同,增强系统的动态调节能力。为降低模型复杂度,在当前时段将调节资源的AGC动态特性建模为精细化离散模型,在前瞻时段采用简化的连续时间模型刻画调节资源的AGC动态特性,显著降低问题规模。通过在目标函数中引入合适的储能充放电成本惩罚项,将储能充放电互补约束松弛,从而消除01变量。最后,采用Benders分解算法实现并行求解,进一步降低了计算时间。该文在PJM5节点系统和IEEE118节点系统进行算例验证。结果表明,与传统模型相比,所提模型可以有效降低系统的频率偏差;与在前瞻时段考虑精细化AGC动态约束的模型相比,所提模型可显著降低计算时间。

分布式网络中连续时间周期的全局top-K频繁流测量

在分布式网络中,测量top-K频繁流对资源分配、安全监控等应用至关重要。现有的top-K频繁流测量工作存在不适用于测量分布式网络流量或只考虑单时间周期等局限。为此,提出了分布式网络中连续时间周期的全局top-K频繁流测量方案,在分布节点中布置了紧凑的概率数据结构来记录网络流信息,每个时间周期结束后分布节点向中心节点发送必要信息,中心节点汇聚得到从测量开始至当前时间周期的全局top-K频繁流。考虑到每条流可能出现在一个或多个测量节点,使用了不同的方法来减少传输开销。对于每条流只会出现在单一节点的情况,采用传输分段最小值的方法来获得阈值,实验结果表明这种方法减少了全量传输超过50%的传输开销。对于每条流会出现在多个节点的情况,提出了多阶段无误差处理方法和单阶段快速处理方法,分别应对不能容忍误差的场景和实际高速网络流量,相比每个时间周期都使用已有单周期方法,传输开销的实验表现降低了两个数量级。最后还提出了一种利用历史平均增值信息降低通信延迟的方法,实验结果表明该方法有效降低了限制信息的平均相对误差。

一种应用于音频的可重构Σ-Δ连续时间调制器

基于180 nm CMOS工艺,设计了一种应用于音频领域的可重构前馈式3阶Σ-Δ连续时间调制器。传统Σ-Δ连续时间调制器只有一种工作模式,而该设计利用可重构的积分器使Σ-Δ连续时间调制器具有高精度和低功耗两种工作模式。此外,采用的加法器提前技术减小了调制器功耗,负电阻补偿技术提高了调制器的SNDR,额外环路延时补偿技术提高了调制器的稳定性。仿真结果表明,在20 kHz信号带宽、1.8 V电源电压下,低功耗模式下调制器的SNDR为94.7 dB,功耗为291μW;高精度模式下调制器的SNDR为108 dB,功耗为436.6μW。

连续时间门限完全服务两级轮询系统性能分析

为区分业务优先级以及提高系统公平性与稳定性,在简化求解过程的基础上,提出一种连续时间门限完全服务两级轮询系统。系统状态由马尔科夫链得出并根据其建立数学模型,系统的平均循环周期、平均排队队长等性能参数由对数学模型的概率母函数进行求导所得,将求导结果与仿真实验进行对比,验证理论分析的准确性。将该系统与单级系统、其它两级系统进行对比,验证了该系统在保证业务优先级的同时更具公平性与稳定性。

基于连续时间谱的沥青混合料黏弹性参数换算

为了提升沥青混合料黏弹性参数的换算精度,探究沥青混合料连续时间谱的确定与换算方法,利用改进Sigmoidal函数得到了连续时间谱的显式计算公式,提出了基于连续时间谱的沥青混合料黏弹性参数换算流程,实现了由频域黏弹性参数向时域黏弹性参数的换算,采用Mix-9.5、Mix-19、Mix-25沥青混合料的复数模量和蠕变柔量试验对黏弹性参数的换算精度进行验证。结果表明,利用改进Sigmoidal函数计算得到的沥青混合料连续时间谱能够有效避免不良谱线产生,取时间点间距N=1时,基于连续时间谱换算得到的蠕变柔量较离散时间谱更接近于试验值,换算得到的松弛系和蠕变系参数曲线符合沥青混合料的黏弹性参数曲线特征,具有较好的换算一致性。