带动作回报的连续时间Markov回报过程验证

为了能够更准确的表达不确定性复杂系统的时空验证,针对当前连续时间Markov回报过程(continue time markov reward decision process,CMRDP)验证中只考虑状态回报的问题,提出带动作回报的验证方法。考虑添加了动作回报的空间性能约束,扩展现有的基于状态回报的连续时间Markov回报过程,用正则表达式表示验证属性的路径规范,扩展已有路径算子的表达能力。给出带动作回报CMRDP和路径规范的积模型,求解积模型在确定性策略下的诱导Markov回报模型(markov reward model,MRM),将CMRDP上的时空性能验证转换为MRM模型上的时空可达概率分析,并提出MRM中求解可达概率的算法。实例分析表明,提出的验证思路和验证算法是可行的。

舰船发电系统多状态可靠性马尔可夫报酬模型

针对舰船发电系统的多状态特征,考虑舰船计划维修间隔期对系统可靠性参数的影响,利用马尔可夫报酬模型构建冷储备结构的发电系统状态转移矩阵、报酬矩阵、报酬函数和系统需求满足函数,通过对报酬矩阵元素的合理赋值,获得系统区间可用度、平均可工作时间、平均停机时间、平均故障次数、计划维修间隔期内系统可靠度等参数,并通过算例验证模型正确性和适用性,分析系统计划维修间隔时间、单机组平均修复时间等指标对系统可靠性参数的影响,为研究舰船发电系统可靠性设计提供建模工具,为合理安排舰船装备维修结构提供技术支持。研究结果验证了马尔可夫报酬模型在复杂多状态系统可靠性建模和计算方面的便捷性和灵活性。

基于社会网络信息流模型的协同过滤算法

为提高个性化推荐技术的准确率,首先在多维半马氏过程的状态空间中定义'空状态',得到扩展多维半马氏过程,将其与社会网络分析理论结合,得到社会网络信息流模型,该模型描述了社会网络成员间的信息流动过程。然后基于社会网络信息流模型,提出协同过滤算法SMRR(Semi-Markov and reward renewal)。实验表明,由于综合考虑用户自身偏好和社会网络中其他成员的影响,SMRR的预测准确率明显高于原有算法。

一种基于分布式网络的性能管理模型及算法

采用马尔可夫回应模型 (MRM)和连续时间马尔可夫链 (CTMC)描述的随机过程Z(t) ,利用网络累积性能等参数的双拉普拉斯变换表达式将面向系统分析和面向对象分析的两种观点有机地结合在一起 ,该模型能够计算和预测网络的多种性能参数 ,为解决复杂的迭代次数计算 ,推导出了近似算法 ,最后将网络累积性能算法应用到一个简单网络子网中并进行了详细的数值分析·

顺序迭代开发过程建模与仿真

为有效地管理和改进产品开发过程,提出了一种基于奖赏马尔科夫链的顺序迭代过程定量模型。该模型与已有的顺序迭代过程模型不同的是,模型中的返工影响因子不仅作用于直接返工任务的持续时间,而且作用于该返工任务的后续任务,即作用于返工任务的整个剩余时间。一个任务在每个阶段的返工量随着迭代次数的增加而逐渐减少。考虑了不同任务引起的同一任务返工量的不同。为估计开发过程的期望时间,建立了过程时间估计的分析模型和仿真模型,给出了仿真计算算法。以软件测试过程为例,给出了过程时间估计的分析和仿真实验结果,并与其他已有模型进行了对比分析。最后,讨论了模型估计结果产生偏差的可能原因。

基于马氏决策向量过程模型的有限阶段期望总报酬准则及其最优方程

在马氏决策向量过程模型的理论基础上,结合决策向量和相合度等新定义,进一步提出有限阶段期望总报酬准则和最优方程,并证明最优方程的解的存在性.

MDP中模型的转换——平均模型

本文讨论状态可数的平均报酬马氏决策规划（Markov Decision Programming,简记为MDP）,通过模型的转换,文中将半马氏决策规划和连续时间MDP分别转换为离散时间MDP.转换保持模型间的最优方程等价,后一转换甚至保持平均目标函数等价。因此,离散时间MDP申的大部分结论可轻易地推广到另两类MDP中去。最后本文讨论了π0∞为最优策略与最优方程的关系。

非对称超市模型的报酬过程与性能优化研究

超市模型具有操作简单、反应快速、实时管控等优点而成为研究大型网络资源管理的一个重要数学工具,它已经在物联网、云计算、云制造、大数据、交通运输、医疗卫生等重要实际领域中获得了极为广泛的应用.目前,非对称超市模型是这个研究方向上的一个重要课题.在本文中,我们研究了一个非对称超市模型.由于M个服务台不相同,所以到达顾客的路径选择策略表现得较为复杂:它不仅与队长和服务速度有关,而且也与服务台的信誉有关.为此,我们利用决策方法构造了非对称超市模型的路径选择策略.基于此,我们利用马氏报酬过程及其优化技术,建立了这个非对称超市模型的泛函报酬方程,并给出了这些泛函报酬方程的一个值递推算法;通过对这个报酬函数的一个相向优化,提供了这类非对称超市模型研究中的一个性能评价准则.为了理解非对称超市模型是如何通过客观条件与主观行为来实施对大型网络资源进行有效管控,本文的研究方法与结果在这个方向上首次提供了一些必要的理论依据.

离散时间折扣多目标马氏决策模型:加权与字典序准则

定义了离散时间折扣多目标马氏决策模型，在加权准则下，证明了存在（ｎ，∞）最优马氏策略；在字典序准则下，利用最优策略的结构性质，将其最优问题转化为一系列单目标模型的最优问题。

基于模型检测的微服务组合平台QoS验证

针对当前缺少对微服务组合平台的服务质量(QoS)指标进行分析验证的问题,提出一种基于模型检测的形式化验证方法,对影响微服务平台性能的因素进行分析评估。首先,将微服务组合的服务资源配置过程划分为服务请求、资源配置和服务执行3个阶段,并分别由服务请求队列、服务请求配置器和提供服务资源的虚拟机等模块实现;其次,将各个模块的实现过程建模为带标记Markov回报模型(LMRM),借助类似于进程代数的同步概念获得微服务组合过程的全局模型;接着,用连续随机回报逻辑公式刻画期望的QoS指标;最后,将形式模型与逻辑公式作为模型检测工具PRISM的输入以获得验证结果。实验结果表明,LMRM可较好地用于微服务组合平台的建模和QoS验证分析。

条件概率公式在一类马尔科夫报酬模型上的计算

在马尔科夫报酬模型上,把条件概率算子引入连续随机报酬逻辑中,以此表达更为丰富的性质。在harmony假设下,路径的报酬限制可以转化成时间限制,从而将连续随机报酬逻辑中的路径公式转化为连续随机逻辑中的路径公式。再由已知的参数化乘积连续时间马尔科夫链的方法,建立起高效的检测算法。

短期设备状态检修优化决策模型与求解

随着电网规模的不断扩大,输变电设备的检修工作日益得到重视。在电网状态检修背景下,建立了短期设备状态检修优化决策模型。首先,建立了非时齐马尔可夫过程模型用于描述设备的随机停运过程,为便于问题求解,采用阶梯函数逼近设备的时变故障率,而后,依据设备状态转移具有马尔科夫性质,并且结合马尔科夫报酬模型,给出前瞻时间内设备状态概率的求解方法,以及电网检修损失和故障损失的数学表达。最后,以电网检修损失和故障损失二者之和最小为目标,考虑系统状态检修的相关约束条件,构建了短期输变电设备状态检修优化决策模型。通过IEEE-RTS79系统算例验证模型的可行性和有效性。

马尔可夫过程在型号AIT合理性检查中的应用

针对型号AIT合理性不能定量评价的现状,提出将其作为马尔可夫过程来处理的方法。以经典马氏四元组为基本框架建模。采用领域知识训练模型,提高模型优化能力和适用性。通过报酬的期望平均来表征AIT的优劣,以此判断其合理性。应用实例表明,方法效果明显,结合自动化手段,具有可观的应用前景。

大数据背景下健康保险动态定价机制研究——基于变换的隐马尔可夫模型

健康保险作为有效的市场化健康风险管理工具逐渐受到青睐。同时,物联网和大数据等创新科技的应用使得医疗健康相关的数据大幅增加且以极快的速度更新,给传统健康保险定价带来巨大挑战。在此背景下,基于大数据背景展开健康保险动态定价研究具有重要意义。本文基于大数据技术构建变换的隐马尔可夫模型,将被保险人多维度健康管理数据合理引入,进行更精准的健康风险预测,并基于奖惩机制实时对健康保险费率进行动态调整。研究发现,相对于传统定价模型,本文所搭建的健康保险费率动态调整机制不但能够防范逆选择风险,还能在很大程度上缓解道德风险,并基于健康管理理念有效激励被保险人主动进行风险控制,对健康保险动态定价的理论探索和实践检验具有一定启发。