非完全信息下协作式入侵检测系统检测库配置研究

本文研究了有限时间下非完全信息协作式入侵检测系统(IDS)的检测库配置。针对各入侵检测系统面对不同类型攻击时的最优检测库的配置以及检测库分配的矛盾,提出了一种双层检测库配置方法。第1层研究的是各攻击者的策略制定以及对应入侵检测系统的最优检测库配置方案;第2层研究的是如何解决多个入侵检测系统加载同一检测库的矛盾,给出了基于策略共享的集中式分配方法。第1层研究又可分为2步解决:第1步针对攻击者无法获知系统的真实状态、与入侵检测系统之间存在着信息不对称的问题,提出构建一个基于信念的随机博弈框架,通过后向递归算法求解,并证明该解就是博弈的稳态纳什均衡(SNE)策略;第2步通过求解混合Markov决策过程得到各入侵检测系统的最优检测库配置方案。仿真结果表明,本文所提方法能有效地得到协作式入侵检测系统面对不同类型攻击时的最优检测库配置方案。

基于DDQN的电力传感网资源分配算法

电力传感网可以用于对电力网络的设备工作状态和工作环境等信息实时采集和获取,对于电力网络设施的实时监控与快速响应具有重要作用。针对系统在数据排队时延和丢包率上的特殊要求,提出了一种基于强化学习的电力传感网资源分配方案。在资源受限的情况下,通过资源分配算法来优化传感器节点的排队时延和丢包率,并将该优化问题建模为马尔可夫决策过程(Markov decision process,MDP),通过双深度Q网络(double deep Q-learning,DDQN)来对优化目标函数求解。仿真结果与数值分析表明,所提方案在收敛性、排队时延和丢包率等方面的性能均优于基准方案。

LTE-A/WLAN中基于马尔可夫过程的接入选择算法研究

在LTE-A/WLAN融合的异构网络中,为了随时随地为用户提供最好的连接,文中提出了一种基于马尔可夫过程的接入选择算法。当不同业务类型的用户到达这两个网络重叠覆盖的区域时,该算法根据当前各接入网的网络状态和用户业务类型做出相应的接纳控制决策,包括是否接纳该用户以及接纳到何种网络,通过仿真和采用马尔可夫过程分析该异构网络的系统性能,证明了该算法能够有效提高该异构网络系统的吞吐量,降低阻塞概率,改善异构网络中无线资源的利用率。

基于马尔科夫过程的异构网络性能分析与优化

该文给出了一种基于马尔科夫过程的异构网络性能优化方法。该方法将用户的移动性作为影响系统性能的一个重要因素,通过切换率来反映用户的移动性,并采用马尔科夫过程来分析异构网络的系统性能,得到异构网络系统的总吞吐量表达式。考虑到在两个网络的重叠区域用户需要选择接入的网络,将在重叠区域选择其中一个网络的业务到达率占该区域总的业务到达率的比例作为一个优化因子,通过选择合适的因子来最大化系统的吞吐量,最后通过黄金分割法来求解该优化问题。仿真结果表明,该算法能够有效提高异构网络系统的吞吐量,改善异构网络中无线资源的利用率。

基于SMDP的虚拟化无线传感网络资源分配策略

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切从而造成较低的资源利用率问题,将虚拟化技术引入WSN,提出基于半马尔科夫决策过程(SMDP)的资源分配策略。定义虚拟化WSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成虚拟传感网络请求(VSNR)的时间,给出奖励的表达式,并使用值迭代的方法求解特定状态下的行为,在提高资源利用率的同时最大化网络资源提供者的长期收益。数值结果表明,所提的资源分配策略能有效提高资源提供者的收益。

认知无线网络中基于随机博弈框架的频率分配

为了解决认知无线网络中分布式的动态频率分配问题,采用随机博弈的框架,将认知链路建模成自私理性的智能体,并提出了一种以最大化平均Q函数为目标的多智能体学习算法—MAQ。通过MAQ学习,分布式的智能体可以实现间接的协商而不需要交互Q函数和回报值,因为智能体的决策过程需要考虑其他用户的决策。理论证明了MAQ学习算法的收敛性。仿真结果表明,MAQ算法的吞吐量性能接近中心式的学习算法,但是MAQ只需要较少的信息交互。

基于半马尔科夫决策过程的虚拟传感网络资源分配策略

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资源分配策略。定义VSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成VSNR的时间,给出奖赏函数的表达式,并使用免模型强化学习算法求解特定状态下的行为,从而最大化网络资源提供者的长期收益。数值结果表明,该文的资源分配策略能有效提高传感网资源提供者的收益。

基于迁移演员-评论家学习的服务功能链部署算法

针对5G网络切片环境下由于业务请求的随机性和未知性导致的资源分配不合理从而引起的系统高时延问题,该文提出了一种基于迁移演员-评论家(A-C)学习的服务功能链(SFC)部署算法(TACA)。首先,该算法建立基于虚拟网络功能放置、计算资源、链路带宽资源和前传网络资源联合分配的端到端时延最小化模型,并将其转化为离散时间马尔可夫决策过程(MDP)。而后,在该MDP中采用A-C学习算法与环境进行不断交互动态调整SFC部署策略,优化端到端时延。进一步,为了实现并加速该A-C算法在其他相似目标任务中(如业务请求到达率普遍更高)的收敛过程,采用迁移A-C学习算法实现利用源任务学习的SFC部署知识快速寻找目标任务中的部署策略。仿真结果表明,该文所提算法能够减小且稳定SFC业务数据包的队列积压,优化系统端到端时延,并提高资源利用率。

非正交多址接入系统中基于受限马尔科夫决策过程的网络切片虚拟资源分配算法

针对无线接入网络切片虚拟资源分配优化问题,该文提出基于受限马尔可夫决策过程(CMDP)的网络切片自适应虚拟资源分配算法。首先,该算法在非正交多址接入(NOMA)系统中以用户中断概率和切片队列积压为约束,切片的总速率作为回报,运用受限马尔可夫决策过程理论构建资源自适应问题的动态优化模型;其次定义后决策状态,规避最优值函数中的期望运算;进一步地,针对马尔科夫决策过程(MDP)的"维度灾难"问题,基于近似动态规划理论,定义关于分配行为的基函数,替代决策后状态空间,减少计算维度;最后设计了一种自适应虚拟资源分配算法,通过与外部环境的不断交互学习,动态调整资源分配策略,优化切片性能。仿真结果表明,该算法可以较好地提高系统的性能,满足切片的服务需求。

基于异步优势演员-评论家学习的服务功能链资源分配算法

考虑网络全局信息难以获悉的实际情况,针对接入网切片场景下用户终端(UE)的移动性和数据包到达的动态性导致的资源分配优化问题,该文提出了一种基于异步优势演员-评论家(A3C)学习的服务功能链(SFC)资源分配算法。首先,该算法建立基于区块链的资源管理机制,通过区块链技术实现可信地共享并更新网络全局信息,监督并记录SFC资源分配过程。然后,建立UE移动和数据包到达时变情况下的无线资源、计算资源和带宽资源联合分配的时延最小化模型,并进一步将其转化为马尔科夫决策过程(MDP)。最后,在所建立的MDP中采用A3C学习方法,实现资源分配策略的求解。仿真结果表明,该算法能够更加合理高效地利用资源,优化系统时延并保证UE需求。

考虑主/被动资源约束的随机MDP项目调度优化

为提高项目调度优化过程的合理性,引入一种新的项目调度优化应对冲突的方法,一旦冲突发生在调度方案中,不是重新定义项目的开始时间,而是对冲突的时间调度表进行状态的迁移,得到另一个可行的调度时间表,实现了算法计算效率的提升。然后,将主动和被动项目调度问题作为单一的综合问题来制定,并利用Markov决策过程对上述项目调度优化问题进行建模,有针对性地设计了一种基于随机图的动态规划求解方法。实验结果显示了所提方法在收敛精度和计算效率上的有效性,并通过甘特图方式对调度方案的合理性进行了论证。

基于部分可观察马尔可夫决策过程的受控无线网络系统动态资源分配

研究了受控无线网络的动态资源分配。针对传统无线通信传输模型的局限性随着无线通信系统架构的发展日益凸显的问题,提出了一种引入反馈控制策略的受控无线网络模型。该模型结合部分可观察马尔可夫决策过程(POMDP),将用户接收功率与数据传输误码率作为反馈观测对象,对通信小区内基站天线开启数与用户接入数进行动态资源最优匹配。仿真结果表明,这种方法能够有效提升系统传输能效性与可靠性,降低传输误码率,改善系统资源动态匹配控制性能。

网络的策略演化模型及其在知识交流网络结构仿真中的应用

为了验证网络战略演化模型能够生成呈现大部分真实社会网络主要结构特性的网络,并探索知识缄默性对网络结构的影响规律,为此,引入空间动态连接模型来描述代理人之间连接的策略模式,运用时间非齐次的马尔可夫随机过程来刻画网络动态演化过程,进而利用动力学仿真研究知识缄默性对网络结构的影响规律。结果显示,当衰减参数处于区间[0.35,0.7]时,网络呈现集聚性,并且只有很少的代理人维持长连接;当代理人之间连接成本呈正态分布时,度的分布是非对称的。事实上,此时的网络呈现出了小世界特性。

基于马尔可夫的复杂网络可用性研究

网络结点受损不能提供基本服务时会降低复杂网络的可用性,当受损结点达到一定程度,将导致网络不可用。论文提出基于马尔可夫的复杂网络可用性模型,使网络尽快从不可用状态转移到可用状态,该模型引入马尔可夫理论进行网络可用性的研究,通过复杂网络的状态转移概率矩阵计算状态转移的概率,最后得到复杂网络可用性度量。实验表明,论文提出的复杂网络的可用性模型能快速给出网络状态转移的概率及收敛速度,保证复杂网络的可用性。

基于态势利导的需求响应自学习优化调度方法

针对多随机场景下用户可选择需求响应(CCR)的场景组合激增问题,利用深度强化学习算法实现CCR群组的优选及其所包含节点的优化调度。首先,根据CCR优化调度的约束条件与目标函数,分析其数学模型及日调度周期的求解复杂度;然后,基于马尔可夫决策过程将CCR优化调度过程映射至态势感知元组,并基于竞争深度Q网络架构建立态势利导函数,通过多次态势推演,利用小批量梯度下降法对态势利导函数求导,不断反馈更新算法参数,实现决策优化;最后,基于IEEE 33节点算例,通过不同规模的随机样本数量,在随机运行方式下实现了待选CCR群组的优选,并制定相应的优化调度策略。

雷达-通信网络频谱共享的动态协同算法

在雷达-通信一体网络中各时刻间的决策变量具有时间相关性时,以往追求某一时刻性能最优的资源分配算法不再适用。本文基于马尔可夫决策过程理论,构建面向雷达-通信一体网络的资源分配决策问题,其目标在于最小化各用频设备的长期平均发射功率。该马尔可夫决策过程问题状态-动作空间维度随用频设备数量呈指数增长,易陷入“维度诅咒”。为提升运行效率,本文提出一种分布式相对值迭代算法,通过对每个用频设备进行资源预分配处理,将原问题分解为多个可并行迭代的低维子问题,其中每个子问题可通过传统的相对值迭代法快速求解。仿真结果表明所提算法与追求单一时刻性能最优的贪婪策略比较,其性能可得到明显提升。

面向NUMA架构的虚拟网络功能部署技术研究

针对非一致内存访问架构的集群系统,探讨了虚拟网络功能链的时延问题,以及重用已部署的虚拟网络功能提升资源利用率机制。形式化定义了面向最小化时延的虚拟网络功能部署问题,证明其为NP难问题,提出了基于马尔可夫链概率迭代的部署算法MarVNFP。实验证明,与典型的虚拟网络功能部署算法MRP相比,MarVNFP算法能减少虚拟网络功能链近40%的跨域数据传输,有效降低了时延。

基于深度强化学习的配电网负荷转供控制方法

随着城市规模的快速扩张以及电能替代的不断推进,配电网节点数大量增加,结构愈加复杂,发生故障后拓扑变化不确定性较大,传统负荷转供方法难以在短时间内给出高质量的解决方案。为此,提出基于深度强化学习的配电网负荷转供控制方法。将负荷转供过程视为一个马尔可夫决策过程,与配电网实时电气、拓扑数据进行交互,对联络开关与分段开关进行控制。为了提高算法的精度与泛化能力,针对算法动作策略加入了预模拟机制,调整了动作与学习的比例并采用自适应优化算法进行求解。算例分析表明,所提方法能够应对不同故障下配电网的拓扑变化,即时给出负荷恢复量、电网损耗、开关动作次数多方面最优的转供控制方案,这对于减小故障后的停电损失与提高用户满意度有着重要意义。

一类物流网络模型的可靠性分析

利用多步统计相依马尔可夫过程的理论建立了物流网络模型，给出模型的数学描述及系统的可靠性计算的递归算法．

网络信息资源著作权创新生态系统构建及其可靠性研究

[目的/意义]新形势下推进网络信息资源著作权创新生态系统建设并评估其可靠性,有利于激活著作权活动的创新活力,引导网络版权产业的可持续发展。[方法/过程]首先,构建网络信息资源著作权创新生态统演化模型,并提出一种基于Markov过程的系统可靠性评估方法并给出相应的解析方程式。然后,利用贝叶斯网络模型计算运行状态转移率的基础数据,求解系统的瞬态可用度,同时通过研究稳态可用度探索影响网络信息资源版权业态发展的关键因素。最后,以网络视频资源著作权创新生态系统为例验证模型的适用性。[结果/结论]网络视频资源著作权创新生态系统运行过程中,在254h达到演化的稳定值0.7580。其中,创新投入风险对网络信息资源版权业态发展潜在危害最为严重,创新环境风险、著作权侵权风险次之,技术风险、融合创新风险、网络信息资源风险再次之,中止调整率和定期调整率对恢复系统的稳定性具有明显的修正作用。基于此仿真结果,提出促进网络视频版权产业发展的几点策略。