基于部分可观测马尔科夫决策过程的C-V2V频谱接入算法

文章基于部分可观测马尔科夫决策过程,提出一种C-V2V(Cellular Vehicle-to-Vehicle)频谱接入算法,并在既定的网络模型下,通过仿真过程验证了本算法可有效提高车辆用户接入频谱后的吞吐量,从而改善C-V2V通信网络服务质量,可应用于交通事故、车辆监督管理等领域。

应用部分马尔科夫博弈的网络安全主动响应决策模型

针对传统被动响应模型滞后于攻击且频繁误警和虚警导致不当响应的问题,提出一种基于部分马尔科夫博弈(POMG)的主动响应决策模型.该模型针对入侵过程生成入侵状态转换图,并根据攻击过程中得到的观察事件匹配入侵状态转换图,在考虑状态不确定的情况下确定系统信念状态.将概率值超过信念状态阈值的状态作为初始节点生成入侵状态转换子图,根据子图的入侵过程确定攻防策略集,最终利用POMG算法选择最优主动响应策略.实验结果表明,基于POMG的主动响应模型较映射型模型响应速度快67%,平均响应效率高24.5%.

状态部分可观测条件下电力设备状态检修决策模型

在设备状态检修决策中,当设备状态评价结果与其真实状态不符时（状态无法完全观测）,会导致检修决策偏离实际。针对这一问题,提出一种适用于状态部分可观测设备的检修决策模型。该模型考虑设备突发性故障和老化故障,基于部分可观测马尔科夫过程,推导设备的初始状态概率。进一步,考虑设备故障修复效果不确定性,对研究周期内设备瞬时可用度进行求解。并在此基础上,给出部分可观测条件下系统故障风险和检修风险表达,以系统总风险最小为目标进行检修决策。通过算例分析验证了文中模型的有效性。

广义马尔科夫跳变系统的部分模态依赖观测器设计

针对系统状态变量不完全可测以及系统模态不能实时获得的实际情况,研究广义马尔科夫跳变系统的部分模态依赖观测器及相应控制器的设计问题.基于线性矩阵不等式技术,运用模态依赖的李雅普诺夫函数讨论广义马尔科夫系统的正则和无脉冲特性,给出使系统随机稳定的基于观测器的控制器存在的充分条件.最后通过数值算例验证了所提出设计方法的有效性和优越性.

基于多智能体深度强化学习的无人机动态预部署策略

针对传统优化算法在求解长时间尺度内通信无人机(UAV)动态部署时复杂度过高且难以与动态环境信息匹配等缺陷,该文提出一种基于多智能体深度强化学习(MADRL)的UAV动态预部署策略。首先利用一种深度时空网络模型预测用户的预期速率需求以捕捉动态环境信息,定义用户满意度的概念以刻画用户所获得UAV提供服务的公平性,并以最大化长期总体用户满意度和最小化UAV移动及发射能耗为目标建立优化模型。其次,将上述模型转化为部分可观测马尔科夫博弈过程(POMG),并提出一种基于MADRL的H-MADDPG算法求解该POMG中轨迹规划、用户关联和功率分配的最佳决策。该H-MADDPG算法使用混合网络结构以实现对多模态输入的特征提取,并采用集中式训练-分布式执行的机制以高效地训练和执行决策。最后仿真结果证明了所提算法的有效性。

区分多业务的跨层优化无线网络协议头压缩算法

在网络中,鲁棒性协议头压缩(robust header compression,ROHC)算法需要压缩端和解压端的状态同步,才能成功解压ROHC数据包,但ROHC算法的双向可靠R模式和双向优化O模式需要单独的反馈信道,增加了网络成本。针对ROHC算法的单向U模式,当无线信道质量变差时,ROHC的性能会随之下降,且现有ROHC算法没有考虑到不同业务对实时性需求不同的问题,提出了一种新的U-ROHC建模方案,引入一种部分可观测马尔可夫过程(partially observable Markov processes,POMDP)跨层优化框架来自适应调整U模型下ROHC压缩端状态,以求改善ROHC的性能。针对实时性业务和非实时性业务的不同要求自适应调整ROHC参数,使实时性业务能在解压失败的情况下具有更快速恢复双端置信的能力,而非实时性业务具有更高的压缩比,以使ROCH具备支持不同业务类型的能力。仿真结果表明,可以使ROHC-U算法在无线信道恶劣的条件下依然保持较好的压缩比和吞吐量。

多目标跟踪中基于目标威胁度评估的传感器控制方法

该文基于随机有限集的多目标滤波器提出一种基于目标威胁度评估的传感器控制策略。首先,在部分可观测马尔科夫决策过程(POMDP)的理论框架下,给出基于信息论的传感器控制一般方法。其次,结合目标运动态势对影响目标威胁度的因素进行分析。然后,基于粒子多目标滤波器估计多目标状态,依据多目标运动态势的评估研究建立多目标威胁水平,并从多目标分布特性中深入分析并提取出当前时刻最大威胁度目标的分布特性。最后,利用Rényi散度作为传感器控制的评价指标,以最大威胁度目标的信息增益最大化为准则进行最终控制方案的求解。仿真实验验证了该方法的实用性和有效性。

基于POMDP的认知无线电自适应频谱感知算法

针对如何建立适合毫秒级频谱空洞场景的频谱感知机制这一问题,推导出最佳次级用户单次数据传输时间长度,解决了数据传输量最大化的问题;其次提出一种基于部分可观测马尔科夫决策过程(POMDP,partiallyobservable Markov decision process)的自适应频谱感知算法,解决了快速接入毫秒级频谱空洞的问题。该算法根据上一决策时段的信念向量和感知结果自适应确定在当前决策时段内进行频谱感知或数据传输行为。仿真结果表明,该自适应频谱感知算法能够有效控制次级用户和主用户的冲突概率并增加频谱利用率。

认知Ad Hoc网络能量有效频谱接入策略

针对认知无线Ad Hoc网络中次用户能量受限问题,提出一种基于能量有效性的机会频谱接入策略。联合考虑信道状态的时变性和次用户的频谱感知准确性,基于部分可观测马尔科夫决策过程(POMDP)建立了一种最大化能量有效性的分析架构,指导次用户选择能效最佳信道,并根据信念状态、信道增益和检测概率,自适应控制传输功率。仿真结果表明,该策略能够有效提高次用户传输的能量有效性,通过对传输功率的有效控制,实现了传输性能和能量开销的有效折中。

一种基于最优策略概率分布的POMDP值迭代算法

随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该方法在深度优先的启发式探索中,根据各个动作值函数在其上界和下界之间的分布,用蒙特卡罗法计算动作最优的概率,选择概率最大的动作作为最优探索策略.在4个基准问题上的实验结果表明PBVIOP算法能够收敛到全局最优解,并明显提高了收敛效率.

基于点的FO-POMDP值迭代方法研究

在部分可观测马尔可夫决策过程(POMDP)的基础上,给出一阶部分可观测马尔科夫决策过程(FO-POMDP),用一阶逻辑的情景演算结构表达POMDP。对FO-POMDP模型中状态的抽象层次进行刻画,提出状态粒度、信念状态粒度的概念。采用粒度归结方法,将信念状态的粒度归结到某一确定粒度下,运用确定粒度下的信念点距离度量方法,将基于点的价值迭代(PBVI)扩展到逻辑抽象层面提出一阶PBVI(FO-PBVI)。实验结果证明,该算法的求解速度较快,求解质量较好。

基于杂合标准的POMDP值迭代求解算法

基于点的值迭代方法是求解部分可观测马尔科夫决策过程(POMDP)问题的一类有效算法.目前基于点的值迭代算法大都基于单一启发式标准探索信念点集,从而限制算法效果.基于此种情况,文中提出基于杂合标准探索信念点集的值迭代算法(HHVI),可以同时维持值函数的上界和下界.在扩展探索点集时,选取值函数上下界差值大于阈值的信念点进行扩展,并且在值函数上下界差值大于阈值的后继信念点中选择与已探索点集距离最远的信念点进行探索,保证探索点集尽量有效分布于可达信念空间内.在4个基准问题上的实验表明,HHVI能保证收敛效率,并能收敛到更好的全局最优解.

基于IMM的无人机在线路径规划决策建模

为提升无人机对目标的自主跟踪能力,以部分可观测马尔科夫决策过程(POMDP)为理论框架,建立起无人机路径在线规划POMDP模型。分析并描述了POMDP模型中的各个要素,针对目标运动规律的复杂性,引入交互多模型(IMM)方法描述POMDP模型中的状态转移规律,以适应目标的机动变化。同时以POMDP模型中的累加代价函数为目标函数,结合使用名义信念状态优化(NBO)算法求解无人机的行动策略,产生的行动策略控制无人机飞行。仿真结果表明,所建立的模型能够实现对无人机路径的自主规划,能够控制无人机对目标进行有效跟踪,规划的无人机路径较之使用单一的目标状态转移规律更加合理高效。

基于攻击图的主动响应策略选择

为帮助管理员预先识别网络系统脆弱性及面临的潜在安全威胁,提出一种基于攻击图的主动响应策略选择方法.该方法利用攻击图模型分析网络攻击行为,预测攻击路径并进行定量分析.根据攻击过程中得到的观察匹配攻击图,更新信念状态,最终利用部分马尔科夫博弈(POMG)算法进行最优主动响应策略选择.实验结果表明,基于攻击图的主动响应策略选择方法能提高响应的准确性和有效性.

主动配电网下多微电网间功率协调优化

配电网中高渗透率分布式电源以多个微电网的形式集群接入,实现配电网对分布式电源的主动控制与管理,是智能电网中主动配电网的发展趋势。以多微电网间功率协调优化为研究对象,提出了一种基于部分可观测马尔科夫决策过程(DEC-POMDP)的协调优化模型,采用拉格朗日-对偶原理将原目标函数分层为max-min的形式,并通过拉格朗日乘子对其进行解耦以降低求解难度;为了提高算法的精度及性能,采用了一种基于Bloch球面坐标编码的量子遗传算法。算例计算结果验证了所提方法的正确性与有效性。

无线传感网跟踪任务中的目标运动模型估计与节点调度

在无线传感器网络进行目标跟踪的过程中,合理的节点调度算法可以兼顾跟踪精度和能量消耗,延长网络的使用寿命.然而,当目标运动模型未知时,难以实现高效的节点调度.为解决目标运动模型未知场景下的跟踪问题,本文将监控区域中的目标移动和传感器观测建模为隐马尔可夫模型(HMM),并提出了HMMQMDP算法,把问题分解为运动模型估计和节点调度两个阶段:运动模型估计阶段是根据传感器采集的观测序列估计目标状态转移概率;节点调度阶段则被建模为部分可观测马尔可夫决策过程(POMDP),综合考虑决策的短期和长期损失,应用QMDP算法近似求解优化策略.仿真结果表明:该算法可以根据观测样本有效地学习和估计目标运动模型,提升节点调度算法的效果.

CVANET中基于POMDP模型的频谱接入算法

针对认知车载Ad Hoc网络(CVANET)信道的动态特性,以部分可观测马尔科夫决策过程(POMDP)为模型对认知车辆用户的频谱感知和频谱接入过程进行研究,提出基于POMDP模型的分布式机会频谱接入算法,并通过贪心算法降低POMDP算法计算量,最后通过仿真研究影响认知车辆用户吞吐量的主要因素,并验证算法的可行性。仿真分析结果表明,认知车辆用户通过本算法接入吞吐量得到有效提高,降低了交通中广播风暴的可能,并且降低了计算量。

一种改进的认知无线电频谱接入策略

认知无线电(Cognitive Radio)网络中,次用户在不干扰主用户的情况下即时接入检测到的空闲频谱以提高频谱资源的利用率。基于部分可观测马尔科夫决策过程的最优频谱接入算法计算复杂度较高,而基于贪婪算法的次优接入策略具有自私性,都不能有效的提高频谱利用率。本文提出一种新的频谱接入算法,该算法对贪婪算法的自私性进行了改进。由于贪婪算法只关注信道当前时隙的瞬时奖励值,导致最大奖励值相同的信道可能会有多个,因此给瞬时奖励值加上这些信道下一时隙的奖励值后重新选择,直至次用户选择出奖励值最大的一个信道。仿真结果表明,相比于传统的贪婪算法,改进算法虽然增加了一些计算复杂度,但有效提高了系统的吞吐量。

基于循环卷积神经网络的POMDP值迭代算法

基于卷积神经网络的部分可观测马尔科夫决策过程(POMDP)值迭代算法QMDP-net在无先验知识的情况下具有较好的性能表现,但其存在训练效果不稳定、参数敏感等优化难题。提出基于循环卷积神经网络的POMDP值迭代算法RQMDP-net,使用门控循环单元网络实现值迭代更新,在保留输入和递归权重矩阵卷积特性的同时增强网络时序处理能力。实验结果表明,RQMDP-net在10×10网格地图规划任务中导航准确率高达98.5%,且在36×36网格地图规划任务中相比QMDP-net最多提升5.8个百分点,具有更快的网络收敛速度和更强的导航任务规划能力。

主动配电网下多微电网间功率协调优化研究

配电网中高渗透率分布式电源以多微电网的形式集群接入,为对多个微电网进行有效管理,达到对分布式电源主动控制的目的,提出了一种基于部分可观测马尔科夫决策过程(DEC-POMDP)的协调优化模型。针对双层优化目标函数,基于拉格朗日-对偶原理对其进行分层处理,为了对双层目标函数彻底解耦,引入拉格朗日乘子;采用了一种基于Bloch球面坐标编码的量子遗传算法,对变量进行编码以提高优化算法寻优性能。最后,通过算例计算分析验证了所提方法的正确性与有效性。