一种融合噪声网络的深度强化学习通信干扰资源分配算法

针对传统干扰资源分配算法在处理非线性组合优化问题时需要较完备的先验信息,同时决策维度小,无法满足现代通信对抗要求的问题,该文提出一种融合噪声网络的深度强化学习通信干扰资源分配算法(FNNDRL)。借鉴噪声网络的思想,该算法设计了孪生噪声评估网络,在避免Q值高估的基础上,通过提升评估网络的随机性,保证了训练过程的探索性;基于概率熵的物理意义,设计了基于策略分布熵改进的策略网络损失函数,在最大化累计奖励的同时最大化策略分布熵,避免策略优化过程中收敛到局部最优。仿真结果表明,该算法在解决干扰资源分配问题时优于所对比的平均分配和强化学习方法,同时算法稳定性较高,对高维决策空间适应性强。

基于可迁移强化学习的断面输电极限计算方法

断面输电极限是电网安全边界在断面割集的降维投影,其实质是考虑电压无功优化和多类稳定约束的复杂混合整数非凸非线性问题,而新能源的引入进一步扩大了其计算维度,传统方法难以求解。为此,提出一种基于可迁移强化学习的断面输电极限计算方法。首先,考虑暂态功角及电压稳定约束,计及包括电容器组等无功资源,建立含微分代数方程的输电极限混合整数计算模型;然后,将该模型转化为混合整数的马尔科夫决策过程,提出基于混合Categorical分布的近端策略优化求解方法;最后,引入策略分布熵最大化目标,确保智能计算模型在未见运行方式下的迁移能力,实现运行方式或边界条件切换下的输电极限快速分析。IEEE39节点系统的算例结果表明,相比传统元启发式黑盒优化算法,所提方法在几乎不牺牲精度的前提下效率提升了97.15%。