Deep-reinforcement-learning-based water diversion strategy

Water diversion is a common strategy to enhance water quality in eutrophic lakes by increasing available water resources and accelerating nutrient circulation.Its effectiveness depends on changes in the source water and lake conditions.However,the challenge of optimizing water diversion remains because it is difficult to simultaneously improve lake water quality and minimize the amount of diverted water.Here,we propose a new approach called dynamic water diversion optimization(DWDO),which combines a comprehensive water quality model with a deep reinforcement learning algorithm.We applied DWDO to a region of Lake Dianchi,the largest eutrophic freshwater lake in China and validated it.Our results demonstrate that DWDO significantly reduced total nitrogen and total phosphorus concentrations in the lake by 7%and 6%,respectively,compared to previous operations.Additionally,annual water diversion decreased by an impressive 75%.Through interpretable machine learning,we identified the impact of meteorological indicators and the water quality of both the source water and the lake on optimal water diversion.We found that a single input variable could either increase or decrease water diversion,depending on its specific value,while multiple factors collectively influenced real-time adjustment of water diversion.Moreover,using well-designed hyperparameters,DWDO proved robust under different uncertainties in model parameters.The training time of the model is theoretically shorter than traditional simulation-optimization algorithms,highlighting its potential to support more effective decisionmaking in water quality management.

典型匝道控制场景下深度强化学习决策机理解析

以典型匝道控制场景为研究对象,利用状态值函数、显著图及输入扰动,理解深度强化学习模型在交通控制中的决策机理。利用状态值函数评判模型是否能够认识到交通状态的变化,通过显著图分析特定环境状态下模型感知到的环境状态特征和决策动作规律,应用输入扰动分析扰动后匝道控制动作匹配率和控制效果并鉴别关键区域。结果表明,基于深度强化学习的匝道控制模型能够准确评判交通状态的优劣,感知到交通状态的关键特征,并做出合理的决策动作。

一种基于强化学习的软件安全实体关系预测方法

为改善现有基于翻译的软件安全知识图谱实体关系预测方法不具备可解释性,而基于路径推理的方法准确性不高的现状,本研究提出一种基于强化学习的预测方法 .该方法首先分别使用TuckER模型和SBERT模型将软件安全知识图谱的结构信息和描述信息表示为低维度向量,接着将实体关系预测过程建模为强化学习过程,将TuckER模型计算得到的得分引入强化学习的奖励函数,并且使用输入的实体关系向量训练强化学习的策略网络,最后使用波束搜索得到答案实体的排名列表和与之对应的推理路径.实验结果表明,该方法给出了所有预测结果相应的关系路径,在链接预测实验中hit@5为0.426,hit@10为0.797,MRR为0.672,在事实预测实验中准确率为0.802,精确率为0.916,在准确性方面与同类实体关系预测模型相比具有不同程度的提升,并且通过进行可解释性分析实验,验证了该方法所具备的可解释性.

强化学习可解释性基础问题探索和方法综述

强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案.为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(explainable reinforcement learning,XRL)的研究.然而,学术界对XRL尚缺乏一致认识.因此,探索XRL的基础性问题,并对现有工作进行综述.具体而言,首先探讨父问题——人工智能可解释性,对人工智能可解释性的已有定义进行了汇总;其次,构建一套可解释性领域的理论体系,从而描述XRL与人工智能可解释性的共同问题,包括界定智能算法和机械算法、定义解释的含义、讨论影响可解释性的因素、划分解释的直观性;然后,根据强化学习本身的特征,定义XRL的3个独有问题,即环境解释、任务解释、策略解释;之后,对现有方法进行系统地归类,并对XRL的最新进展进行综述;最后,展望XRL领域的潜在研究方向.

一种基于可解释深度强化学习的动态频谱接入方法

针对基于强化学习的动态频谱接入模型性能有限、可解释性差的问题,提出了一种基于权重分析的动态频谱接入方法。采用储备池计算(Reservoir Computing,RC)网络来替代传统的深度Q学习网络(Deep Q-Learning Network,DQN),以简化网络结构并提高计算效率。同时引入权重分析的可解释方法,通过生成热力图来反映神经网络对不同信道的认知和偏好,从而提高了模型的可解释性。仿真结果表明,在多用户环境中,该算法在平均成功率、平均碰撞率和平均奖励等关键指标上显著优于Q-Learning等传统强化学习算法。相较于DQN+MLP算法,该算法不仅加快了收敛速度,而且在平均成功率达到0.8、平均碰撞率接近0以及平均奖励等关键指标上的表现与之相当。

基于可解释性强化学习的空战机动决策方法

智能空战是未来空战的趋势,深度强化学习是实现空战智能决策的一条重要技术途径。然而由于深度强化学习的“黑箱模型”特质,存在策略难解释、意图难理解、决策难信任的缺点,给深度强化学习在智能空战中的应用带来了挑战。针对这些问题,提出了一种基于可解释性强化学习的智能空战机动决策方法。首先,基于策略级解释方法和动态贝叶斯网络构建了可解释性模型和机动意图识别模型;其次,通过决策重要性的计算和机动意图概率实现了无人机机动决策过程的意图层面可解释;最后,基于意图解释结果对深度强化学习算法的奖励函数和训练策略进行修正,并通过仿真对比分析验证了所提设计方法的有效性。所提方法能够获得有效性优、可靠性强、可信度高的空战机动策略。