基于安全强化学习的主动配电网有功-无功协调优化调度

提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。

基于安全强化学习的电网稳控策略智能生成方法

新型电力系统的“双高”趋势改变了电力系统经典稳定特性,导致稳定机理更复杂,系统稳定模式更多样,因此基于典型运行方式的在线稳定控制策略面临挑战。为解决新型电力系统的功角稳定问题,提出了基于安全强化学习的稳控策略智能生成方法。首先,建立了电力系统稳控问题的含约束马尔可夫模型,归纳并提出了紧急控制切机动作涉及的安全约束。其次,为了提高对于电网暂态响应的时空特征提取能力,构建了基于图卷积层和长短期记忆单元的特征感知网络。然后,为了提高稳控策略智能体的训练效率,提出了基于内嵌领域知识约束的近端策略优化算法稳控策略训练框架。最后,在IEEE 39节点系统和某实际电网中进行测试验证。结果表明,所提方法能够根据系统运行状态和故障响应自适应生成切机稳控策略,其决策效果和效率均优于现有的稳控策略。

电力系统调度决策:一种示教学习辅助加速的安全强化学习方法

随着可再生能源占比攀升和电网运行环境愈加复杂,亟需构建知识-数据融合的新型电力系统调度模式。鉴于此,首先采用模仿学习的方法对专家知识库中的案例进行拟合,构建示教学习模型,为电力系统调度运行提供示教调度引导指令。在此基础上,提出一种基于示教学习辅助加速的安全强化学习方法,能用于支撑电力系统实时快速决策。通过引入示教学习辅助加速机制,所提方法的收敛速度显著加快,调度策略迅速趋优,降低系统运行成本,缓解潮流越限风险。案例分析验证所提方法在提升强化学习收敛效率和促进电力系统安全经济运行方面的优势。

基于轨迹预测的安全强化学习自动变道决策方法

深度强化学习在自动变道决策问题中由于它的试错学习的特性,易在训练过程中导致不安全的行为。为此,提出一种基于轨迹预测的安全强化学习自动变道决策方法。首先,通过最大似然估计的概率建模并预测车辆的未来行驶轨迹;其次,利用得到的预测轨迹和安全距离指标进行驾驶风险评估,并且根据驾驶风险评估结果进行安全动作约束,将动作空间裁剪为安全动作空间,指导智能车辆避免危险动作。在仿真平台的高速公路场景中,将所提方法与深度Q网络(DQN)及其改进方法进行测试比较。实验结果表明,在智能车辆训练过程中,所提方法在保证快速收敛的同时,使碰撞发生的次数相较于对比方法降低了47%~57%,有效提高了训练过程中的安全性。

基于安全强化学习的不确定二阶系统模型参考跟踪控制

针对带有不确定性动态的二阶系统模型参考轨迹跟踪控制问题,设计了一种基于鲁棒控制障碍函数的安全强化学习算法。该算法能在学习跟踪控制器的过程中保证系统避障。首先,对具有安全约束的轨迹跟踪控制强化学习问题进行建模。其次,利用高斯过程模型对未知系统动力学的估计,得到鲁棒的避障控制障碍函数条件,在该条件下得到概率意义下的系统安全性保证。最后,提出基于鲁棒控制障碍函数的安全强化学习算法,得到最优模型参考轨迹跟踪控制律。仿真结果验证了所提算法的有效性。

基于受限MDP的无模型安全强化学习方法

很多强化学习方法较少地考虑决策的安全性,但研究领域和工业应用领域都要求的智能体所做决策是安全的.解决智能体决策安全问题的传统方法主要有改变目标函数、改变智能体的探索过程等,然而这些方法忽略了智能体遭受的损害和成本,因此不能有效地保障决策的安全性.在受限马尔可夫决策过程的基础上,通过对动作空间添加安全约束,设计了安全Sarsa(λ)方法和安全Sarsa方法.在求解过程中,不仅要求智能体得到最大的状态-动作值,还要求其满足安全约束的限制,从而获得安全的最优策略.由于传统的强化学习求解方法不再适用于求解带约束的安全Sarsa(λ)模型和安全Sarsa模型,为在满足约束条件下得到全局最优状态-动作值函数,提出了安全强化学习的求解模型.求解模型基于线性化多维约束,采用拉格朗日乘数法,在保证状态-动作值函数和约束函数具有可微性的前提下,将安全强化学习模型转化为凸模型,避免了在求解过程中陷入局部最优解的问题,提高了算法的求解效率和精确度.同时,给出了算法的可行性证明.最后,实验验证了算法的有效性.

PDCA循环管理法在临床用药安全强化管理中的应用

探讨PDCA循环管理法在临床用药安全强化管理中的应用。为消除用药隐患,降低用药失误率,提高护理人员的风险意识,笔者所在科室将PDCA循环管理法结合应用在药物安全强化管理中,通过计划(P)、实施(D)、检查(C)、处理(A)4个阶段的管理,使药物安全质量管理在不断循环中得到提高。

广州番禺迎宾路隧道基坑安全强化分析

广州市番禺区迎宾路隧道长885m，隧道基坑最深11．0m，基坑支护方案采用拉森钢板桩或钻孔灌注桩加内支撑支护方案。由于场地位于繁忙迎宾路。施工空间狭小，出土方式发生变化，导致施工期间各种荷载异于设计考虑值，同时业主对基坑周边沉降提出小于5cm的要求。基于上述要求，本文对基坑设计方案采用不同荷载工况进行数值分析，并提出了安全强化措施，可供类似工程参考借鉴。

面向无人驾驶时空同步约束制导的安全强化学习

无人驾驶系统综合了软件和硬件复杂的交互过程,在系统设计阶段,形式化方法可以保证系统满足逻辑规约和安全需求;在系统运行阶段,深度强化学习被广泛应用于无人驾驶系统决策中.然而,在面对没有经验的场景和复杂决策任务时,基于黑盒的深度强化学习系统并不能保证系统的安全性和复杂任务奖励函数设置的可解释性.为此提出了一种形式化时空同步约束制导的安全强化学习方法.首先,提出了一种形式化时空同步约束规约语言,接近自然语言的安全需求规约使奖励函数的设置更具有解释性.其次,展示了时空同步自动机和状态动作空间迁移系统,保证强化学习的状态行为策略更加安全.然后,提出了结合形式化时空约束制导的安全强化学习方法.最后,通过无人驾驶汽车在高速场景变道超车的案例,验证所提方法的有效性.

基于安全强化学习的航天器交会制导方法

随着航天器交会对接任务越来越复杂,对其高效性、自主性和安全性的要求急剧增加。近年来,引入强化学习技术来解决航天器交会制导问题已经成为国际前沿热点。障碍物避撞对于确保航天器安全交会对接至关重要,而一般的强化学习算法没有对探索空间进行安全限制,这使得航天器交会制导策略设计面临挑战。为此,提出了基于安全强化学习的航天器交会制导方法。首先,设计避撞场景下航天器自主交会的马尔可夫模型,提出基于障碍预警与避撞约束的奖励机制,从而建立用于求解航天器交会制导策略的安全强化学习框架;其次,在该安全强化学习框架下,基于近端策略优化算法(PPO)和深度确定性策略梯度算法(DDPG)这两种深度强化学习算法生成了制导策略。实验结果表明,该方法能有效地进行障碍物避撞并以较高的精度完成交会。另外,通过分析两种算法的性能优劣和泛化能力,进一步证明了所提方法的有效性。

安全强化学习及其在机器人系统中的应用综述

强化学习是一类通过与环境交互实现序贯优化决策的机器学习方法,已经在游戏、推荐系统及自然语言处理等任务中得到了应用.然而,强化学习算法应用于真实世界中的机器人系统时,如何保证安全性仍然面临挑战.近年来,针对机器人系统的安全强化学习方法研究已经成为热点方向,获得了机器人和强化学习领域的广泛关注.本文结合现有的工作,综述了安全强化学习理论和方法的重要成果和发展趋势,并重点关注了现有方法在机器人领域的适用性.本文首先给出了安全强化学习的一般问题描述.其次,从方法和性能的角度重点介绍了该领域的最新重要进展,包括约束策略优化、控制障碍函数、安全过滤器和对抗性博弈训练等方法,以及安全强化学习方法在地面移动机器人系统、无人飞行器和其他机器人系统中的应用情况.最后,对该领域的未来研究方向进行了展望和探讨.

安全强化在临床护理药品管理中的作用

护理人员作为临床药物治疗的直接执行者和观察者,从执行医嘱到用药后观察的任何环节,如果出现工作缺陷,都将影响患者康复,甚至威胁患者生命。如何保证护理人员的用药安全,避免不良事件发生已成为护理学研究的重要问题,为此作者采用回顾性分析的方法对2006年~2009年本科护理用药隐患28例、护理用药不良事件3例进行分析,同时结合本院护理实践经验,对临床用药的不安全因素及如何强化护理人员的用药安全意识进行探讨。

安全强化学习综述

强化学习(Reinforcement learning,RL)在围棋、视频游戏、导航、推荐系统等领域均取得了巨大成功.然而,许多强化学习算法仍然无法直接移植到真实物理环境中.这是因为在模拟场景下智能体能以不断试错的方式与环境进行交互,从而学习最优策略.但考虑到安全因素,很多现实世界的应用则要求限制智能体的随机探索行为.因此,安全问题成为强化学习从模拟到现实的一个重要挑战.近年来,许多研究致力于开发安全强化学习(Safe reinforcement learning,SRL)算法,在确保系统性能的同时满足安全约束.本文对现有的安全强化学习算法进行全面综述,将其归为三类:修改学习过程、修改学习目标、离线强化学习,并介绍了5大基准测试平台:Safety Gym、safe-control-gym、SafeRL-Kit、D4RL、NeoRL.最后总结了安全强化学习在自动驾驶、机器人控制、工业过程控制、电力系统优化和医疗健康领域中的应用,并给出结论与展望.

分析品管圈活动用于门诊药房用药安全强化管理中的效果

目的:分析门诊药房用药安全管理中实施品管圈活动的临床效果。方法:本次研究时间为2018年1月至2020年2月,共有14名门诊药房工作人员参与本次研究,在2018年1月至2019年1月期间门诊药房实施常规用药管理,在2019年2月至2020年2月期间门诊药房采用品管圈活动,观察活动前后品管圈的实施效果、药品差错事件发生情况。结果:品管圈活动后门诊药房药品差错事件发生率与品管圈活动前比较显著更低(P<0.05);品管圈活动后门诊药房责任感、荣誉感、活动信心、解决问题过程、品管圈活动掌握程度、沟通协调、团队精神等评分与品管圈活动前比较均更高(P<0.05)。结论:将品管圈活动应用于门诊药房用药安全管理工作中,有利于提高门诊药房工作人员的综合素质,减少药品差错发生率,提高患者用药安全,值得进一步推广。

基于异常负荷回归学习算法的电力物联网安全强化验证建模分析

传统电力物联网安全强化验证方法误差较大,因此,提出基于异常负荷回归学习算法的电力物联网安全强化验证建模分析方法。优化异常负荷的回归学习算法,求解回归学习算法函数。确定参数后建立异常负荷信道检测模型,通过模型辨识和修正异常负荷,完成电力物联网安全强化验证建模分析。实验结果表明,所提方法的平均相对误差与负荷预测精度指标优于传统方法。

风电场网络系统安全强化研究

近年来,随着新能源的广泛使用(如风力发电、太阳能发电等),我国建立了这方面的信息化系统,加强该网络安全建设至关重要,该网络系统包括风电场等各部分数据,因此,对我国的电力系统稳定发电至关重要,本文重点概述了风电场网络系统安全强化。

基于安全强化学习的多智能体覆盖路径规划

覆盖路径规划的目的是为智能体找到一条安全的轨迹,其不仅可以有效覆盖任务区域,而且可以避开障碍物与邻近智能体。在执行覆盖任务时,复杂的大面积任务区域总是不可避免的。如何在保证智能体安全的前提下加强智能体之间的协同合作,以改善集群任务效率低、能力不足的缺点是值得探索的问题。为此,利用栅格地图建立离散的覆盖路径规划数学模型,提出一种基于值分解网络的安全多智能体强化学习算法,并通过理论证明论证其合理性。该算法通过分解群体价值函数以避免智能体的虚假奖励,有助于加强智能体之间协同覆盖策略的学习,以提高算法的收敛速度。通过在训练过程中引入屏蔽器以修正智能体的出界和碰撞等行为,保证智能体在整个任务过程中的安全。仿真和半实物实验结果表明,新算法不仅可以保证智能体的覆盖效率,同时还能有效维护智能体的安全。

血液透析室强化护理安全管理对护理质量的影响分析

对血液透析室实施强化护理安全管理,并对影响护理质量的因素进行分析。方法 本次实验于2022年1月12日纳入在我院收治120例终末期肾病(ESRD)患者作为研究对象,截止到2023年1月12日。对以上患者分组,一组是对照组(60例)强化护理安全管理实施前;二组是观察组(60例)强化护理安全管理实施后。常规护理管理为对照组护理模式,而强化护理安全管理为观察组护理模式。将两组护理满意度、不良反应发生率以及护理质量综合评分进行充分对比。结果 相比对照组,不良反应发生率最低为观察组;护理质量评分最高为观察组;护理满意度为观察组。结论 两种护理模式相比,强化护理安全管理护理模糊效果更好。

扬州市做好“五个坚持”强化安全保障

今年,扬州市应急管理系统紧扣以高水平安全护航扬州“好地方”高质量发展和人民群众高品质生活这一主题,用高水平安全与高质量发展良性互动的过硬成效,以“五个坚持”为扬州经济社会发展“走在前、做示范”提供有力支撑。

天然气长输管道SCADA系统设计及网络安全性评估与强化

本文针对天然气长输管道分输站SCADA系统的网络安全性进行评估与强化。首先介绍了SCADA系统的概念和重要性,以及网络安全的关键作用。随后,进行了网络安全性评估,包括脆弱性评估和访问控制策略的有效性分析。针对评估结果,提出了强化网络安全性的措施,如加强身份验证和访问控制机制、加密和数据完整性保护,以及实施监控和事件响应机制。此外,强调了安全培训和意识提升的重要性,以及合规性和监管要求的必要性。最后,总结了重点措施并提出了进一步改进网络安全性的建议。