Deep Reinforcement Learning Enabled Bi-level Robust Parameter Optimization of Hydropower-dominated Systems for Damping Ultra-low Frequency Oscillation

This paper proposes a robust and computationally efficient control method for damping ultra-low frequency oscillations(ULFOs) in hydropower-dominated systems. Unlike the existing robust optimization based control formulation that can only deal with a limited number of operating conditions, the proposed method reformulates the control problem into a bi-level robust parameter optimization model. This allows us to consider a wide range of system operating conditions. To speed up the bi-level optimization process, the deep deterministic policy gradient(DDPG) based deep reinforcement learning algorithm is developed to train an intelligent agent. This agent can provide very fast lower-level decision variables for the upper-level model, significantly enhancing its computational efficiency. Simulation results demonstrate that the proposed method can achieve much better damping control performance than other alternatives with slightly degraded dynamic response performance of the governor under various types of operating conditions.

迭代学习控制用于StatCom阻尼区域间振荡的研究

ＳｔａｔＣｏｍ（先进静止无功发生器）一般安装在长距离输电线路上，用于提高电力系统的稳定性，阻尼振荡，提高电压控制的精度及系统的传输能力。由于电力系统是非线性的，模型和干扰都是不确定的，寻找少依赖于数学模型因而具有较强适应性的控制策略一直是电力系统稳定控制研究的重要课题。然而在特定的条件下，ＳｔａｔＣｏｍ有可能因为控制不当出现负阻尼现象，诱发系统振荡。文章将迭代学习控制（ＩｔｅｒａｔｉｖｅＬｅａｒｎｉｎｇＣｏｎｔｒｏｌ，ＩＬＣ）方法首次应用于Ｓｔａｔ－Ｃｏｍ的阻尼振荡控制，对系统的各种运行状态具有很好的适应性，并可自动消除负阻尼的出现。文章通过理论分析，还证明了这种方法用于ＳｔａｔＣｏｍ控制的收敛性。仿真结果表明，迭代学习控制法与常规ＰＩＤ控制相比，在很多情况下具有较好的适应性。

基于强化学习算法的自适应直流附加阻尼控制器

提出了基于强化学习算法的直流附加阻尼控制器。控制器主体采用模糊神经网络,利用由系统性能指标生成的强化信号在线训练控制器参数。与传统的模糊控制器相比,由于该控制器采用自适应启发式评价算法,将系统输出性能指标转化为强化信号反馈给控制器,使其能够在线修改控制器参数,因此有效地克服了传统阻尼控制器的设计对系统精确数学模型的依赖。仿真结果表明,与传统的阻尼控制器相比,基于强化学习算法的直流附加阻尼控制器能够有效地抑制区域间的功率振荡,提高交直流系统的动态稳定性,并且对多种运行方式具有一定的鲁棒性。

函数联接神经网络的实验研究

函数联接神经网络具有结构简单 ,易于实现 ,扩展性和通用性强等许多优点 .利用面向对象方法实现了函数联接神经网络的几种模型 ,探讨了该网络的变结构调整问题 ,并通过实际的例子对网络的不同模型进行了实验研究 。

无人机无动力滑行横向自适应非线性制导律设计

当无人机失去推力后,可将其视为滑翔机.在这种情况下,长周期模态起主导作用,这使得无人机调整飞行速度达到稳定状态的时间变长,从而导致横纵向制导之间相互存在较为明显的影响.更重要的是无动力情况下,无人机对风扰动变得更加敏感.针对这一特殊状态,如何使无人机跟踪某条给定的下降螺旋线,本文提出了一种横向自适应非线性制导方法.该方法首先利用几何关系推导出横向制导律;其次将其转化为一个二阶粘性阻尼振荡系统,而该系统的特性与其自然频率有关;然后为改善制导系统的收敛时间以及抗干扰能力,设计了一种制导律的自适应方案;最后将所提出的方法用于无人机失去推力后螺线下降的横向路径跟踪过程.仿真结果表明,与非自适应制导方法相比,无论有或无常值风扰动,所提出的方法均可提高系统的跟踪精度.

无动力无人机跟踪下滑直线自适应非线性制导律设计

以无人机失去推力后,如何使其跟踪一条给定下滑直线为研究背景,提出了一种跟踪下滑直线的自适应非线性制导方法。首先根据几何关系推导得到跟踪下滑直线的横纵向制导律,并证明了所得制导律的稳定性;然后考虑到无动力状态下横纵向制导之间的影响较为明显,为了提高系统的跟踪精度以及抗风扰动能力,将所得制导律转化为一个二阶黏滞阻尼振荡系统,从改善该振荡系统收敛速率的角度出发,设计了制导律的自适应方案。仿真结果表明,在无风和有风扰动的条件下,所提出的方法均可提高系统的跟踪精度。