基于柔性行动器-评判器的园区综合能源系统运行优化

面向综合能源系统运行优化问题,建立了包含燃气轮机、余热回收、有机朗肯循环、空气源热泵和综合需求响应模型的电-热-气园区综合能源系统模型,并在此基础上提出一种基于柔性行动器-评判器的运行优化方法。首先,搭建综合能源系统框架和设备模型,针对传统综合需求响应建模不精确问题,结合历史数据和门控循环单元建立了反映用户真实响应能力的神经网络模型并应用于能源定价场景。其次,以最小化系统购能成本和弃风弃光成本为目标,建立综合能源系统经济调度模型,并采用深度强化学习框架进行表述,设置了柔性行动器-评判器智能体与环境交互过程的动作空间、状态空间、奖励函数等,训练收敛后的模型可直接用于实时决策,无需再重新训练。仿真结果表明所提方法可以有效进行能量管理和能源定价优化,降低系统的综合运行成本。

基于柔性行动器–评判器的电–热综合能源系统协调优化

电–热综合能源系统的优化调度对于实现系统的能源互补、经济运行具有重要意义。本文提出一种基于柔性行动器–评判器(Soft Actor-Critic, SAC)算法的电–热综合能源系统经济调度方法,首先针对电–热综合能源系统优化调度问题进行建模,然后基于SAC框架将该问题转化为强化学习模型,搭建了强化学习环境。最后对基于SAC的电–热综合能源系统优化运行解结果进行分析,并进一步验证该方法的有效性。

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。

一种采用模型学习和经验回放加速的正则化自然行动器评判器算法

行动器评判器(Actor Critic,简称AC)算法是强化学习连续动作领域的一类重要算法,其采用独立的结构表示策略,但更新策略时需要大量样本导致样本效率不高.为了解决该问题,提出了基于模型学习和经验回放加速的正则化自然AC算法(Regularized Natural AC with Model Learning and Experience Replay,简称RNAC-ML-ER).RNAC-ML-ER将Agent与环境在线交互产生的样本用于学习系统动态性对应的线性模型和填充经验回放存储器.将线性模型产生的模拟样本和经验回放存储器中存储的样本作为在线样本的补充,实现值函数、优势函数和策略的更新.为了提高更新的效率,在每个时间步,仅当模型的预测误差未超过阈值时才利用该模型进行规划,同时根据TD-error从大到小的顺序对经验回放存储器中的样本进行回放.为了降低策略梯度估计的方差,引入优势函数参数向量对优势函数进行线性近似,在优势函数的目标函数中加入2-范数进行正则化,并通过优势函数参数向量来对策略梯度更新,以促进优势函数和策略的收敛.在指定的两个假设成立的条件下,通过理论分析证明了所提算法RNAC-ML-ER的收敛性.在4个强化学习的经典问题即平衡杆、小车上山、倒立摆和体操机器人中对RNACML-ER算法进行实验,结果表明所提算法能在大幅提高样本效率和学习速率的同时保持较高的稳定性.

磁流变液阻尼器-柔性转子系统的力学模型(I):单盘悬臂转子

从 Bingham模型出发 ,推导出用于转子振动控制的剪切式磁流变液阻尼器的阻尼力计算公式 ;利用 Langrange方程建立了磁流变液阻尼器 -单盘悬臂柔性转子系统的运动微分方程 ,为转子系统动力特性的理论分析奠定基础。

考虑静止同步串联补偿器的可用输电能力研究

基于静止同步串联补偿器(static synchronous series compensator,SSSC)建立了可用输电能力计算的最优潮流模型,并在模型中引入了SSSC的功率注入模型进行优化,采用原-对偶内点法对优化后的模型进行求解,根据特征结构分析法确定SSSC的最佳安装位置。利用IEEE30节点系统进行仿真分析,结果验证了该方法的有效性,说明在电力系统的薄弱线路上配置SSSC,可以有效地提高系统的可用输电能力。

基于多估计器平均值的深度确定性策略梯度算法

为了解决强化学习行动者-评论家框架下双延迟深度确定性策略梯度算法的低估计问题,提出了一种基于多估计器平均值的深度确定性策略梯度(DDPG-MME)算法。基于多估计器平均值的确定性策略梯度算法包含一个行动者和k(k>3)个评论家,该算法首先计算2个评论家输出值的最小值和剩余(k-2)个评论家输出值的平均值,再取两者的平均值作为最终值来计算TD误差,最后根据TD误差来更新评论家网络,行动者网络则根据第1个评论家输出的值进行更新。DDPG-MME算法的加权操作缓解了双延迟深度确定性策略梯度算法的低估计问题,并在一定程度上降低了估计方差,实现了更准确的Q值估计。在理论上对基于多估计器平均值的确定性策略梯度算法、深度确定性策略梯度算法和双延迟深度确定性策略梯度算法估值误差的期望和方差进行分析,证明了所提算法估值的准确性和稳定性。在Reacher-v2、HalfCheetah-v2、InvertedPendulum-v2和InvertedDoublePendulum-v24个MuJoCo连续控制环境下对算法的性能进行测试,结果表明:在与对比算法相同的超参数(网络结构、奖励函数、环境参数、批次大小、学习率、优化器和折扣系数)设置下,所提算法的最终性能和稳定性均显著优于对比算法。

基于多传感器信号融合的真空断路器机械特性状态评价

真空断路器机械特性状态评估中存在仅依靠单一传感器信号进行评价的问题。对此,提出了一种利用D-S证据理论对多传感器信号进行信息融合来判断真空断路器机械特性状态的方法。此方法首先对位移传感器测出的运行参数利用模糊综合评判方法计算得出基于位移信号的评价结果。然后,运用小波包-能量熵谱法对加速度传感器监测的振动信号进行信号处理,提取特征向量,结合相似性原则得出基于振动信号的评价结果。最后,运用D-S证据理论中的合成法则对以上两个传感器得出的初步评价结果进行融合,得出最终评价结果。经过实例验证,该方法得出的评估结果具有更高的可信度。

TEOS-GO掺杂的银基离子聚合物金属复合材料的制备及其致动性能

离子聚合物金属复合材料(IPMC)是一种新型的电驱动软材料,具有质量轻、驱动电压低的优点,但也存在输出力较小、驱动时间短的缺点,限制了其应用前景。提出了一种在基膜内掺杂硅酸乙酯-氧化石墨烯(TEOS-GO)以提高保水性和驱动能力的银基IPMC,通过对纯Nafion IPMC与TEOS-GO/Nafion IPMC致动器的含水量、尖端位移、输出力和稳定性等参数的测试,证实优化后IPMC的驱动性能有明显的提升。实验结果表明,掺杂质量分数1.5%TEOS-GO的IPMC在3 V直流电压下,尖端位移达到16.579 mm,相当于纯Nafion IPMC的3.37倍;输出力最高达到0.439 gf(1 gf=9.8 mN),是纯Nafion IPMC的5倍。这种改进方式弥补了IPMC用于致动器的缺点,为今后的发展开拓了前景。

灌河特大桥连续钢桁-柔性拱主桥建造技术

连盐铁路灌河特大桥主跨(120+228+120) m连续钢桁-柔性拱,为全线跨径最大桥梁。灌河特大桥的主桥糅合拱桥与下承式桁梁桥的双重桥梁造型,整体线型平顺、外形优美、配比和谐、受力合理。本文综合考虑桥位地质、通航、地震及台风等复杂条件,全面探讨了钢桁梁-柔性拱桥设计及施工中的主要工艺,并对主桥下部基础与围堰施工、钢桁梁同步拼装、主桥不对称悬拼与合龙、抗台风措施、新型TLMD双调谐阻尼器和主墩消能阻尼防撞系统等制造及施工新技术和新工艺作了说明。研究成果可为同类工程的设计和施工提供经验和借鉴。

加载柔性臂振动的非线性应力反馈控制

用数值仿真的方法讨论了一种用新型的非线性应力反馈律来镇定加载柔性臂振动的问题。该方法使用跟踪微分器取得柔性臂根部应力信号的微分信号,并与根部应力信号一起组成非线性控制输入来控制加载柔性臂的振动.其镇定效果明显地优于有关问题的现有实验结果。

基于MATSAC-LSTM的综合能源系统自动发电控制算法研究

为提高综合能源系统自动发电控制(Automatic Generation Control,AGC)的控制性能和算法收敛速度,本文提出了一种基于多智能体迁移柔性行动器-批判器与长短时记忆网络(Multi-Agent Transfer Soft Actor-Critic with Long-Short Term Memory,MATSAC-LSTM)的AGC控制法。首先,用LSTM网络将采集的区域控制误差等环境状态量进行时序特征提取,并作为MATSAC算法的输入,使智能体能结合历史信息进行快速的有功功率分配决策;其次,采用集中训练分散执行框架,将一个智能体观察的环境状态量以及其他智能体的动作信息作为相应智能体Critic网络的输入,以便训练时能够让多智能体之间共享信息;最后,通过迁移学习将旧任务训练的Critic和Actor网络模型参数转移到新任务相应模型参数中,以提高智能体的训练效率。算例分析在一个修改的IEEE标准两区域负荷频率控制系统模型和一个五区域综合能源系统模型展开,仿真结果表明,与比例积分微分、Q学习、双延迟深度确定性策略梯度、基于动态策略的赢或快速学习爬坡策略、柔性行动器-批判器等传统算法相比,本文所提MATSAC-LSTM算法提高了AGC控制性能标准和算法收敛速度,降低了系统的区域控制误差和频率偏差。

基于SAC算法的多交叉口交通信号控制研究

针对深度Q网络(deep Q-learning network,DQN)算法在解决多交叉口交通信号配时方案由于外部环境变化和内部参数波动导致效果不佳的问题,提出了基于柔性“行动器-评判器”(soft actor-critic,SAC)的交叉口交通信号控制方法,并设计了相应的系统采样策略和回报函数.与原采样策略相比,新采样策略将相邻智能体的策略信息加入到系统状态中,使当前智能体能够得到更多的交叉口交通分布和合作策略信息.与原回报函数相比,新回报函数中引入空间折扣因子,缩小了相邻智能体的观察和回报值,使当前智能体更加关注和改善当前交通状况.随后在此基础上分别应用DQN和SAC算法设计交通信号控制方法.Webster配时法是利用相位流量数据开发的一种基于周期的固定相位长度交通信号方法,与DQN和SAC算法相比,其优化目标是降低交叉口延迟时间,不考虑交叉口排队长度.在城市交通模拟软件(simulation of urban mobility,SUMO)中构建一个时变交通流交通网络,并在其中分别对基于DQN、SAC和Webster配时法的信号配时控制方法进行仿真测试.仿真结果表明:基于SAC算法的交通信号控制方法与基于DQN算法和Webster配时法的交通信号控制方法相比,能够显著减少交叉口排队长度和平均延迟时间,具体来说,车辆平均排队长度分别减少了17.8%和28.2%,平均延迟分别减少了26.8%和36.3%,说明所提出的方法具有更好的控制效果.

计及高渗透率光伏消纳与深度强化学习的综合能源系统预测调控

深度强化学习(DRL)是支撑园区综合能源系统(PIES)自适应调控其多能转换与存储设备,以消纳光伏发电及满足用户多能需求的重要技术。然而,DRL智能体通常利用其与PIES的实时环境-动作交互来调控其设备运行状态,难以在高渗透率光伏场景下考虑尖峰光伏发电并预留充足的储能资源。基于模型预测控制理论,该文提出了一种基于DRL与光伏发电区间预测的PIES优化调控方法。该方法面向电-气-热园区综合能源系统,利用时序卷积网络与核密度估计得到光伏发电区间预测结果,并采用柔性Actor-Critic(SAC)算法构建PIES预测优化调控模型。该模型将光伏发电预测区间构建为SAC智能体状态空间,通过迭代试错训练获得PIES多能存储与转换的动态调节策略,从而优化光伏消纳率和运行成本。仿真实验表明,所提方法通过动态调节电、气、热三种能源转换设备的运行功率和预留三种储能设备的储能量,可有效提升PIES在高渗透率光伏场景下的消纳率,优化其运行经济效益。

基于深度强化学习架构的多能互补微网日前经济调度研究

可再生能源出力和负荷的不确定性给多能互补微网的优化调度带来挑战,传统方法如随机优化和模型预测控制等需要精确的模型参数。针对含源荷不确定性的多能互补微网日前优化调度问题,提出了基于柔性行动器-评判器框架的深度强化学习方法,实现了自适应源荷不确定特征的微网经济调度。首先,考虑设备非线性效率,建立了多能互补微网的优化调度数学模型;其次,基于柔性行动器-评判器构建了智能体和环境交互的深度强化学习框架,并设计了状态空间、动作空间、奖励函数和神经网络结构;最后,通过算例仿真验证了算法的有效性。