基于随机博弈与A3C深度强化学习的网络防御策略优选

网络资源的有限性和攻防对抗的动态性导致最优防御策略难以选取,将深度强化学习引入攻防随机博弈建模领域,通过构建网络攻防actor策略网络和critic价值网络,结合随机博弈模型构建了网络攻防博弈决策模型总体结构,在此基础上引入异步优势演员评论家算法(asynchronous advantage actor-critic,A3C)智能体学习框架设计了防御策略选取算法;针对现有方法未考虑攻击方群体间的共谋攻击,引入群智能体性格特征,建立合作系数μ来刻画攻击者之间的合作对攻防策略收益的影响,进而得出对防御策略选取的影响,构建的博弈决策模型更符合攻防实际情况。实验结果表明,该方法的策略求解速度要优于现有方法,同时由于考虑了攻击合作关系,能够用于分析攻击者群体间合作关系对防御者决策的影响,防御策略选取更有针对性,期望防御收益更高。

基于A3C的认知物联网通信干扰消除算法

针对频谱资源干扰管理的智能化需求,提出一种基于异步优势行动者-评论家(A3C)的干扰消除算法,旨在应对认知物联网(CIoT)通信系统中由频谱资源共享引起的干扰问题。通过智能体的学习和优化,帮助次级用户(SU)在受到干扰影响时做出最优的决策,从而改善通信质量和系统性能。在该算法中,当SU遭受干扰影响通信质量时,智能体通过学习和优化,使SU能够根据当前的位置信息、发射功率、接收功率以及干扰程度选择最低干扰程度的行动,并执行该行动后获得的奖励。智能体通过尝试不同减少干扰的行动,并根据奖励的反馈调整策略,达到最大化定义干扰程度指标和信号质量指标的奖励函数的目的,从而最大程度地减少干扰对通信质量的影响。实验结果表明,与传统k-means算法以及深度递归Q网络(DRQN)和深度Q网络(DQN)优化算法相比,基于A3C的干扰消除算法具有更短的收敛时间、更高的执行效率以及更高的系统吞吐量,较3种基准方法在吞吐量性能上至少提高7%,能够有效地减少干扰对通信质量的不利影响。

基于A3C的有序充电算法

由于电动汽车的日益普及,其充电问题已成为电力系统的新的用电挑战。实际生活中,充电站一般都被认为是电动汽车有序充电行为的调度主体。为解决传统模型驱动的充电算法无法应用于电动汽车随机进站的问题,提出将数据驱动的无模型深度强化学习算法A3C(Asynchronous Advantage Actor-critic,异步演员评论家算法)应用于有序充电。该算法利用特征函数来近似模型所需要的价值函数和策略函数,解决因随机进站而引起的空间维度变化的问题。通过需求响应机制关联充电费用和需求,实现两者的动态调度。为避免因为经验回放而导致的数据相关性过强,利用多线程实现模型与多个环境进行互动,提高了模型的收敛性。最后以某地区充电站实测数据为例进行仿真分析。结果表明,该算法在只基于历史充电数据的情况下能优化充电行为,较大程度地抑制充电负荷方差,实现削峰填谷,同时在满足用户需求的基础上提高充电站收益。

基于注意力机制的A3C量化交易策略

针对传统交易策略无法有效长期消除市场噪声和非线性影响的问题,提出一种基于注意力机制的异步优势动作评价(squeeze-and-excitation asynchronous advantage actor-critic,SE-A3C)量化交易策略。以历史技术指标因子为环境状态,利用卷积网络和注意力机制模块提取数据特征,判断交易动作,并采用异步训练的方式将多智能体与环境进行交互,有效提升策略的自适应能力。采用该策略对沪深300和上证50股指期货进行交易,结果表明:在测试阶段,沪深300的收益率为12.23%,胜率为58.82%,最大回撤率为2.47%;上证50的收益率为18.82%,胜率为57.56%,最大回撤率为1.05%。

基于A3C的特征重构工艺路线规划方法

针对柔性加工系统中零件发生特征重构的工艺路线规划问题,结合异步优势演员-评论家(A3C)算法的并行、异步、响应速度快以及决策经验可复用性、可扩展性的特点,提出了基于A3C算法的特征重构工艺路线规划方法。在零件发生特征重构的背景下,基于马尔可夫决策过程定义了状态、动作空间和奖励函数。针对A3C智能体在选取机床、刀具和进刀方向时可能会陷入局部最优,提出了随机贪婪策略,以扩大解的空间、提高解的质量,且为了避免A3C智能体在零件发生特征重构时陷入大量的试错中,提出了快失败策略,以加快智能体规避特征约束的能力,提高响应速度。仿真实验证明,所提方法能有效解决零件发生特征重构的工艺路线规划问题,且相比基于遗传、蚁群和模拟退火算法的工艺路线规划方法,所提方法在零件发生特征重构时响应速度更快,解的质量更高。

智能仓储交通信号与多AGV路径规划协同控制方法

针对智能仓储多AGV(automated guided vehicle)路径规划实时性差,障碍物识别能力弱,多AGV碰撞、死锁和拥堵等问题,提出了一种智能仓储交通信号控制与多AGV路径规划协同控制方法,将交通信号与多AGV路径规划视为一个整体,设计一种交通信号与多AGV路径规划协同控制框架,并提出LS-A3C(long short-asynchronous advantage actor-critic)算法和Bi-LSTM-CBAM(bi-long short-term memory-convolutional block attention module)算法作为框架的核心算法。LS-A3C算法使用长短时编码器和注意力机制分别对交通信号的长期信息和短期信息进行编码,以学习元特征表示,并使用A3C框架计算元Q值和控制策略,实现交通信号时间自适应AGV流量,解决多AGV碰撞、死锁和拥堵等问题。Bi-LSTM-CBAM算法通过计算本时刻和前置时刻状态特征,对输出结果进行拼接处理,可以有效解决神经网络梯度消失和爆炸的问题,提高AGV路径规划实时性;引入注意力机制模块CBAM,根据输入信息重要程度分配权重,加强AGV对障碍物识别能力。在Sumo和Gazebo联合仿真平台进行仿真实验,实验结果表明,该协同控制方法使AGV碰撞、死锁及拥堵情况明显降低,障碍物识别能力显著提高,路径规划实时性大幅增强,达到提升AGV作业效率的目的。

基于深度强化学习的立体投送策略优化方法研究

基于深度强化学习算法在策略优化问题中的良好表现,以立体投送作战行动为主要研究对象,提出了一种深度强化学习框架与仿真推演实验协同的作战行动策略优化方法。在分析策略优化研究现状的基础上,根据研究问题对深度学习框架进行了分析比较,构建了基于A3C算法的深度强化学习立体投送策略模型,并通过仿真推演和分布式计算,实现深度强化学习模型与“人不在回路”仿真推演的交互学习,获得优化后的立体投送策略,验证了深度强化学习框架与仿真推演实验协同优化策略的有效性。

变分模态分解新能源电力系统低频振荡控制方法

为了提高对高比例新能源电力系统低频振荡能量的计算精度,进而提升低频振荡控制效果,变分模态分解的基础上,研究高比例新能源电力系统低频振荡控制方法。将变分模态分解算法应用于提取电力系统低频振荡信号;使用A3C算法,训练低频振荡能量;通过返回机制和梯度计算获取低频振荡的能量参数,利用这些参数建立二维模糊控制的模糊规则,然后对输出量进行去模糊化处理,从而实现对低频振荡的有效控制。实验结果表明,使用所设计方法对高比例新能源电力系统低频振荡进行控制后,其低频振荡位于0.5 Hz左右,控制效果较好。

基于异步优势演员-评论家的交通信号控制方法

针对现有基于深度强化学习的交通信号控制方法的模型学习和决策成本高的问题,提出基于异步优势演员-评论家(A3C)算法的单交叉口交通信号控制方法.在模型输入端分别从交叉口和车道2个不同维度构建车辆权重增益网络,对采集的车辆状态信息进行预处理.设计新的奖励机制,提出融合车辆权重增益网络的A3C算法.基于微观交通仿真软件SUMO的仿真测试结果表明,相比于传统的交通信号控制方法和基准强化学习方法,所提方法在低、中、高3种不同的交通流量状态下,均能够取得更好的交通信号控制效益.

考虑智能体前置状态及环境特征自适应机制的强化学习电网调度方法

高比例可再生能源的接入使得电网潮流难以预测与控制,给电网的安全稳定运行带来了新的挑战。相较于传统的调度控制模式,以强化学习为代表的智能调度方式能够应对部分可观测电网环境下的顺序决策问题,但在电网中可再生能源比例发生变化时易出现适应性较差的状况。针对该问题,以Actor-Critic为基础框架,采用前置状态表征智能体状态,并引入环境特征自适应机制,用于可再生能源比例变化场景的电网调度任务。由于调度动作后的电网状态受源荷波动等外源性随机事件影响,易引起状态空间爆炸问题,在潮流计算之前采用前置状态表征智能体状态,可有效缩减状态空间。引入环境特征的自适应机制可有效避免“决策遗忘”的问题,从而提高智能体对电网中可再生能源比例变化的适应性。仿真实验结果表明,在可再生能源比例动态变化的118节点电网调度任务中,该方法在收敛速度和控制稳定性等方面均表现优异。

强化学习A3C算法在电梯调度中的建模及应用

为让电梯调度算法在电梯电力能耗、用户乘梯体验和算法适应性方面具备更好表现,在目前主流的电梯调度算法基础之上,提出对调度环境、电梯行为和调度目标3个方面进行统一建模的基于强化学习A3C的电梯智能调度算法。让调度电梯在不断地和环境交互学习过程中逐渐学习得到最优电梯调度策略,与基于具体环境建模的相关电梯调度算法进行对比实验,基于A3C的调度算法具有建模简单规范、适应性强和控制目标多样的优势,对比A3C算法与部分强化学习算法在电梯调度中的优劣,实验结果表明,A3C算法具备较好的调度性能。

基于CLISEP28-A3c建立济南地区AFP、CEA参考区间的探讨

目的：通过统计分析初步建立济南地区健康人群肿瘤标志物AFP和CEA的参考区间，为临床诊疗肿瘤标志物提供依据。方法：使用Roche cobas8000检测系统检测来自山东中医药大学附属医院和齐鲁医院查体中心共3928例健康体检者的AFP和CEA，依据CLSI EP28-A3c，统计分析并建立参考区间。结果：AFP无需根据性别和年龄分组，参考区间是0-6.84ng/ml；CEA无需根据性别分组但需根据年龄进行分组，中青年组和老年组参考范围分别是0-4.40ng/ml和0-5.30ng/ml。结论：初步建立了济南地区AFP和CEA的参考区间，非常有必要统一各检测系统的参考区间。

深度强化学习驱动下的智能电网通信网业务路由分配方法研究

在现代化背景下,为确保电力系统的稳定运行,相关人员需要结合实际情况逐步推进智能电网的构建。智能电网以各项数据的获取、处理、保护为核心,建立了集成通信系统。文章针对深度强化学习驱动下的智能电网通信网业务路由分配方法展开分析,以提高通信资源利用率,提升业务路由方法的稳定性和可靠性。

基于A3C的无线异构网络自适应视频流传输控制方法

比特率自适应(ABR)算法已经成为视频传输中研究的热点之一。然而,由于5G无线异构网络具有信道带宽波动大、不同网络间差异明显等特点,多终端协同的自适应视频流传输面临着巨大挑战。提出了一种基于深度强化学习的自适应视频流传输控制方法。首先,建立了视频流动态规划模型,对传输码率以及分流策略进行联合优化。由于该优化问题的求解依赖于精确的信道估计,这在信道状态动态变化的网络中很难实现。因此,将动态规划问题改进为强化学习任务,并采用A3C算法,动态决策视频码率和分流策略。最后,根据实测的网络数据进行仿真,与传统的优化方法相比,本文所提的方法较好地提高了用户QoE。

考虑多元用户行为特征的需求侧管理决策方法

需求侧管理可有效实现电力负荷的削峰填谷,提高电力系统的稳定性和运行效率。随着电力物联网的发展,不同用户在参与需求响应过程中的行为差异得以凸显,出于对用户隐私的保护,用户用电信息在采集后往往只能就地利用而不能进一步上传,给多元化负荷行为特征分析带来困难。提出了云边环境下基于A3C(asynchronous advantage actorcritic)强化学习算法和长期短期记忆(long short term memory,LSTM)网络的需求侧管理方法,通过强化学习解决需求侧管理决策中前瞻性不足的问题;通过基于LSTM网络的虚拟环境模拟多元用户行为特征,加速学习过程,降低算法实施成本。通过算例分析可知,所述决策方法在保证用户隐私的同时可有效加快学习进程,价格决策时可更准确地把握用户响应行为特征,从而保证决策的经济性。

移动边缘计算辅助智能驾驶中基于高效联邦学习的碰撞预警算法

智能驾驶中的碰撞避免任务存在对时延要求极高和隐私保护等挑战。首先,该文提出一种基于自适应调整参数的半异步联邦学习(SFLAAP)的门控循环单元联合支持向量机(GRU_SVM)碰撞多级预警算法,SFLAAP可根据训练和资源情况动态调整两个训练参数:本地训练次数和参与聚合的局部模型数量。然后,为解决资源受限的移动边缘计算(MEC)下碰撞预警模型协作训练的效率问题,根据上述参数与SFLAAP训练时延的关系,建立训练总时延最小化模型,并将其转化为马尔可夫决策过程(MDP)。最后,在所建立的MDP中采用异步优势演员-评论家(A3C)学习求解,自适应地确定最优训练参数,从而减少碰撞预警模型的训练完成时间。仿真结果表明,所提算法有效地降低训练总时延并保证预测精度。

强化学习A3C算法应用于电梯调度中的价值分析

电梯使用量的增加,让电梯的用户体验、电力能耗及算法适应性的要求更高。在电梯常规调度算法上,提出了基于调度环境、调度目标、电梯行为的强化学习A3C智能调度算法。让电梯在不断地与环境交互学习中获得最优电梯调度策略,使其更具适应性和实现目标多样性。本文就对电梯调度、强化学习进行了概述,分析了强化学习A3C算法在电梯调度中的建模价值,以进一步优化算法。

融合仿真模型与深度强化学习的离心压缩机控制优化方法

作为一种复杂的工业系统,离心压缩机具有强耦合、强非线性、大滞后的特点。由于控制参数较多,且参数之间相互影响、关系复杂,加之其控制优化需要综合考虑输出性能、整机效率、可靠性等因素,离心压缩机调控的难度非常大。本文提出了一种融合仿真模型与深度强化学习的离心压缩机控制优化方法,对避免流体机械工作点漂移、提高系统可靠性、降低能耗具有一定的意义。首先,分析离心压缩机典型结构,建立离心压缩机Greitzer仿真模型。然后,根据流体机械性能优化需求,设计优化评价指标,提出基于异步优势演员-评论家(A3C)深度强化学习的智能控制优化方法。最后,通过气动试验台实验验证了方法在压缩机系统中的应用效果。

基于FTU的主动配电网AoI研究

FTU是安装在配电室或馈线上的智能终端设备,可以实现对线路的分段监测和控制。为了在基于FTU业务中获得准确状态,必须保持数据信息的新鲜度,同时考虑极端事件对配电网的影响。该文研究了系统的峰值信息年龄(age of information,AoI),分析了短包传输的块错误概率;利用随机网络演算(stochastic network calculus,SNC)推导峰值AoI及其违背概率;采用A3C(asynchronous advantage actorcritic)方法,最小化峰值AoI违背概率,并对所提算法进行对比验证。发现基于A3C的服务卸载方案可以提高信息新鲜度,在大约1200次事件后节约总时间逐渐平稳,相比于无卸载方案节约总时间最多增加了2.08 ms;相比于块固定方案节约总时间增加了1.03 ms,说明自适应块长度可以有效地降低信息年龄。发现峰值AoI违背概率是FTU的增函数,在100个FTU时,基于A3C的卸载方案的峰值AoI违背概率约为0.12,相比于现有方案的0.27,降低了55.6%。

面向航班延误场景的机位预分配模型及算法研究

针对航班延误场景下易出现机位变更的问题,文章以最小化机位冲突概率和最大化乘客靠桥率为目标,增加基于机位冲突概率的鲁棒性约束,结合机场实际业务规则构建具有良好抗延误特性的机位预分配模型,并将其建模为马尔可夫决策模型,提出基于异步优势动作评价的机位预分配算法(gate assignment algorithm based on asynchronous advantage actor-critic,GABA3C)求解该问题。为验证所提算法在各种变化场景下的适用性,文章设置3组场景实例。仿真结果表明,所提出的算法在有效提升旅客满意度的同时,还可以解决因航班延误造成的机位冲突问题。相比于自适应并行遗传算法(adaptive parallel genetic algorithm,APGA)、近端策略优化(proximal policy optimization,PPO)算法以及深度Q网络(deep Q-network,DQN)算法,该文所提算法求得的解在乘客靠桥率上的目标值分别提高了5.7%、4.6%、5.8%,在机位冲突概率上的目标值分别降低了23.5%、10.0%、17.4%。