基于随机博弈与A3C深度强化学习的网络防御策略优选

网络资源的有限性和攻防对抗的动态性导致最优防御策略难以选取,将深度强化学习引入攻防随机博弈建模领域,通过构建网络攻防actor策略网络和critic价值网络,结合随机博弈模型构建了网络攻防博弈决策模型总体结构,在此基础上引入异步优势演员评论家算法(asynchronous advantage actor-critic,A3C)智能体学习框架设计了防御策略选取算法;针对现有方法未考虑攻击方群体间的共谋攻击,引入群智能体性格特征,建立合作系数μ来刻画攻击者之间的合作对攻防策略收益的影响,进而得出对防御策略选取的影响,构建的博弈决策模型更符合攻防实际情况。实验结果表明,该方法的策略求解速度要优于现有方法,同时由于考虑了攻击合作关系,能够用于分析攻击者群体间合作关系对防御者决策的影响,防御策略选取更有针对性,期望防御收益更高。

一种改进型C3相干算法

基于特征值结构的相干体算法(C3算法)的核心思想就是用与水平时间切片的相关的相干值压制水平方向上介质连续性,凸显不连续性,因此具有最佳的横向(即水平)分辨率,而对倾角数据效果较差。为了改善倾向分辨率,本文提出一种用测线抽取数据进行计算的方式取代基本算法中面元抽取数据计算的方式。试算结果表明该算法真实有效,精度有较大的提高。

C_3相干体技术在陷落柱识别中的应用

介绍了C3相干体算法的基本原理和具体实现方法。通过对实际资料的分析解释可以看出,相干体切片能清晰地展示陷落柱、断层的空间属性信息,是一种有效的断层、陷落柱解释方法,可以提高解释精度,缩短勘探周期。与传统解释方法相比,相干技术在陷落柱检测中有着更大的优势。

强化学习A3C算法应用于电梯调度中的价值分析

电梯使用量的增加,让电梯的用户体验、电力能耗及算法适应性的要求更高。在电梯常规调度算法上,提出了基于调度环境、调度目标、电梯行为的强化学习A3C智能调度算法。让电梯在不断地与环境交互学习中获得最优电梯调度策略,使其更具适应性和实现目标多样性。本文就对电梯调度、强化学习进行了概述,分析了强化学习A3C算法在电梯调度中的建模价值,以进一步优化算法。

基于A3C算法的机器人手臂控制

针对DQN、DDPG算法存在占用资源和效率低下,并且需要一个离线学习算法去更新由旧策略产生的数据的问题。本文采用一个简单、轻量级的深度强化学习算法--异步的优势行动者评论家算法(AsynchronousAdvantageActor-Critic,A3C)。A3C算法将Actor-Critic放在多个线程中进行同步训练神经网络控制器,有多个智能体与环境交互,并将各自信息整合到全局网络。因此,经验之间的相关性很小,甚至无相关性。在单个多核CPU运行,减少了训练时间。此外,A3C算法成功的解决了机器人手臂连续控制问题,使机械手臂更加准确的抓取物体。

基于深度强化学习的立体投送策略优化方法研究

基于深度强化学习算法在策略优化问题中的良好表现,以立体投送作战行动为主要研究对象,提出了一种深度强化学习框架与仿真推演实验协同的作战行动策略优化方法。在分析策略优化研究现状的基础上,根据研究问题对深度学习框架进行了分析比较,构建了基于A3C算法的深度强化学习立体投送策略模型,并通过仿真推演和分布式计算,实现深度强化学习模型与“人不在回路”仿真推演的交互学习,获得优化后的立体投送策略,验证了深度强化学习框架与仿真推演实验协同优化策略的有效性。

变分模态分解新能源电力系统低频振荡控制方法

为了提高对高比例新能源电力系统低频振荡能量的计算精度,进而提升低频振荡控制效果,变分模态分解的基础上,研究高比例新能源电力系统低频振荡控制方法。将变分模态分解算法应用于提取电力系统低频振荡信号;使用A3C算法,训练低频振荡能量;通过返回机制和梯度计算获取低频振荡的能量参数,利用这些参数建立二维模糊控制的模糊规则,然后对输出量进行去模糊化处理,从而实现对低频振荡的有效控制。实验结果表明,使用所设计方法对高比例新能源电力系统低频振荡进行控制后,其低频振荡位于0.5 Hz左右,控制效果较好。

利用Aitken加速法改进地震相干算法及其应用

利用Aitken加速的乘幂法求矩阵特征值,可以提高运算效率,将其引入到C3相干算法中,并对实际地震资料进行了处理。结果表明,Aitken加速法有效的减少了迭代次数,缩短了计算时间,并且利用地震相干体技术可在相干切片上直观的反映构造和断层的分布情况,效果较好。

基于CDCC理论对氘核破裂效应进行初步研究(英文)

为研究氘核的破裂效应对弹性散射角分布和反应截面的影响,基于连续离散化耦合道(CDCC)理论编制了程序CDCCOM。从中心点波函数的初始值出发,利用P3C5算法求解耦合道方程组,进而通过边界点上内、外区的波函数相匹配求得S矩阵元。P3C5算法提高了计算精度,同时验证了程序CDCCOM的有效性。通过与其他工作的计算结果及实验数据进行比较,认为在氘核入射能量低于200 MeV的情况下,对于大多数靶核,通过CDCCOM都能够得出合理的结果,表明该程序可用于进一步研究氘核诱发的非弹性核反应。

决策树算法的研究综述

数据挖掘中一项重要的方法是数据的分类,而决策树是分类算法中一个主要的算法分支,决策树算法是我们在数据挖掘中常常会用到的一种方法。本文重点介绍构造决策树过程中应用最广泛的ID3算法、C4.5算法和GART算法。

融合仿真模型与深度强化学习的离心压缩机控制优化方法

作为一种复杂的工业系统,离心压缩机具有强耦合、强非线性、大滞后的特点。由于控制参数较多,且参数之间相互影响、关系复杂,加之其控制优化需要综合考虑输出性能、整机效率、可靠性等因素,离心压缩机调控的难度非常大。本文提出了一种融合仿真模型与深度强化学习的离心压缩机控制优化方法,对避免流体机械工作点漂移、提高系统可靠性、降低能耗具有一定的意义。首先,分析离心压缩机典型结构,建立离心压缩机Greitzer仿真模型。然后,根据流体机械性能优化需求,设计优化评价指标,提出基于异步优势演员-评论家(A3C)深度强化学习的智能控制优化方法。最后,通过气动试验台实验验证了方法在压缩机系统中的应用效果。

基于轨迹感知的稀疏奖励探索方法

现有的深度强化学习算法在处理稀疏奖励问题时常常会导致探索困难的问题,其往往只依赖于预先设计好的环境奖励,从而难以取得较好的效果。在这种场景中,需要更加细致地设计奖励,对智能体的探索状态做出更精准的判断并反馈。异步优势表演者评论家算法(Asynchronous Advantage Actor-Critic,A3C)通过并行训练来提升训练效率,提升了原有算法的训练速度,但是对于奖励稀疏的环境,其不能很好地解决探索困难的问题。针对A3C算法在稀疏奖励环境中探索效果不佳的问题,提出了一种基于探索轨迹自动感知的A3C算法(Exploration Trajectory Perception A3C,ETP-A3C)。该算法在训练中探索困难时能够感知智能体的探索轨迹,进一步判断并决策智能体的探索方向,帮助智能体尽快走出探索困境。为了验证ETP-A3C算法的有效性,将其与基线算法在超级马里奥兄弟中的5个不同环境中进行了对比实验,结果表明,所提算法在学习速度和模型稳定性上均有较明显的提升。

基于相干数据体的裂隙检测方法

为了研究结构物的不连续性,通过对相干数据体多道C2和多道C3算法的对比研究,将这两种算法应用于检测数据的成像来诊断结构裂隙的分布。模型数据和实际检测数据的计算结果表明:C2、C3相干算法用于裂隙检测具有较强的抗噪声性能和良好的分辨能力;特别是C3相干算法比C2相干算法在横向分辨方面更具有优越性,这也说明C2、C3相干算法是检测地质结构、公路和桥梁不连续性和缺陷的一种有效方法。

基于结构张量的三维地震数据分析

传统的第三代相干体算法在遇到地层大倾角时效果较差,结构张量和方向场技术在数据的纹理方向判别上有着广泛应用。地震图像是一种特殊的纹理图像,针对三维地震数据和C3算法,提出基于梯度的结构张量的算法改进,利用局部窗口中各点的梯度值估计地层倾角,对数据进行调向后再进行相干计算。仿真和实际数据表明,该方法得到的相干图像分辨率更高,并能有效地消除地层倾角带来的干扰。

一种基于振幅谱的地震相干属性计算方法（英文）

相干属性是检测地下介质不连续性特征的主要参数之一,但倾斜地层会对相干属性产生干扰,故在计算相干属性时需要消除地层倾角的影响。传统的相干属性计算一般使用时域倾角扫描法来消除地层倾角的影响,但这种方法的精度受到采样间隔等因素的限制,并不能很好地消除地层倾角的影响。根据振幅谱具有不受地层倾角影响的特点,本文提出将预先定义的子数据体内的地震数据变换为振幅谱,再利用振幅谱构造协方差矩阵,协方差矩阵最大特征根与矩阵迹的比值作为子数据体中心点的相干值。利用振幅谱计算相干属性的方法能够较好地消除地层倾角的影响,而且可以使用不同频段的振幅谱计算相干体,具备多尺度相干体算法的特性。模型数据和实际地震数据的应用结果表明,振幅谱相干属性可以更好地消除地层倾角对相干属性的影响。

深度强化学习中状态注意力机制的研究

虽然在深度学习与强化学习结合后,人工智能在棋类游戏和视频游戏等领域取得了超越人类水平的重大成就,但是实时策略性游戏星际争霸由于其巨大的状态空间和动作空间,对于人工智能研究者来说是一个巨大的挑战平台,针对Deepmind在星际争霸Ⅱ迷你游戏中利用经典的深度强化学习算法A3C训练出来的基线智能体的水平和普通业余玩家的水平相比还存在较大的差距的问题。通过采用更简化的网络结构以及把注意力机制与强化学习中的奖励结合起来的方法,提出基于状态注意力的A3C算法,所训练出来的智能体在个别星际迷你游戏中利用更少的特征图层取得的成绩最高,高于Deepmind的基线智能体71分。

基于Viola-Jones方法的探地雷达管线目标识别

在城市地下管线的探测上,辨别探地雷达图像中的双曲线特征是管线探测的关键,但是实际情况中,城市的地下管线数量众多,专业人员短缺,自动化的探测识别手段的开发变得十分迫切。针对这一现状,对基于Viola-Jones方法的探地雷达目标识别手段进行了研究。在预处理过程中运用BMS(Background matrix subtraction)的方法生成背景矩阵,去除横向杂波干扰,然后采用Viola-Jones物体检测框架初步获取目标区域,最后使用C3(Column Connection Cluster)算法对目标区域二值化分割并筛选双曲线目标,得到的双曲线聚类,可用于管线的管径、深度获取。

基于相干特征的岩石薄片序列图像边缘提取及颗粒分割

针对岩石颗粒边缘模糊、结构复杂的特点,为了更有效地识别颗粒边缘,在基于特征值的C3相干算法的基础上,融合多尺度和多角度的特征表达,提出了一种改进的C3相干算法。该算法综合考虑岩石薄片图像角度域光学特征、空间尺度信息和各向异性信息,能更有效地表征颗粒边缘特征,表现出对复杂矿物结构的适应能力。在采集的岩石薄片正交偏光图像上验证提出的算法,实验结果表明,与原生C3相干算法相比,改进后的C3相干算法在全局图像上的方差和灰度差分乘积分别提升了68.41%和22.91%,信息熵下降了21.61%。

基于深度强化学习的智能灯个性化调节方法

提出一种基于深度强化学习的智能灯亮度个性化调节方法,综合考虑自然光亮度及用户位置对用户实际感受亮度的影响,动态计算并设置灯光亮度,以满足用户个性化使用习惯。在每次完成灯光亮度自动调节后,根据用户是否再次进行手动调节设定正、负反馈,训练强化学习模型逐渐拟合用户使用习惯。实验分别实现了DQN、DDQN和A3C三种算法,在基于DIALux环境产生的数据集上进行对比分析,并给出原型系统的软硬件实现。

基于互信息的智能博弈对抗分层强化学习研究

智能博弈在当前人工智能的发展中是较为热点的一个问题,同时随着人工智能的不断发展,在作战指挥领域也逐渐得到了广泛的应用,尤其以美国DAPPA为首,利用人工智能来为指挥员的战场决策提供全方位的策略支持,如何利用人工智能模拟战场环境下进行战场对抗也是研究的一方面。当前智能体虽然能够通过获得奖励不断进行优化,在策略上通常是根据即时奖励选择当时收益最大的策略,现实战场环境中有些决策当时虽不会有即时收益,但之后是会对整体的战场形势有更好的推动作用,能够取得更有利的战果。针对此问题,利用分层强化学习进行智能体的智能博弈训练,并应用于简单战场环境下来模拟虚拟指挥员,提出了一种基于互信息的智能博弈对抗的分层强化学习算法MI-A3C。MI-A3C算法在模拟的战场环境中能够取得86.7%的胜率,并能够完成主要任务,同时在实验中可以发现一些有利于长远收益的决策。