基于改进SNN-HRL的智能体路径规划算法

针对SNN-HRL等传统Skill discovery类算法存在的探索困难问题,本文基于SNN-HRL算法提出了融合多种探索策略的分层强化学习算法MES-HRL,改进传统分层结构,算法包括探索轨迹、学习轨迹、路径规划三层.在探索轨迹层,训练智能体尽可能多地探索未知环境,为后续的训练过程提供足够的环境状态信息.在学习轨迹层,将探索轨迹层的训练结果作为“先验知识”用于该层训练,提高训练效率.在路径规划层,利用智能体之前获得的skill来完成路径规划任务.通过仿真对比MES-HRL与SNN-HRL算法在不同环境下的性能表现,仿真结果显示,MES-HRL算法解决了传统算法的探索问题,具有更出色的路径规划能力.

机器人离线编程语言HRL及其开发环境

介绍机器人离线编程语言HRL及其开发环境。作为机器人离线编程与仿真系统HOLPSS的主要子系统，HRL实现了对一般4～6自由度机器人的离线编程，形成了基于微机的通用机器人语言。HRL语言系统结合HOLPSS的图形仿真系统，构成完善的离线编程与仿真环境，避免了文本编程与图形编程的弊端。论述HRL语言的数据类型及其操作、控制结构、轨迹规划、示教集成和通用性问题，并给出对PUMA560机器人的编程及结果仿真，仿真结果表明HRL语言系统是机器人程序快速生成的有力工具。

一种改进的HRLS算法

HRLS(Hierarchical Lest-Squares Algorithm)算法是一种改进的RLS算法,他减少了运算量,但对FIR信道估计时,他只适用于输入信号是白噪声而且信道的非零系数少的情况。提出一种改进的HRLS算法,该算法在HRLS算法每级后面(最后一级除外)加一个RLS滤波器,其输入分别为同一级其他滤波器输入的均值和前一级新加滤波器的输出。此滤波器回收了被HRLS分组分级处理所丢掉的组间信号的联系,把握住了输入信号的整体变化规律。仿真结果和分析表明该算法与HRLS相比具有较好的收敛性,而且当把FIR信道划分后所得的每个子信道的自身系数间的差异不大时,其收敛性能与RLS算法近似,同时与RLS相比,其复杂度降低,且具有更强的抗噪能力。

2HRZSL/6HRL方案治疗复治涂阳肺结核病患者的价值研究

目的探讨2HRZSL/6HRL方案治疗复治涂阳肺结核病患者的应用价值。方法选取2017年4月至2018年12月本院复治涂阳肺结核病患者120例,按随机对照原则分为两组,各60例。观察组接受含左氧氟沙星的化疗(2HRZSL/6HRL)方案治疗,对照组接受3HRZE/6HRE常规化疗方案。比较两组治疗效果。结果观察组病灶吸收率、空洞闭合率、痰菌转阴率分别为95.0%、85.0%、86.7%,均高于对照组76.7%、51.7%、68.3%,差异均有统计学意义(均P<0.05);观察组不良反应发生率18.3%与对照组23.3%比较,差异无统计学意义(P>0.05)。结论2HRZSL/6HRL方案治疗复治涂阳肺结核病获得明显效果,不良反应少,值得推广应用。

2HRZSL/6HRL方案复治肺结核的临床分析

肺结核(pulmonary tuberculosis)是一种由结核分枝杆菌引起慢性传染性疾病,由于我国卡介苗的广泛接种及结核病防治工作的大力开展,其发病率已明显减少,但仍有些地区本病患病率仍处于较高水平[1-2]。复治肺结核患者指有下列情况之一的结核病患者:①因结核病不规律或不合理用抗结核药品治疗≥1个月;②初治复发或失败[3]。复治肺结核患者病因病情复杂,常规药物治疗难以达到理想效果。

HRL利用AIXTRON CCS MOCVD制备GaN HEMT MMIC

AIXTRON宣布HRL Laboratiories向其订购了一套6×2 CCS MOCVD系统。HRL将用这套系统来研究先进的GaN技术,包括生长毫米波功率型GaNHEMT器件,以及GaN晶体管用作功率开关。HRL的一位GaN研究人员表示,他们看中了CCS MOCVD设备的质量及其设计,非常适合他们的要求。

HRL制造出GaN基功放MMIC

美国休斯研究所(HRL)称,他们制造出具有前所未有性能的两款GaN基HFET放大器MMIC。他们首先制造出33GHz(Ka波段)功放MMIC,其输出功率高至2.8W,功率附加效率27%。这种Ka波段器件可用在两路宽带卫星通信链路中。据悉。

基于分层强化学习的空战集群控制策略

针对多智能体集群控制中智能体的行为难解释和训练难收敛的问题,研究了强化学习分层框架下的多智能体集群控制方法,提出了一种新的上层宏观决策、下层微观执行的多智能体强化学习分层框架,并利用双重深度Q网络(DDQN)与Q值混合器(QMIX)算法实现了该框架。最后,构建了歼击机8v8空战博弈对抗的场景,用于多智能体强化学习算法的训练。试验结果表明,该框架算法与传统多智能体强化学习方法相比,弥补了多智能体在行为解释性上的缺陷,并在训练收敛速度上得到了一定提升。

跨国物流公司在华人力资源本土化策略研究

企业制胜以人为本,HRL(人力资源本土化)策略是跨国物流公司赢得中国市场竞争的重要因素。本文首先分析了跨国物流公司在华人力资源本土化的动因,在此基础上,结合我国物流人力资源现状,提出了跨国物流公司在华有效实施HRL的一系列策略。

基于改进分层强化学习的CPS指令多目标动态优化分配算法

应用经典强化学习方法的控制性能标准(control performance standard,CPS)下自动发电控制(automatic generation control,AGC)指令(CPS指令)由调度端至电网各台机组的分配过程不可避免出现维数灾难问题。提出应用分层强化学习的方法,将全网机组按调频时延做初次分类,CPS指令逐层分配形成任务分层结构。在分层Q学习算法层与层之间引入一个时变协调因子,改进的分层Q学习算法有效提高原算法收敛速度。奖励函数中设计不同的权值线性组合,展示保守及乐观控制下系统CPS控制水平和调节成本的变化关系。南方电网统计性仿真分析表明,改进分层Q学习算法较分层Q学习算法平均收敛时间缩短47%,在复杂随机扰动的环境中改进算法能有效提高系统CPS考核合格率,并降低调节成本约5%。

沙棘种子油抗氧化作用的研究

以丙二醛和共轭双烯为测定指标，对铜离子催化氧化或细胞氧化ＬＤＬ，沙棘油均有明显的抗氧化作用，其抗氧化程度有显著的浓度依赖关系，甚至浓度低至０．０２％时仍有明显作用。

一种通信对抗干扰资源分配智能决策算法

针对战场通信对抗智能决策问题,该文基于整体对抗思想提出一种基于自举专家轨迹分层强化学习的干扰资源分配决策算法(BHJM),算法针对跳频干扰决策难题,按照频点分布划分干扰频段,再基于分层强化学习模型分级决策干扰频段和干扰带宽,最后利用基于自举专家轨迹的经验回放机制采样并训练优化算法,使算法能够在现有干扰资源特别是干扰资源不足的条件下,优先干扰最具威胁目标,获得最优干扰效果同时减少总的干扰带宽。仿真结果表明,算法较现有资源分配决策算法节约25%干扰站资源,减少15%干扰带宽,具有较大实用价值。

分层强化学习研究进展

首先介绍了半马尔可夫决策过程、分层与抽象等分层强化学习的理论基础;其次,较全面地比较HAM、options、MAXQ和HEXQ四种典型的学习方法,从典型学习方法的拓展、学习分层、部分感知马尔可夫决策过程、并发和多agent合作等方面讨论分层强化学习的研究现状;最后指出分层强化学习未来的发展方向。

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

水稻核心种质及成恢448回交后代的稻米延伸性研究

对列入全球水稻分子育种计划的73个水稻供体品种的稻米延伸性进行测试分析,并对其中的部分品种与成恢448(CH448)不同回交世代的自交种进行整精米长(HRL)、饭粒长(CRL)和稻米延伸性(CRE)的相关性分析,结果表明:这73个品种之间的CRE存在极显著的差异性,可聚为6个类型;在10个亲本与CH448的BC2F2群体中,HRL与CRL具有正相关性并存在差异,9个群体的HRL与CRE的负相关性达显著或极显著水平。在成恢448/Basmati370的BC2F3、BC2F4及BC3F3群体中,随着育种世代增加,HRL与CRE从负相关性趋向于0,增加一个回交世代只在一定程度上对HRL和CRL的相关性产生一定的影响,在BC2F4群体可以对CRE开始单株选择。在不同供体品种与CH448的BC3F2群体中,不同回交组合内CRE的变异有所不同.

瑞典爱斯泼硬岩实验场地应力研究

爱斯泼 (A..sp o..)硬岩实验场 (HRL )是瑞典拟建的永久储放核废料的场地。实测地应力结果表明 ,应力的大小和方位变化较为复杂。通过初步分析认为 ,场地附近地应力的变化与断裂构造的发育有关。应用离散元方法 ,分别选择平面模型和剖面模型模拟了应力场。模拟结果表明 ,地应力的量值和方位在断裂附近均发生明显变化 ,且与实测结果较吻合。主应力在断裂附近发生不同程度的偏转 ,偏转的幅度与断裂走向和区域应力方向之间的夹角有关。应力的量值在断裂附近也有明显变化。在剖面模型中 ,较缓倾角断裂模型的模拟结果最接近实测结果。文中还探讨了断裂带法向刚度和切向刚度的计算方法。

稀疏奖励环境中的分层强化学习

针对强化学习的稀疏奖励问题,提出一种基于子目标的分层强化学习算法。该算法利用分层学习框架将学习任务分解为两个抽象级别,上层控制器根据策略选择子目标,底层控制器中的批判函数提供适当的内部奖励,使用神经网络训练价值函数,进行动作的选择和策略的更新,直到完成子目标或完成整个学习任务,子目标集合由启发式异常检测结合密度峰值聚类自动创建。与传统强化学习算法以及基于k-means的分层强化学习算法在路径导航仿真问题中进行了对比实验,实验表明,该算法在稀疏延时反馈的环境中具有较高的稳定性和学习效率。

分层强化学习原理研究

首先介绍了强化学习基本原理,分析了马尔科夫决策过程与半马尔科夫决策过程的理论基础及其在强化学习中的应用,其次阐述了分层强化学习中分层与抽象的思想,分析了HAM、Options与MaxQ等方法,并从分层与抽象角度进行了比较,最后指出了分层强化学习的研究发展方向。