基于层次深度强化学习的带电作业机械臂控制技术

为了实现配电网带电作业机械臂的自主避障和自主导航,提出了一种基于子任务的层次深度强化学习算法的机械臂智能控制方法,设计了其对应的环境状态空间、动作策略和奖励函数并开展仿真实验进行效果验证。实验结果表明:全局随机障碍下单一模型成功率平均不足35%,层次模型比单一模型在全空间的决策训练中更易收敛,在跨线作业和设备作业两种场景下避障导航成功率分别可提升至90%和71.01%;同时,提出的安全路径引导奖惩机制可有效提升考虑安全距离下的机械臂作业路径寻优效率。层次深度强化学习模型在应对不同目标及障碍时具有更强的泛化性能,可为实现全自主带电作业提供理论和技术参考。

一种基于HAMs体系的层次分解方法

在HAMs框架中引入策略耦合SMDPs的观点,定义了HAM-可分解概念,并明确了HAM机、HAM-可分解及策略耦合SMDPs这三者之间的关系,证明了HAM框架适合解决策略耦合SMDPs问题.在此基础上,针对一类具有有向无环图形式的策略耦合SMDPs问题,提出一种层次分解方法,并给出一个判断层次分解有效性的条件.最后使用一个典型的实验来说明该方法的特点.

面向海工生产调度问题的多智能体求解系统

设计面向海工项目多主体协商生产调度问题的多智能体求解系统架构,明确海工生产调度多智能体系统的协商机制和冲突消解策略,为问题的求解提供基础保障。此外,为增强智能体的推理决策能力,提高问题求解效率和求解精度,基于分层强化学习理论提出面向海工生产调度问题求解的学习模型与多智能体系统学习机制。在此基础上,开发面向海工生产调度问题的多智能体求解原型系统,进行实例验证,为在海工企业中进行实际应用提供可能。

HAMs体系中的同态变换方法研究

HAMs体系的一个主要问题是:它的状态空间是由机器状态与环境状态共同生成的联合状态空间,而基于子过程的状态抽象方法也不能完全解决这个问题.本文对此进行了详细的分析,并从策略耦合SMDPs的观点分析与描述了HAMs模型,提出一系列基于HAMs的同态变换的形式化定义及证明了几个较为实用的定理,表明同态变换方法可以有效地解决这一问题.在此基础上,总结了应用同态变换进行状态抽象的几个重要的观点.并使用本文提出的方法对一个典型的实例进行了分析与验证.

一种基于HAMs的行为设计方法

在游戏领域,层次有限状态机是一种传统的行为设计方法,已经得到了广泛的应用。但是,这种行为设计方法缺乏效率,因为它需要游戏设计者提供每一个执行细节。文中为解决行为设计的效率问题进行了初步的研究:将层次强化学习方法HAMs应用到行为设计中,并且在实际的Quake2游戏平台上进行了仿真实验。初步的实验结果表明,该方法可以提高行为设计效率。另外,将该方法与基于平坦式强化学习的行为设计方法做了一个对比,表明该方法具有更快的收敛速度。