基于改进Q学习算法的导航认知图构建

针对导航认知图构建效率低,方向信息不准确等问题,提出了一种基于改进Q学习算法的导航认知图构建方法。首先,利用径向基(RBF)神经网络学习生成网格细胞到位置细胞的映射关系,并利用位置细胞对空间进行表征;其次,采用改进Q学习算法学习位置细胞面向目标的Q值大小;最后,根据重心估计原理计算面向目标的方向信息,并生成导航认知图。仿真结果表明:与传统Q学习算法相比,文中算法生成导航认知图的学习次数从2 000次缩减至1 000次,提高了导航认知图的构建效率;学习值(指面向目标的方向信息)的相对误差最大降低了15%,提高了认知图的准确性。

基于改进Q学习算法的低压电力线通信组网及维护方法

为提高组网稳定性,选取合适的低压电力线通信(LVPLC)拓扑控制方法至关重要。针对现阶段组网方法不具备自学习能力使得对动态变化的拓扑反应能力相对滞后导致网络不稳定的问题,提出一种适用于LVPLC局域网多约束的改进Q学习算法。该算法基于绑定载波侦听多址接入协议,将非对称信道组网系统建模为离散Markov决策过程。通过与未知环境的不断交互,关联注册节点信息,建立路由表,经周期性地在线学习训练,节点选择较优的转发方向,优化以网关为树根的簇树;周期性地轮换代理,维护并更新骨干簇树网的逻辑拓扑,延长网络生命周期,保证组网的稳定性。仿真结果验证了该算法的有效性与泛化能力。

基于改进DQN强化学习算法的弹性光网络资源分配研究

针对光网络资源分配中频谱资源利用率不高的问题,提出了一种改进的深度Q网络(DQN)强化学习算法。该算法基于ε-greedy策略,根据动作价值函数和状态价值函数的差异来设定损失函数,并不断调整ε值,以改变代理的探索率。通过这种方式,实现了最优的动作值函数,并较好地解决了路由与频谱分配问题。此外,采用了不同的经验池取样方法,以提高迭代训练的收敛速度。仿真结果表明:改进DQN强化学习算法不仅能够使弹性光网络训练模型快速收敛,当业务量为300 Erlang时,比DQN算法频谱资源利用率提高了10.09%,阻塞率降低了12.41%,平均访问时延减少了1.27 ms。

基于改进Q学习的可重入混合流水车间绿色动态调度

节能减排对于实现可持续发展具有重要意义。考虑了动态扰动事件对生产的影响,研究了可重入混合流水车间绿色动态调度问题,提出了改进的Q学习算法。在可重入混合流水车间中,将各个加工阶段抽象为智能体,搭建了多智能体强化学习模型。选用均值漂移算法对历史状态进行聚类。为实现全局优化,设计了经验共享策略实现各个智能体之间的经验交互,并设计了自适应贪婪策略选取动作。最后进行了数值实验,实验结果表明,在求解可重入混合流水车间绿色动态调度问题时,改进的Q学习算法优于单一的调度规则,可以在提高生产效率的同时保证较低的能耗,并且能够对实际生产环境中的动态扰动因素快速做出反应,能够有效地解决实际问题。

基于改进Q学习的知识化制造自适应动态调度策略

针对知识化制造系统生产环境的不确定性,构建一个基于多Agent的知识化动态调度仿真系统.为了保证设备Agent能够根据当前的系统状态选择合适的中标作业,提出一种基于聚类-动态搜索的改进Q学习算法,以指导不确定生产环境下动态调度策略的自适应选择,并给出算法的复杂性分析.所提出的动态调度策略采用顺序聚类以降低系统状态维数,根据状态差异度和动态贪婪搜索策略进行学习.通过仿真实验验证了所提出动态调度策略的适应性和有效性.

一种面向机械车间柔性工艺路线的加工任务节能调度方法

大量研究表明机械车间消耗了大量能量,因此降低机械车间的能耗是实现可持续制造的策略之一。现有机械车间节能调度研究主要针对给定的或者具有部分柔性的工艺路线,缺乏对机械车间任务工艺路线多柔性的节能调度研究。针对机械车间任务柔性工艺路线对机械车间调度能耗的影响特性,提出一种面向机械车间柔性工艺路线的节能调度方法。首先,分析了面向机械车间柔性工艺路线的加工任务调度的能耗特性;基于此,构建了节能调度模型,该模型是以任务加工总能耗、加工完成时间、机床负载为目标。进一步提出了一种改进的Q学习算法对该模型进行求解获得其Pareto解。最后通过案例验证了提出模型的节能效果及算法的可行性。