随着无人机的广泛应用,无人机控制器的设计成为近年来广泛研究的热点。当前无人机中广泛使用的PID,MPC等控制算法受到参数难调节、模型构建复杂、计算量大等一系列因素的制约。针对上述问题,提出了一种基于深度强化学习的无人机自主控...随着无人机的广泛应用,无人机控制器的设计成为近年来广泛研究的热点。当前无人机中广泛使用的PID,MPC等控制算法受到参数难调节、模型构建复杂、计算量大等一系列因素的制约。针对上述问题,提出了一种基于深度强化学习的无人机自主控制方法。该方法通过神经网络拟合无人机控制器,直接将无人机的状态映射到舵机的输出以控制无人机运动,在不断与环境进行交互训练中即可得到一个通用的无人机控制器,有效地避免了参数调节、模型构建等复杂操作。同时,为进一步提高模型的收敛速度和准确性,在传统强化学习算法Soft Actor Critic(SAC)的基础之上引入专家信息,提出了ESAC算法,指导无人机对环境进行探索,以增强控制策略的易用性和扩展性。最后在无人机的位置控制以及轨迹跟踪任务中,通过与传统PID控制器和SAC,DDPG等强化学习算法构建的模型控制器进行对比,实验结果表明,通过ESAC算法构建的控制器能够达到与PID控制器同样甚至更优的控制效果,同时在稳定性和准确性上优于SAC和DDPG构建的控制器。展开更多
在多机器人协同领域,传统的协同模型虽然解决了协同实体间的信息交互、共享和通信问题,但复杂多变的协同环境所需要的决策机制并没有在模型层得到支持,只能通过应用程序来实现,导致协同系统开发困难并影响协同决策过程的执行效率。针对...在多机器人协同领域,传统的协同模型虽然解决了协同实体间的信息交互、共享和通信问题,但复杂多变的协同环境所需要的决策机制并没有在模型层得到支持,只能通过应用程序来实现,导致协同系统开发困难并影响协同决策过程的执行效率。针对传统的协同模型存在无法灵活地支持用户决策的问题,本文提出一种基于事件具有决策能力的元组空间协同模型DEBC(Decision and Event Based Coordination)。DEBC模型在元组空间框架中引入决策机制,并对应用层的协同任务进行部分抽象,通过赋予元组空间一组支持决策的操作,使得协同应用程序开发具有高度的灵活性和适应性。同时引入事件机制,保证了协同实体间协同行为的灵活性和高效性。最后,对DEBC模型进行实例分析并与现有模型进行实验对比分析,验证了DEBC模型具有良好的表达能力和更高的执行效率,其提供的决策机制、事件机制具有广泛的适用性。展开更多
文摘随着无人机的广泛应用,无人机控制器的设计成为近年来广泛研究的热点。当前无人机中广泛使用的PID,MPC等控制算法受到参数难调节、模型构建复杂、计算量大等一系列因素的制约。针对上述问题,提出了一种基于深度强化学习的无人机自主控制方法。该方法通过神经网络拟合无人机控制器,直接将无人机的状态映射到舵机的输出以控制无人机运动,在不断与环境进行交互训练中即可得到一个通用的无人机控制器,有效地避免了参数调节、模型构建等复杂操作。同时,为进一步提高模型的收敛速度和准确性,在传统强化学习算法Soft Actor Critic(SAC)的基础之上引入专家信息,提出了ESAC算法,指导无人机对环境进行探索,以增强控制策略的易用性和扩展性。最后在无人机的位置控制以及轨迹跟踪任务中,通过与传统PID控制器和SAC,DDPG等强化学习算法构建的模型控制器进行对比,实验结果表明,通过ESAC算法构建的控制器能够达到与PID控制器同样甚至更优的控制效果,同时在稳定性和准确性上优于SAC和DDPG构建的控制器。
文摘在多机器人协同领域,传统的协同模型虽然解决了协同实体间的信息交互、共享和通信问题,但复杂多变的协同环境所需要的决策机制并没有在模型层得到支持,只能通过应用程序来实现,导致协同系统开发困难并影响协同决策过程的执行效率。针对传统的协同模型存在无法灵活地支持用户决策的问题,本文提出一种基于事件具有决策能力的元组空间协同模型DEBC(Decision and Event Based Coordination)。DEBC模型在元组空间框架中引入决策机制,并对应用层的协同任务进行部分抽象,通过赋予元组空间一组支持决策的操作,使得协同应用程序开发具有高度的灵活性和适应性。同时引入事件机制,保证了协同实体间协同行为的灵活性和高效性。最后,对DEBC模型进行实例分析并与现有模型进行实验对比分析,验证了DEBC模型具有良好的表达能力和更高的执行效率,其提供的决策机制、事件机制具有广泛的适用性。
