基于深度强化学习的多目标无人机路径规划

在搜救领域中,透过程序完成半自主或自主飞行控制,无人机能够协助救难人员更好地完成救援任务。搜救任务中涉及到多个目标间的搜索,相比于单目标的搜索问题,需要更复杂的算法或是奖励重塑形式,才能改进其稀疏奖励的问题。此外,搜救任务比起一般的强化学习问题,更讲究时效性。如何利用搜救的先验知识对算法进行改进,从而提高完成任务的效率和训练时间,是机器学习应用的研究重点。针对搜救任务背景,研究了无人机在多目标问题下的路径规划问题。基于分层学习的概念对已有的深度强化学习算法进行了改进,提出了适用于多目标任务的深度强化学习算法——MTDDPG。该算法结合环境分区和奖励重塑,利用环境分区对搜救场景进行简化,从而缩短训练时间,再通过奖励重塑的方式提升任务完成的效率,提升了MTDDPG算法在多目标搜救任务上的训练速度和效率。利用程序仿真设计三个实验对算法进行验证,并基于不同的先验信息对环境进行建模实验,对比不同算法在多目标任务中的实验结果。此外,根据先验信息的完整与否,对比MTDDPG在不同先验信息完整度的场景下训练的结果,结果表明MTDDPG在多目标搜救任务上,可以有效地解决搜索问题,完成指定的搜救任务。

3D成像视觉引导系统

为开发设计视觉引导系统,采用小型无人机平台,系统的传感器信息来源于微软推出的Kinect体感外设,其具有特殊的三维成像功能以及非常优秀的平面与景深数据融合能力。无人机平台搭载传感器,数传电台向地面站传回景深数据以及RGB彩色图像数据,地面站基于OpenNI,OpenGL等第三方API完成所有计算机图像处理任务,地面站将依据图像处理结果解算出飞行参数传回无人机。其中的图像处理任务即包括实现目标物自动识别追踪,三维空间重构等视觉引导任务。这些功能一个或多个组合使用可以应用于复杂地质环境室内环境搜救,近距离打击等任务。

非视觉条件下路径整合能力的影响因素研究

为了探究非视觉环境下,消防员在室内火灾搜救过程中路径整合能力的影响因素,设计实验模拟发生火灾的黑暗室内环境,分析对比小组人数、前进姿势和空间布局复杂程度对于消防员记录距离、方位的影响,提出优化的室内救援方式以提高消防人员在搜救过程中的安全和工作效率。研究结果表明,在简单的空间布局情况下,消防员通过团队协作并采用直立的前进姿势可以更安全高效地在黑暗环境中完成室内搜救任务。