基于深度强化学习的无人机数据采集和路径规划研究

物联网时代需要实现海量的节点覆盖和连接,对于一些偏远地区,物联网通信技术存在无法及时采集数据的问题。而无人机具有灵活性和机动性等特点,因此,可用于物联网中的无线传感器网络的数据采集。所提方案着重对无人机辅助传感器网络数据采集时的路径规划问题进行了研究,同时满足无人机自身因电池容量有限而产生的充电需求。具体地,利用时间抽象分层强化学习思想,基于离散动作深度强化学习架构,提出了一种新颖的option-DQN(option-deepQ-learning)算法,实现了高效的无人机数据采集和路径规划,同时控制无人机及时进行充电,保证其正常飞行。仿真结果表明,相比于传统DQN(deep Q-learning)算法,所提算法在训练时的周期奖励上升速度更快,最终达到的周期奖励水平更高,并且无人机在执行任务时的轨迹更清晰、合理,所提算法可以判断无人机何时应进行充电,从而保证无人机的电量始终充足。

基于胰岛素基础率估计的人工胰腺系统自抗扰控制

胰岛素基础率是人工胰腺系统实现人体血糖闭环控制的基准,但该变量在临床治疗中难以准确确定.针对这一问题,本文设计了一种基于胰岛素基础率动态估计的人工胰腺自抗扰控制方法,通过扩张状态观测器(Extended state observer,ESO)实时估计血糖代谢过程中的内部与外界干扰,构建具备参数自适应能力的反馈控制律和胰岛素注射安全约束,实现血糖闭环调控能力的有效改善.在此基础上,本文设计了基于移动设备和蓝牙模块的人工胰腺软件系统,并通过美国食品药品监督管理局(Food and Drug Administration,FDA)接受的UVA/Padova T1DM仿真平台完成算法的比较仿真与功能测试.本文的工作将为后续人工胰腺临床试验的开展提供方法基础和技术支持,也为我国糖尿病患者血糖管理的改善提供精准医学治疗手段.