基于优先级指数的土壤采样设计方法研究

建立了一种可赋权、信息传递完整、包容性强(可涵盖定性、定量两类协同因子)的基于优先级指数的土壤采样设计方法。结果表明,优先级指数采样法得到的点集所携带的信息相较于分层采样点集和随机采样点集更接近于总样本点集;协同因子的权重是优先级指数采样法的重要参数,空间分布趋势和插值误差对结果有一定的影响。研究的采样设计方法能够满足区域采样需求,提高采样效率和质量,可为其他土壤采样方案的设计提供参考。

基于优先级经验回放的SAC强化学习算法

针对SAC(Soft Actor Critic)算法中所有样本都以等概率随机采样,造成训练速度慢,训练过程不稳定的缺点,提出了PER(Prioritized Experience Replay)-SAC算法。通过将优先级经验采样引入SAC算法,使网络优先训练值估计函数误差较大和策略表现不好的样本,从而提高了Agent训练过程的稳定性与收敛速度。实验结果表明,在多个环境及优化算法下,PER-SAC算法在训练速度及稳定性上相比于SAC算法均有明显提升。

土壤优化采样策略研究进展

[目的]对现有的采样方式进行系统地总结归纳,并探寻一种优化的采样策略,对采样强度、分析成本及其研究精度三方面进行均衡,即以最小的经济投入换取最大化的试验精度。[方法]广泛查阅近几年国内外的相关文献,对土壤优化采样策略的设定进行了系统的总结。将优化采样策略的理论分为合理采样数和样点布设两方面,就此分别介绍确定采样数的3种方法和确定样点布设的4种方式,详细介绍其发展现状,并对该领域今后的研究进行展望。[结果]目前的优化采样法大多基于模型来优化采样设计的研究,其初步采样的方式忽略了空间相关性所导致的信息损失,必然在一定程度上造成试验结果的偏差和人力物力的浪费。而且,研究尺度多集中在县级以下,没有对采样方案的设计确立统一的评价体系和标准。[结论]未来优化采样设计在样点优先级方面还应进行更加深入的研究。

D2D辅助的边缘计算任务迁移与缓存替换研究

针对边缘网络存在的计算和带宽资源紧张导致的高时延问题,以及边缘缓存空间的有限性,本文结合设备到设备(Device-to-Device, D2D)通信技术、缓存替换策略,提出了一种D2D辅助的边缘计算任务迁移与缓存替换机制.具体地,规划了一个综合考量边缘服务器计算和带宽资源分配、任务迁移决策和缓存决策的最小化任务时延优化问题.针对该混合整数非线性优化问题,为了进一步加快求解算法取得最优处理决策,有效满足时延敏感型设备需求,结合深度确定性策略梯度算法思想,提出了一个基于优先级经验采样的任务迁移与缓存替换算法.在深度确定性策略梯度算法的网络训练基础之上,与原算法对于经验池样本随机均匀采样不同,本算法采用了一种新的样本优先级方法,即基于样本时分误差的绝对值赋予样本优先级,从而使模型网络训练改变较大的样本被采样概率增大,加速网络训练,可较快的达到稳定收敛,获取最优处理决策.最后,仿真结果表明,与其它几种基准算法相比较,该算法在网络收敛、任务时延和缓存命中率等方面具有较大优势.

基于改进深度Q网络算法的移动机器人路径规划

针对深度Q网络(deep Q-network,DQN)算法收敛速度慢、规划路径不平滑及样本利用率低的问题,对其进行了改进。首先,在DQN算法的动作引导策略中引入了改进的人工势场引力函数和目标引导动作函数,同时设计了一种分段奖励函数,以此提出了启发式深度Q网络(heuristic deep Q-network,HDQN)算法,有效地减少了算法训练过程中的碰撞次数,提高了算法的收敛速度,使规划出的路径更优。然后,将HDQN算法与改进的优先级采样策略相结合,提出了一种贪心采样的启发式深度Q网络(greedy sampling heuristic deep Q-network,GSHDQN)算法,有效地提高了样本利用率。最后,对DQN、HDQN、GSHDQN这3种算法在Ubuntu系统进行了路径规划仿真。仿真结果表明,与DQN算法相比,GSHDQN算法平均总迭代时间可降低28.0%,平均路径长度可减少34.7%,碰撞次数可减少32.4%。

基于双Q学习的考虑暂态稳定约束的电网薄弱线路辨识

为了辨识故障后对电网暂态稳定性影响较大的薄弱线路,提出一种基于双Q学习(double Q-learning,DQL)的考虑暂态稳定约束的电网薄弱线路辨识方法。首先,将电网薄弱线路辨识问题转化成马尔克夫决策过程。接着,利用DQL智能体结合电网时域暂态仿真计算,通过强化学习筛选出容易导致电网失稳的切线故障。最后,提出线路薄弱度指标,计算得到考虑暂态稳定约束的电网薄弱线路。所采用的DQL在Q学习的基础上增加了Q目标表,实现切线故障选择与评估的分离,并采用优先级采样的经验回放机制,能提升算法的稳定性与训练速度。10机39节点和16机68节点系统的仿真结果都表明,所提基于DQL算法的薄弱线路辨识方法,能通过较少的仿真次数,有效地辨识出考虑系统暂态安全稳定约束的薄弱线路。

改进深度确定性策略梯度算法及其在控制中的应用

深度强化学习往往存在采样效率过低的问题,优先级采样可以在一定程度上提高采样效率。将优先级采样用于深度确定性策略梯度算法,并针对普通优先级采样算法复杂度高的问题提出一种小样本排序的思路。仿真实验结果表明,这种改进的深度确定性策略梯度算法提高了采样效率,具有好的训练效果。将深度确定性策略梯度算法用于小车方向控制,相比于传统的PID控制,该算法避免了人工调整参数的问题,具有更广阔的应用前景。