移动边缘网络中基于双深度Q学习的高能效资源分配方法

为了提升移动边缘网络中系统的能量使用效率,面向多任务、多终端设备、多边缘网关、多边缘服务器共存网络架构的下行通信过程,提出了一种基于双深度Q学习(DDQL)的通信、计算、存储融合资源分配方法。以任务平均能耗最小化为优化目标,设置任务时延和通信、计算、存储资源限制等约束条件,构建了对应的资源分配模型。依据模型特征,基于DDQL框架,提出了适用于通信和计算资源智能决策、存储资源按需分配的资源分配模型和算法。仿真结果表明,所提出的基于DDQL资源分配方法可以有效地解决多任务资源分配问题,具有较好的收敛性和较低的时间复杂度,在保障业务服务质量的同时,相对于基于随机算法、贪心算法、粒子群优化算法、深度Q学习等方法,降低了至少5%的任务平均能耗。

基于竞争双深度Q学习的智能电表隐私保护与成本管理

智能电表能够实时采集、计算、存储和传输电力数据,对智能电网的运转起着关键性的作用。配备储能设备的智能家居是智能电表的一种重要的应用场景,它的发展面临隐私数据泄露隐患和高用电成本2个问题,需要研究两者的权衡优化策略。系统模型考虑了2种不同类型的储电设备,并建立了电表数据泄露和用电成本量化的权衡模型。考虑到传统深度强化学习存在过度估计和收敛慢的缺陷,提出一种基于竞争双深度Q学习的储能电器功率分配方法,实现了性能优化的目标。仿真结果表明,对比传统的深度Q学习和双深度Q学习方法,所提方法在隐私保护和成本控制2方面能获得更好的性能。

基于深度强化学习的测井曲线自动深度校正方法

针对传统测井曲线深度校正需要手动调整曲线,而对于多口井的深度校正工作量巨大,需要大量人工参与,且工作效率较低的问题,提出一种多智能体深度强化学习方法(MARL)来实现多条测井曲线自动深度匹配。该方法基于卷积神经网络(CNN)定义多个自上而下的双滑动窗口捕捉测井曲线上相似的特征序列,并设计一个智能体与环境的互动机制来控制深度匹配过程。通过双深度Q学习网络(DDQN)选取一个动作来平移或缩放测井特征序列,并利用反馈的奖励信号来评估每个动作的好坏,以学习到最优的控制策略达到提升深度校正精度的目的。研究表明,MARL方法可以自动完成多口井、不同测井曲线的深度校正任务,减少人工干预。在油田实例应用中,对比分析了动态时间规整(DTW)、深度Q学习网络(DQN)和DDQN等方法的测试结果,DDQN算法采用双网络评估机制有效改进了算法的性能,能够识别和对齐测井曲线特征序列上更多的细节,具有较高的深度匹配精度。