基于强化学习的混合元启发式暂态电压稳定特征选择方法及可解释性研究

新型电力系统发展背景下,使用有效的特征选择方法来提取与暂态电压稳定强相关的关键响应特征,对研究暂态电压失稳机理与系统潜在安全隐患具有重要意义。为此,提出一种基于改进过滤法与混合元启发式包装法的复合框架进行特征选择的新方法。基于对称不确定性值改进的最大相关最小冗余性准则进行特征粗筛;将Q学习强化学习融合至元启发式优化算法中,并采用开发探索折衷策略以增强特征细选能力,获取最优关键响应特征子集。在此基础上,采用沙普利值加性解释归因理论综合分析各筛选特征对暂态电压稳定的影响与系统薄弱环节。新型电力系统算例验证了所提方法的有效性。

基于模仿学习和强化学习的启发式多智能体路径规划

多智能体路径规划(Multi-Agent Path Finding,MAPF)扩展到大型动态环境中是一个越来越有挑战的问题。现实世界中,环境动态变化往往需要实时重新规划路径。在部分可观察环境中,使用强化学习方法学习分散的策略解决MAPF问题表现出较大潜力。针对智能体之间如何学会合作和环境奖励稀疏问题,提出基于模仿学习和强化学习的启发式多智能体路径规划算法。实验表明,该方法在高密度障碍环境中具有较好的性能和扩展性。

基于深度强化学习的自适应股票交易策略

股票交易策略的制定在金融市场投资中起着至关重要的作用。为帮助投资者在多变复杂的股票市场作出最优决策,降低制定投资策略的难度,基于LSTM-SAC模型构建自适应股票交易策略。首先,将堆叠式长短期记忆网络(Long short-term memory,LSTM)预测的股票收益率与股票历史数据相结合来表示市场状况;其次,根据观测的市场信息强化学习智能体,基于自动熵调节(Soft actor-critic,SAC)进行自我交易决策调整以适应市场变化;最后,以微分夏普比率作为智能体学习的目标函数以平衡利益和风险,同时优化交易频率以降低交易成本。研究结果表明:相较于其他股票交易策略,该策略在道琼斯30和上证50市场均具有较高的年化收益,验证了其在不同市场的有效性和稳定性。

基于强化学习的无线传感器网络充电策略研究

基于移动充电器(MC)的充电策略一直是无线可充电传感器网络(WRSN)研究的热点。现有的充电策略通常是根据局部的网络信息实时选择充电节点,由于缺少全局信息无法保证充电策略的公平性,导致部分节点无法及时得到充电。针对此问题,设计了一种新颖的按需充电策略,首先,考虑节点能耗率的显著差异,给出了节点剩余寿命的计算方法。并开发一个双Q学习框架来优化充电策略,命名为Q-Charge充电策略,为了加快此充电策略中智能体的学习速度,在智能体学习策略中引入启发式学习策略,即有目的性的动作选择取代随机动作选择。仿真结果表明,Q-Charge充电策略不仅提高了充电效率,而且加快了MC移动路径的收敛速度。

基于深度强化学习的PHEV能量管理策略

为了优化插电式混合动力汽车(Plug-in Hybrid Electric Vehicles,PHEV)能量管理策略,提高燃油经济性,提出基于深度强化学习的能量管理策略。通过对整车MATLAB/SimuLink建模,设计随动力电池SOC自适应奖励函数,使用NEDC和FTP-75工况进行智能体训练,在并联混动模式下,以WLTC-class3工况继续进行测试,相比于等效燃油消耗最小策略节省燃油8.63%,且实时性提高16.32倍,验证了该策略的可行性。

数学启发式教学策略在初中数学学习中的有效性研究

本文旨在研究数学启发式教学策略在初中数学学习中的有效性。首先介绍了数学启发式教学策略的定义、特点和主要方法,并强调了其在激发学生兴趣和提高问题解决能力方面的优势。随后,探讨了初中数学学习中的挑战,包括学生面临的困难和传统教学方法的局限性。通过分析实证研究结果,揭示了数学启发式教学策略与学生成绩、数学兴趣、问题解决能力和创造性思维培养之间的关系。最后,提出了教师如何有效运用数学启发式教学策略以及学校和教育机构的教学改革建议,以促进初中数学学习的提升和发展。

策略梯度的超启发算法求解带容量约束车辆路径问题

有容量车辆路径问题是组合优化问题中比较热门的问题,它属于经典的NP-hard问题并且时间复杂度高.本文提出了一种基于策略梯度的超启发算法,将强化学习中的确定性策略梯度算法引入到超启发算法的高层策略中的底层算法选择策略,确定性策略梯度算法采用Actor-Critic框架,另外为了能够在后续计算和神经网络参数更新中引用历史经验数据,在确定性策略梯度算法中设计了经验池用于存储状态转移数据.在超启发算法解的接受准则方面,文中通过实验对比了3种接受准则的效果,最终选择了自适应接受准则作为高层策略中解的接受准则.通过对有容量车辆路径问题标准算例的计算,并将求解结果与其他算法对比,验证了所提算法在该问题求解上的有效性和稳定性.

基于深度强化学习的园区综合能源系统低碳经济调度

为降低园区综合能源系统的运行成本和碳排放量,同时应对系统不确定性带来的随机波动,提出一种考虑阶梯式碳交易的园区综合能源系统低碳经济调度模型,并采用深度强化学习方法求解。首先构建园区阶梯式碳交易模型,将碳交易成本考虑在内对园区综合能源系统低碳经济调度问题进行数学描述;其次将该调度问题表述为马尔可夫决策过程框架,定义系统的观测状态、调度动作和奖励函数;继而采用近端策略优化算法进行低碳经济调度决策。所提方法无需进行负荷预测或不确定性建模,能够对源和荷的随机波动做出实时响应。最后基于多场景多算法进行算例仿真,结果表明所提方法提高系统运行经济性的同时降低了系统碳排放量。

基于记忆启发的强化学习方法研究

该文旨在研究人工智能领域的强化学习问题。在处理优化问题的过程中,强化学习具有不依赖于模型信息的特点,在信息产业和生产领域逐步获得应用,并取得了较好的效果。然而,传统的强化学习算法通过随机探索获得优化行为,存在学习速度慢、收敛不及时的问题。为了提高强化学习的效率,提出一种方法,让Agent利用自身学习得到的知识,指导和加速其以后的学习过程。将Q学习和启发式Shaping回报函数结合起来,利用记忆的知识加速了Agent的学习过程。另外,证明了采用启发函数与不使用启发函数在策略优化上的一致性。针对一个路径规划问题,采用了学习过程中生成的势场函数作为启发函数,通过启发函数对强化学习的探索过程给予指导。在实验中对该方法进行了验证,分析了采用不同参数带来的不同效果,并提出了一个解决死点问题的方法。结果表明,该方法对强化学习过程有明显的加速作用,并能取得优化的搜索路径。

融合强化学习的多目标路径规划

移动机器人路径规划问题的节点数量大、搜索空间广,且对安全性和实时性有要求等因素,针对移动机器人多目标路径规划问题,提出一种新颖的融合强化学习的多目标智能优化算法.首先,该算法采用NSGA-II为基础框架,利用强化学习的赋予个体学习能力,设计一种SARSA算子提高算法的全局搜索效率.其次,为了加速算法的收敛速度和保证种群多样性,增加自适应模拟二进制交叉算子(tanh-SBX)作为辅助算子,并将种群分为两种性质不同的子种群:精英种群和非精英种群.最后,设计了4种不同的策略,通过模拟退火算法的Metropolis准则计算更新策略的概率,让最合适的策略引导种群的优化方向,以平衡探索和利用.仿真实验表明,该算法在不同复杂度的环境下均能找到最佳路径.相比传统智能仿生算法,在更加复杂的环境中,所提出的算法能有效平衡优化目标,找到更优的安全路径.

一种基于启发式轮廓表的逻辑强化学习方法

强化学习通过试错与环境交互获得策略的改进,其自学习和在线学习的特点使其成为机器学习研究的一个重要分支.针对强化学习一直被"维数灾"问题所困扰的问题,提出在关系强化学习的基础上,引入启发式轮廓表的方法,采用含轮廓表的一阶谓词表示状态、活动和Q-函数,充分发挥Prolog表的优势,将逻辑谓词规则与强化学习相结合,形成一种新的逻辑强化学习方法——CCLORRL,并对其收敛性进行了证明.该方法使用轮廓形状谓词产生形状状态表,大幅度地减少状态空间;利用启发式规则指导动作的选择,减少了样本中不存在状态选择的盲目性.CCLORRL算法应用于俄罗斯方块中,实验表明,该方法是比较高效的.

一种基于启发式奖赏函数的分层强化学习方法

针对强化学习在应用中经常出现的"维数灾"问题,即状态空间的大小随着特征数量的增加而发生指数级的增长,以及收敛速度过慢的问题,提出了一种基于启发式奖赏函数的分层强化学习方法.该方法不仅能够大幅度减少环境状态空间,还能加快学习的收敛速度.将此算法应用到俄罗斯方块的仿真平台中,通过对实验中的参数进行设置及对算法性能进行分析,结果表明:采用启发式奖赏函数的分层强化学习方法能在一定程度上解决"维数灾"问题,并具有很好的收敛速度.

强化学习算法中启发式回报函数的设计及其收敛性分析

(中国科学院沈阳自动化所机器人学重点实验室沈阳110016)

基于智能规划的多智能体强化学习算法

目前深度强化学习算法在不同应用领域中已经取得诸多成果,然而在多智能体任务领域中,往往面临大规模的具有稀疏奖励的非稳态环境,低探索效率问题仍是一大挑战。由于智能规划能够根据任务的初始状态和目标状态快速制定出决策方案,该方案能够作为各智能体的初始策略,并为其探索过程提供有效指导,因此尝试将智能规划与多智能体强化学习进行结合求解,并且提出统一模型UniMP(a Unified model for Multi-agent Reinforcement Learning and AI Planning)。在此基础上,设计并建立相应的问题求解机制。首先,将多智能体强化学习任务转化为智能决策任务;其次,对其执行启发式搜索,以得到一组宏观目标,进而指导强化学习的训练,使得各智能体能够进行更加高效的探索。在多智能体即时战略对抗场景StarCraftⅡ的各地图以及RMAICS战车模拟对战环境下进行实验,结果表明累计奖励值和胜率均有显著提升,从而验证了统一模型的可行性、求解机制的有效性以及所提算法灵活应对强化学习环境突发情况的能力。

一种基于元启发式策略的迭代自学习K-Means算法

类内误差平方和最小化的聚类准则求解是NP难问题,K-Means采用的迭代重定位方法本质上是一种局部搜索的爬山算法,因此聚类结果对初始代表点的选择非常敏感,只能保证局部最优。为此,引入元启发式策略,通过建立评估函数对K-Means初始代表点和目标函数之间的依赖关系进行近似,然后利用近似评估函数指导新的初始代表点的选择,构成一种迭代自学习框架下的K-Means算法。实验表明算法可以很好地克服K-Means对初始代表点的依赖性,获得较高质量的聚类结果。

基于启发式强化学习的AGV路径规划

针对传统算法、智能算法与强化学习算法在自动引导小车(automated guided vehicle,AGV)路径规划中收敛速度慢、学习效率低的问题,提出一种启发式强化学习算法,并针对传统Q(λ)算法,设计启发式奖励函数和启发式动作选择策略,以此强化智能体对优质行为的探索,提高算法学习效率.通过仿真对比实验,验证了基于改进Q(λ)启发式强化学习算法在探索次数、规划时间、路径长度与路径转角上都具有一定的优势.

基于深度强化学习的插电式柴电混合动力汽车多目标优化控制策略

插电式混合动力汽车工作模式切过程中发动机频繁启停引起的发动机排气温度和进气流速波动明显,导致SCR催化器催化效率降低和排放恶化,尤其是低温冷启动阶段更为明显。另一方面,建立精确的SCR催化器瞬态模型较为困难,传统基于模型的混合动力控制策略开发方法效果较差。以某P2构型插电式柴电混合动力汽车为研究对象,建立了包括发动机、电池和SCR后处理系统的整车纵向动力学模型;在此基础上将深度强化学习应用于插电式混合动力汽车的能量管理问题,采用DQN算法对油耗和排放组成的加权目标函数进行求解,得到以需求功率、蓄电池SOC和SCR温度为状态变量、以电机最优功率为输出变量的控制策略;最后将测试结果与DP算法进行对比分析。结果表明,燃油消耗为2.623 L/100 km,SCR催化器出口NO x排放为0.2275 g/km,与DP控制策略相比,分别下降10.12%和25.69%,证明了提出控制策略的有效性。

基于自适应旋转学习和危机意识策略的海洋捕食者算法

针对海洋捕食者算法(Marine Predators Algorithm,MPA)收敛速度慢、求解精度低以及容易陷入局部最优等缺点,提出一种基于自适应旋转学习和危机意识策略的海洋捕食者算法(ARCMPA)。首先,针对MPA算法收敛速度慢、收敛精度低的问题,引入危机意识策略,提高算法探索解空间能力,加强算法前期开发能力不足,加快前期算法收敛速度,改善算法解的质量。其次,引入自适应旋转学习机制,使整个种群的位置分布更加均匀,有效增强算法在迭代时种群的多样性,避免算法在前期加快收敛速度后陷入局部最优。通过2种策略的引入,有效增强算法的整体性能。本文选取10个基准测试函数,并与其他元启发式算法进行比较。实验结果表明,以上改进有助于提高算法整体性能。

基于强化学习的虚拟机资源调度模型研究

目前,现有的虚拟机资源调度算法主要采用基于启发式的方法。然而,针对不同类型的云任务,各种启发式调度算法的性能表现存在差异,若采用通用的启发式算法,可能导致集群资源被严重浪费。研究运用强化学习的方法,实现了一种对虚拟机资源进行自主学习的调度策略,并使用CloudSim仿真平台进行仿真实验。通过与几种传统的启发式调度算法进行对比,验证了强化学习在资源调度中的可行性和有效性。

高中物理教学中促进学生深度学习的策略

深度学习理念在高中物理教学中占据着重要地位,具有批判性、整合性与实践性特征。在实际教学中遵循层次性、启发性与评价性要求开展高中物理教学活动,能有效延展物理教学深度,促进学生深度学习,提升课堂教学效率。基于此,教师可借助启发式教学,激活学生深度学习兴趣;借助任务式教学,训练学生高阶思维能力;借助评价式教学,培养学生深度学习意识。旨在优化高中物理课程建设,助力学生物理学科思维由浅表走向深入,提升高中物理教学质量。