改进Q-Learning的路径规划算法研究

针对Q-Learning算法学习效率低、收敛速度慢且在动态障碍物的环境下路径规划效果不佳的问题,本文提出一种改进Q-Learning的移动机器人路径规划算法.针对该问题,算法根据概率的突变性引入探索因子来平衡探索和利用以加快学习效率;通过在更新函数中设计深度学习因子以保证算法探索概率;融合遗传算法,避免陷入局部路径最优同时按阶段探索最优迭代步长次数,以减少动态地图探索重复率;最后提取输出的最优路径关键节点采用贝塞尔曲线进行平滑处理,进一步保证路径平滑度和可行性.实验通过栅格法构建地图,对比实验结果表明,改进后的算法效率相较于传统算法在迭代次数和路径上均有较大优化,且能够较好的实现动态地图下的路径规划,进一步验证所提方法的有效性和实用性.

基于改进Q-Learning的移动机器人路径规划算法

随着移动机器人在生产生活中的深入应用,其路径规划能力也需要向快速性和环境适应性兼备发展。为解决现有移动机器人使用强化学习方法进行路径规划时存在的探索前期容易陷入局部最优、反复搜索同一区域,探索后期收敛率低、收敛速度慢的问题,本研究提出一种改进的Q-Learning算法。该算法改进Q矩阵赋值方法,使迭代前期探索过程具有指向性,并降低碰撞的情况;改进Q矩阵迭代方法,使Q矩阵更新具有前瞻性,避免在一个小区域中反复探索;改进随机探索策略,在迭代前期全面利用环境信息,后期向目标点靠近。在不同栅格地图仿真验证结果表明,本文算法在Q-Learning算法的基础上,通过上述改进降低探索过程中的路径长度、减少抖动并提高收敛的速度,具有更高的计算效率。

改进的Q-learning蜂群算法求解置换流水车间调度问题

针对置换流水车间调度问题,提出了一种基于改进的Q-learning算法的人工蜂群算法。该算法设计了一种改进的奖励函数作为人工蜂群算法的环境,根据奖励函数的优劣来判断下一代种群的寻优策略,并通过Q-learning智能选择人工蜂群算法的蜜源的更新维度数大小,根据选择的维度数大小对编码进行更新,提高了收敛速度和精度,最后使用不同规模的置换流水车间调度问题的实例来验证所提算法的性能,通过对标准实例的计算与其它算法对比,证明该算法的准确性。

改进麻雀算法和Q-Learning优化集成学习轨道电路故障诊断

无绝缘轨道电路的故障具有复杂性与随机性,采用单一的模型进行故障诊断,其性能评价指标难以提高。而采用集成学习方式,则存在各基学习器结构、参数设计盲目,集成模型中各基学习器组合权重难以分配的问题。针对以上问题,提出一种改进麻雀算法和Q-Learning优化集成学习的轨道电路故障诊断新方法,该方法有机地将集成学习与计算智能和强化学习相结合,充分挖掘轨道电路故障特征,提高性能评价指标。首先,使用卷积神经网络、长短期记忆网络和多层感知器深度学习模型,以及支持向量机和随机森林传统机器学习模型,共同构成集成学习基学习器,解决单一学习模型的不足,不同基学习器的使用保证集成学习的多样性。从自动化机器学习角度出发,采用改进麻雀算法优化该集成学习模型的结构和参数,克服其结构和参数难以确定的问题。在此之上,引入强化学习Q-learning对集成模型中各基学习器组合权重进行优化,智能地确定集成学习各基学习器的组合权重。最后,将集成学习模型的预测结果与真实结果比较后得到误差,再采用BP神经网络对预测结果进行补偿修正,进一步提高轨道电路的故障诊断性能评价指标。仿真结果表明,利用所提方法进一步改善了轨道电路故障诊断的准确度、精确度、召回率和F1值等性能评价指标。

基于softmax的加权Double Q-Learning算法

强化学习作为机器学习的一个分支,用于描述和解决智能体在与环境的交互过程中,通过学习策略以达成回报最大化的问题。Q-Learning作为无模型强化学习的经典方法,存在过估计引起的最大化偏差问题,并且在环境中奖励存在噪声时表现不佳。Double Q-Learning(DQL)的出现解决了过估计问题,但同时造成了低估问题。为解决以上算法的高低估问题,提出了基于softmax的加权Q-Learning算法,并将其与DQL相结合,提出了一种新的基于softmax的加权Double Q-Learning算法(WDQL-Softmax)。该算法基于加权双估计器的构造,对样本期望值进行softmax操作得到权重,使用权重估计动作价值,有效平衡对动作价值的高估和低估问题,使估计值更加接近理论值。实验结果表明,在离散动作空间中,相比于Q-Learning算法、DQL算法和WDQL算法,WDQL-Softmax算法的收敛速度更快且估计值与理论值的误差更小。

基于改进Q-learning算法移动机器人局部路径研究

针对局部路径规划时因无法提前获取环境信息导致移动机器人搜索不到合适的路径,以及在采用马尔可夫决策过程中传统强化学习算法应用于局部路径规划时存在着学习效率低下及收敛速度较慢等问题,提出一种改进的Q-learn-ing(QL)算法。首先设计一种动态自适应贪婪策略,用于平衡移动机器人对环境探索和利用之间的问题;其次根据A*算法思想设计启发式学习评估模型,从而动态调整学习因子并为搜索路径提供导向作用;最后引入三阶贝塞尔曲线规划对路径进行平滑处理。通过Pycharm平台仿真结果表明,使得改进后的QL算法所规划的路径长度、搜索效率及路径平滑性等特性上都优于传统Sarsa算法及QL算法,比传统Sarsa算法迭代次数提高32.3%,搜索时间缩短27.08%,比传统QL算法迭代次数提高27.32%,搜索时间缩短17.28%,路径规划的拐点大幅度减少,局部路径优化效果较为明显。

一种基于Q-learning强化学习的导向性处理器安全性模糊测试方案

针对处理器安全性模糊测试在进行细粒度变异时遗传算法存在一定的盲目性,易使生成的测试用例触发相同类型漏洞的问题,提出了一种基于Q-learning强化学习的导向性处理器安全性模糊测试方案。通过测试用例的状态值和所触发的漏洞类型对应的权值构造奖励函数,使用强化学习指导生成具有针对性和导向性的测试用例,快速地触发不同类型的漏洞。在Hikey970平台上的实验验证了基于ARMv8的测试用例生成框架的有效性,并且相较于传统使用遗传算法作为反馈的策略,本文方案在相同时间内生成有效测试用例的的数量多19.15%,发现漏洞类型的数量多80.00%。

基于改进Q-learning算法的移动机器人路径规划

针对传统Q-learning算法应用在路径规划中存在收敛速度慢、运行时间长、学习效率差等问题,提出一种将人工势场法和传统Q-learning算法结合的改进Q-learning算法。该算法引入人工势场法的引力函数与斥力函数,通过对比引力函数动态选择奖励值,以及对比斥力函数计算姿值,动态更新Q值,使移动机器人具有目的性的探索,并且优先选择离障碍物较远的位置移动。通过仿真实验证明,与传统Q-learning算法、引入引力场算法对比,改进Q-learning算法加快了收敛速度,缩短了运行时间,提高了学习效率,降低了与障碍物相撞的概率,使移动机器人能够快速地找到一条无碰撞通路。

基于改进型Q-Learning算法的路径规划系统研究

随着无人驾驶领域的兴起,人工智能、强化学习等概念开始普及。人工智能设备具有集成度高、可训练性以及可编程性等特点,在无人驾驶中的路径规划领域发挥了重要作用。论文首先介绍了现有研究中较为经典的路径规划算法,并针对Q-Learning算法效率低下等问题进行研究,提出了一种改进型Q-Learning算法。该算法首先对智能体的运动以及空间环境进行建模,其次改进了Q-Learning算法的奖励机制,最后规定了智能体的运动方式。仿真结果表明,基于改进型Q-Learning算法有效改善了智能体的运动路径以及工作效率。

基于时序Q-learning算法的主网变电站继电保护故障快速定位方法

主网变电站继电保护故障通常是突发性的,不会持续一段时间,暂态性质不明显,快速定位效果受限,基于此,提出基于时序Q-learning算法的故障快速定位方法。在时序Q-learning中,使用不同多项式函数参数表示不同主网变电站继电保护动作,采用贪婪策略选择主网变电站继电保护动作,根据继电保护状态反馈结果更新权重,使用时序Q-learning算法进行参数训练。构建故障暂态网络的节点导纳矩阵,计算支路电压、电流,确定故障关联域。按照拓扑图论方式时序Q-learning算法搭建快速定位拓扑结构,通过分析支路电流与故障电流之间距离,计算故障相关度,完成故障快速定位。由实验结果可知,该方法故障相序与实际一致,可以分析主网变电站继电保护暂态性质,适用于复杂多变的继电保护装置。

基于深度学习的无锚框目标检测算法综述

近年来,基于深度学习的无锚框目标检测算法备受关注。为了深入理解无锚框检测算法,对比分析了基于深度学习的无锚框检测算法的原理机制、网络结构、核心特性以及优缺点,归纳总结了无锚框检测算法的核心技术,并在同一数据集上通过性能实验研究上述算法的性能,总结提出基于深度学习的目标检测算法未来的研究方向。

基于深度表征学习和遗传算法的军用座舱色彩设计方法

军用座舱色彩设计作为载人军事设备工业设计中较为主观的一部分,设计的合理性至关重要。为提高军用座舱色彩设计的科学性,提出一种基于深度表征学习和遗传算法的军用座舱配色方法。利用深度表征学习模型预测军用座舱配色方案,并根据色彩感知理论建立军用座舱配色模型,将其作为生成方案的限制条件。同时,引入交互式遗传算法到智能配色系统中,通过人工引导的方式优化神经网络的参数,对预测的配色方案进行有效迭代。实验结果表明:该方法生成的配色方案符合军用座舱配色模型,结合遗传算法的模型预测准确率比单一的深度表征模型提高了16%~18%。相较于人工色彩设计方案,军用座舱智能配色方法生成的方案满意度略优、设计周期缩短了80%~88%,色彩稳定性提高了6%~12%。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于改进Q学习算法和组合模型的超短期电力负荷预测

单一模型在进行超短期负荷预测时会因负荷波动而导致预测精度变差,针对此问题,提出一种基于深度学习算法的组合预测模型｡首先,采用变分模态分解对原始负荷序列进行分解,得到一系列的子序列。其次,分别采用双向长短期记忆网络和优化后的深度极限学习机对每个子序列进行预测。然后,利用改进Q学习算法对双向长短期记忆网络的预测结果和深度极限学习机的预测结果进行加权组合,得到每个子序列的预测结果。最后,将各个子序列的预测结果进行求和,得到最终的负荷预测结果。以某地真实负荷数据进行预测实验,结果表明所提预测模型较其他模型在超短期负荷预测中表现更佳,预测精度达到98%以上。

基于模型质量评分的联邦学习聚合算法优化

在联邦学习环境中,客户端数据的质量是决定模型性能的关键因素。传统的评估方法依赖于在中心节点的验证集上衡量客户端模型的损失,从而对数据质量进行评估。在缺乏有效验证集的情况下,数据质量的评估是困难的。为了解决上述问题,提出了一种根据同伴信息进行模型质量评分的方法。通过对客户端上传的模型参数进行裁剪处理,基于正确评分规则的相关理论设计模型质量评分机制,并在此基础上优化聚合算法,降低低质量客户端对全局模型的影响。在MNIST、Fashion-MNIST和CIFAR-10等数据集上的实验表明,提出的评分机制无须复杂的算法,且能有效辨别搭便车、噪声、错误标签三类低质量数据客户端,提高联邦学习性能的鲁棒性。

融合均值榜样的反向互学习水母搜索算法

为解决水母搜索算法(jellyfish search algorithm,JS)的洋流运动缺乏多样性、群内运动缺乏引导性、种群间信息无交流,造成搜索速度慢、稳定性差及易早熟的问题,构建了一种融合均值榜样的反向互学习水母搜索算法(oppositional-mutual learning jellyfish search algorithm based on mean-value example,OMLJS).首先在水母跟随洋流运动(全局搜索)部分,利用前两代水母的平均位置代替只考虑上一代水母的平均位置来引导水母个体的位置更新,提高算法的全局搜索能力;其次在水母的群内主动运动(局部搜索)部分,利用最优个体代替随机个体来引导水母进行更有效的搜索,加快算法的收敛速度;然后在水母进入下一次迭代前增加对水母种群进行动态反向互学习步骤,增加种群多样性及增强种群间的信息交流,达到互补另外两个策略,提高算法的整体优化性能.选用12个经典的基准测试优化函数,将OMLJS与5个对比算法从解的平均值、最优值及方差进行对比分析,并用于求解最小生成树问题,OMLJS能够更快地找到最小生成树.实验结果表明,OMLJS的收敛速度、求解精度明显提高.

基于自适应宽度学习算法的城市污水处理污泥膨胀识别

针对污水处理过程的污泥膨胀难以精准识别的问题,提出了一种基于自适应宽度学习算法(adaptive broad learning algorithm,ABLA)的污泥膨胀识别方法。首先,结合城市污水处理过程的运行数据,采用主元分析法选取与污泥体积指数(sludge volume index,SVI)相关的特征变量;其次,建立了一种基于ABLA的污泥膨胀识别模型,利用自适应伪逆算法更新模型参数,提高了识别精度,并验证了模型的收敛性;最后,将所提模型应用于实际的污水处理过程中,利用污水处理厂的实际运行数据对其进行实验验证。实验结果表明,基于ABLA的污泥膨胀识别模型能够实现污泥膨胀的精准识别。

混合增强型机器学习算法在稀土供应链金融中评价中小企业信用风险的研究

稀土是支撑高端技术创新和新能源产业发展的关键原材料之一,研究解决稀土供应链中小企业融资困难的问题,做强我国稀土产业链,更好地维护国家战略利益是当务之急。供应链金融作为创新型融资方式成为实现中小企业融资授信的一种主要手段,但其中信用风险问题成为融资决策中需解决的最关键问题之一。本文提出了一种混合增强型机器学习算法,首先采用动态透镜成像反向学习改进的海洋捕食者算法(IMPA)对支持向量机算法(SVM)进行优化,再采用AdaBoost算法对优化后的SVM进行集成,建立AdaBoost-IMPA-SVM模型。采用该模型对供应链金融风险进行评价,重新建立供应链金融风险体系指标,通过相关性分析进行特效选取,并从计算机通信及其他制造业选取52家中国上市中小企业2019—2021年期间140个样本作为特征变量输入模型。仿真实验结果验证了该模型相较于其他信用风险评价模型具有更好的分类识别性能。

基于规则与Q学习的作业车间动态调度算法

为了在特定的作业条件下找到最优调度规则,提高调度规则在不确定动态条件下的自适应、自寻优能力,提出一种调度规则与Q学习算法集成的作业车间动态调度算法。考虑车间中作业随机到达的动态情况,以最小化最大延迟时间为调度目标,在Q学习框架下设计了新的状态特征、奖励机制以及以Boltzmann采样函数为主体的搜索策略,提高了算法探索和利用规则的能力;以最短加工时间优先和最早交货期等经典调度规则构成动作集,继承了调度规则的可解释性,使智能体能实时处理随机到达的作业任务,通过持续学习和迭代更新获得不同作业场景下的最优调度规则。仿真研究和对比测试验证了所提算法的优越性。

基于深度学习算法的胰腺癌CT自动分期系统的构建与应用

目的:构建基于深度学习算法的胰腺癌计算机断层扫描(CT)自动分期系统,并探讨其应用价值。方法:回顾性分析我院2014年01月至2021年12月收治的286例胰腺癌患者的临床资料,均经CT检查且明确TNM分期,利用CT检查信息基于深度学习算法的胰腺癌CT自动分期系统。另选取2022年01月至2023年02月胰腺癌患者92例,均经CT检查,并利用上述系统进行TNM分期,分析该系统的准确性。结果:基于深度学习算法的胰腺癌CT自动分期系统共包括7个模块,可以实现胰腺癌TNM自动分期;92例患者中共有Ⅰ期12例、Ⅱ期31例、Ⅲ期36例、Ⅳ期13例,经基于深度学习算法的胰腺癌CT自动分期系统诊断共有Ⅰ期10例、Ⅱ期31例、Ⅲ期38例、Ⅳ期13例;该系统诊断胰腺癌TNM分期的灵敏度、特异度和准确度高,且与金标准高度一致(Kappa值=0.912,P<0.001)。结论:本研究构建了基于深度学习算法的胰腺癌CT自动分期系统,诊断价值高。