基于Sarsa算法的城轨列车节能控制策略研究

针对城市轨道交通节能运行问题,提出一种基于Sarsa强化学习算法的城轨列车节能控制策略,实现了城轨列车在自动驾驶状态下,面对不同路况,执行减少能源消耗驾驶策略的同时兼顾准时性和舒适性。根据线路条件将列车状态进行离散化处理,将连续的驾驶过程分为若干个子区间进行分段求解。结合区间限速、初始状态、终末状态等限制条件,基于能耗及运行时间分别构造适当的奖励函数。同时,用当前状态下可达的最大速度与最小速度对可选速度集合进行限制,缩小探索空间,加快算法收敛。最后,通过对北京铁路亦庄线小红门站至肖村站的实例进行仿真。实验结果表明,与传统的动态规划方法相比,Sarsa算法在满足舒适性和准时性要求的情况下节能9.32%。相比于强化学习中的Q学习算法,在速度的选取过程中,超速次数也有明显下降。仿真结果证明Sarsa算法具有更好的节能效果和安全性。在算法参数不变的情况下,调整限速条件,与传统动态规划算法进行二次对比,依旧节能4.21%,验证了算法的鲁棒性。

基于深度学习的无锚框目标检测算法综述

近年来,基于深度学习的无锚框目标检测算法备受关注。为了深入理解无锚框检测算法,对比分析了基于深度学习的无锚框检测算法的原理机制、网络结构、核心特性以及优缺点,归纳总结了无锚框检测算法的核心技术,并在同一数据集上通过性能实验研究上述算法的性能,总结提出基于深度学习的目标检测算法未来的研究方向。

基于深度表征学习和遗传算法的军用座舱色彩设计方法

军用座舱色彩设计作为载人军事设备工业设计中较为主观的一部分,设计的合理性至关重要。为提高军用座舱色彩设计的科学性,提出一种基于深度表征学习和遗传算法的军用座舱配色方法。利用深度表征学习模型预测军用座舱配色方案,并根据色彩感知理论建立军用座舱配色模型,将其作为生成方案的限制条件。同时,引入交互式遗传算法到智能配色系统中,通过人工引导的方式优化神经网络的参数,对预测的配色方案进行有效迭代。实验结果表明:该方法生成的配色方案符合军用座舱配色模型,结合遗传算法的模型预测准确率比单一的深度表征模型提高了16%~18%。相较于人工色彩设计方案,军用座舱智能配色方法生成的方案满意度略优、设计周期缩短了80%~88%,色彩稳定性提高了6%~12%。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于改进Q学习算法和组合模型的超短期电力负荷预测

单一模型在进行超短期负荷预测时会因负荷波动而导致预测精度变差,针对此问题,提出一种基于深度学习算法的组合预测模型｡首先,采用变分模态分解对原始负荷序列进行分解,得到一系列的子序列。其次,分别采用双向长短期记忆网络和优化后的深度极限学习机对每个子序列进行预测。然后,利用改进Q学习算法对双向长短期记忆网络的预测结果和深度极限学习机的预测结果进行加权组合,得到每个子序列的预测结果。最后,将各个子序列的预测结果进行求和,得到最终的负荷预测结果。以某地真实负荷数据进行预测实验,结果表明所提预测模型较其他模型在超短期负荷预测中表现更佳,预测精度达到98%以上。

基于模型质量评分的联邦学习聚合算法优化

在联邦学习环境中,客户端数据的质量是决定模型性能的关键因素。传统的评估方法依赖于在中心节点的验证集上衡量客户端模型的损失,从而对数据质量进行评估。在缺乏有效验证集的情况下,数据质量的评估是困难的。为了解决上述问题,提出了一种根据同伴信息进行模型质量评分的方法。通过对客户端上传的模型参数进行裁剪处理,基于正确评分规则的相关理论设计模型质量评分机制,并在此基础上优化聚合算法,降低低质量客户端对全局模型的影响。在MNIST、Fashion-MNIST和CIFAR-10等数据集上的实验表明,提出的评分机制无须复杂的算法,且能有效辨别搭便车、噪声、错误标签三类低质量数据客户端,提高联邦学习性能的鲁棒性。

融合均值榜样的反向互学习水母搜索算法

为解决水母搜索算法(jellyfish search algorithm,JS)的洋流运动缺乏多样性、群内运动缺乏引导性、种群间信息无交流,造成搜索速度慢、稳定性差及易早熟的问题,构建了一种融合均值榜样的反向互学习水母搜索算法(oppositional-mutual learning jellyfish search algorithm based on mean-value example,OMLJS).首先在水母跟随洋流运动(全局搜索)部分,利用前两代水母的平均位置代替只考虑上一代水母的平均位置来引导水母个体的位置更新,提高算法的全局搜索能力;其次在水母的群内主动运动(局部搜索)部分,利用最优个体代替随机个体来引导水母进行更有效的搜索,加快算法的收敛速度;然后在水母进入下一次迭代前增加对水母种群进行动态反向互学习步骤,增加种群多样性及增强种群间的信息交流,达到互补另外两个策略,提高算法的整体优化性能.选用12个经典的基准测试优化函数,将OMLJS与5个对比算法从解的平均值、最优值及方差进行对比分析,并用于求解最小生成树问题,OMLJS能够更快地找到最小生成树.实验结果表明,OMLJS的收敛速度、求解精度明显提高.

基于深度学习算法的胰腺癌CT自动分期系统的构建与应用

目的:构建基于深度学习算法的胰腺癌计算机断层扫描(CT)自动分期系统,并探讨其应用价值。方法:回顾性分析我院2014年01月至2021年12月收治的286例胰腺癌患者的临床资料,均经CT检查且明确TNM分期,利用CT检查信息基于深度学习算法的胰腺癌CT自动分期系统。另选取2022年01月至2023年02月胰腺癌患者92例,均经CT检查,并利用上述系统进行TNM分期,分析该系统的准确性。结果:基于深度学习算法的胰腺癌CT自动分期系统共包括7个模块,可以实现胰腺癌TNM自动分期;92例患者中共有Ⅰ期12例、Ⅱ期31例、Ⅲ期36例、Ⅳ期13例,经基于深度学习算法的胰腺癌CT自动分期系统诊断共有Ⅰ期10例、Ⅱ期31例、Ⅲ期38例、Ⅳ期13例;该系统诊断胰腺癌TNM分期的灵敏度、特异度和准确度高,且与金标准高度一致(Kappa值=0.912,P<0.001)。结论:本研究构建了基于深度学习算法的胰腺癌CT自动分期系统,诊断价值高。

面向不平衡类的联邦学习客户端智能选择算法

在联邦学习应用场景下,若客户端设备之间的数据呈现非独立同分布特征,甚至出现类不平衡的情况时,客户端本地模型的优化目标将偏离全局优化目标,从而给全局模型的性能带来巨大挑战。为解决这种数据异质性带来的挑战,通过积极选择合适的客户端子集以平衡数据分布将有助于提高模型的性能。因此,设计了一种面向不平衡类的联邦学习客户端智能选择算法—FedSIMT。该算法不借助任何辅助数据集,在保证客户端本地数据对服务器端不可见的隐私前提下,使用Tanimoto系数度量本地数据分布与目标分布之间的差异,采用强化学习领域中的组合多臂老虎机模型平衡客户端设备选择的开发和探索,在不同数据异质性类型下提高了全局模型的准确率和收敛速度。实验结果表明,该算法具有有效性。

基于改进涡流搜索算法的外骨骼迭代学习控制

为提升康复外骨骼机器人的步态跟踪性能,提出一种基于改进涡流搜索算法的迭代学习控制方法。首先针对传统迭代学习控制抗扰性差和控制信息缺失问题,引入PD控制器、自适应遗忘因子、误差过渡曲线和控制信息搜索等策略,改进迭代学习控制律;其次,基于多种策略对涡流搜索算法进行改进,提出了一种改进涡流搜索算法,改进后的算法可优化迭代学习控制的PD参数;最后进行行走实验,将提出的迭代学习控制方法与现有的同类算法进行仿真和数值比较,并测试了扰动情况下的跟踪性能。实验结果表明,所提方法的误差更小,跟踪性能更强。该算法改进了迭代学习控制的不足,具有较强的抗扰性能,保证了使用时的稳定性。

基于深度强化学习的空天地一体化网络资源分配算法

空天地一体化网络(SAGIN)通过提高地面网络的资源利用率可以有效满足多种业务类型的通信需求,然而忽略了系统的自适应能力和鲁棒性及不同用户的服务质量(QoS)。针对这一问题,该文提出在空天地一体化网络架构下,面向城区和郊区通信的深度强化学习(DRL)资源分配算法。基于第3代合作伙伴计划(3GPP)标准中定义的用户参考信号接收功率(RSRP),考虑地面同频干扰情况,以不同域中基站的时频资源作为约束条件,构建了最大化系统用户的下行吞吐量优化问题。利用深度Q网络(DQN)算法求解该优化问题时,定义了能够综合考虑用户服务质量需求、系统自适应能力及系统鲁棒性的奖励函数。仿真结果表明,综合考虑无人驾驶汽车,沉浸式服务及普通移动终端通信业务需求时,表征系统性能的奖励函数值在2 000次迭代下,相较于贪婪算法提升了39.1%;对于无人驾驶汽车业务,利用DQN算法进行资源分配后,相比于贪婪算法,丢包数平均下降38.07%,时延下降了6.05%。

用聚类与插值改进深度学习算法实现变工况轴承故障诊断

针对基于深度学习轴承故障诊断模型由于工况因素导致诊断效果不佳的问题,提出了一种用聚类与插值(Clustering and interpolation,CAI)改进深度学习算法实现变工况轴承故障诊断的方法。首先,采用有限元法仿真多工况、多故障类型的轴承振动信号数据,获取足够样本;然后,完成宽卷积核深度卷积神经网络(Deepconvolutionalneuralnetworks with widekernel,WDCNN)模型构建,并利用任一工况下的数据完成模型训练;最后,利用CAI算法统一其余工况数据的转速信息,调用WDCNN模型完成对其余工况样本的故障诊断。结果显示,WDCNN模型对训练数据所属工况故障诊断准确率达99.9%,对经过CAI算法处理其他工况数据故障诊断识别率分别为98.7%、99.2%,是一种简单、准确有效、泛化能力强的故障诊断方法。

70kVp联合深度学习图像重建算法对胸主动脉血管内修复术后双低CTA图像质量的影响

目的探讨70 kVp联合深度学习图像重建(DLIR)算法在低辐射剂量低对比剂用量的情况下对胸主动脉血管内修复术(TEVAR)后主动脉CT血管成像(CTA)图像质量的影响。方法前瞻性纳入65例TEVAR术后需接受主动脉CTA扫描的患者,随机分为两组。常规剂量组(A组)接受100 kVp管电压和60 mL对比剂扫描,低剂量组(B组)接受“双低”方案:管电压70 kVp,对比剂用量为0.5 mL·kg^(-1)。A组图像采用50%多模型迭代重建算法(ASIR-V)重建,B组图像分别采用滤波反投影(FBP)算法(B1亚组)、50%ASIR-V(B2亚组)、90%ASIR-V(B3亚组)及DLIR-H算法(B4亚组)重建。测量并比较各组主动脉CT值、图像噪声、对比噪声比(CNR)及品质因数(FOM)。采用5分制对图像噪声、血管锐利度和整体图像质量进行评估。结果B4亚组噪声最低,较A组降低约23.49%(P<0.001)。A组、B4亚组主动脉各感兴趣区(ROI)CT值、CNR值及图像主观评分差异无统计学意义(P>0.05);B4亚组FOM值大于A组(P<0.001)。与A组比较,B组辐射剂量降低约52.38%(P<0.001),对比剂用量和注射流率分别降低约39%和33.6%(P<0.001)。结论采用70 kVp结合DLIR算法在TEVAR术后主动脉CTA扫描中可获得与常规剂量相当的图像质量,且辐射剂量和对比剂用量大幅度降低。

基于机器学习算法的在线推荐系统设计与性能优化研究

传统运营方式已经难以应对日益复杂的业务场景。特别是电商领域,采用个性化推荐系统对于改善用户体验、促进商品销售、提高广告点击率具有重要意义。文章以电商场景为例,设计了基于机器学习算法的在线推荐系统,并对该系统进行了性能优化。

基于强化学习的柴油机调速算法研究

为了更好地调节柴油机转速,提出一种强化学习–比例积分微分(proportional integral derivative, PID)控制器,并应用到了柴油机转速控制中。基于连续动作空间的柔性动作–评价(soft actor-critic, SAC)算法,结合连续型PID控制器,设计了一种强化学习–PID控制器,可代替传统PID控制的转速环。优化设计了基于演员–评论家(actor-critic)框架的输入输出和奖励函数以匹配柴油机特性,采用随机动作增加寻优效率,形成SAC-PID控制柴油机转速的网络交互结构,达到快速调整转速,减小稳定时间的效果。构建了以柴油机D6114为原型机的MATLAB/Simulink平均值模型,并利用试验数据验证了仿真模型的有效性。利用平均值模型,仿真验证了该控制算法效果。经过仿真验证本算法使柴油机转速响应曲线超调量更小,响应时间更快,鲁棒性更强,SAC-PID控制负载瞬态调速率和稳定时间均已达到1级精度指标。仿真对比验证了SAC算法的联合控制效果,结果表明其较其他算法更佳。

基于深度学习的桥梁表观裂缝检测算法研究

针对在复杂背景条件下难以直接对桥梁表观裂缝进行检测的问题,文章提出一种基于深度学习的桥梁表观裂缝检测算法。首先利用滑动窗口算法将采集到的桥梁表观裂缝图像切分为小尺寸的桥梁裂缝面元图像和桥梁背景面元图像,并根据对面元图像的分析,提出一种基于Inception网络和残差网络(ResNet)的桥梁裂缝分类模型,用于桥梁裂缝面元和桥梁背景面元的识别;然后结合桥梁裂缝分类模型与滑动窗口算法对桥梁表观裂缝图像进行检测;最后利用数字图像处理技术测量裂缝宽度。结果表明:该文算法对桥梁表观裂缝有超过99%的分类精度,可满足实际工程需要;实现了裂缝的提取并能准确地定位出裂缝在图像中的位置;根据成像原理能测量出裂缝宽度。与传统的深度学习模型相比,该模型拥有更高的执行效率,可用于大规模检测,更易于应用在桥梁健康检测中。

基于Stacking算法集成学习的页岩油储层总有机碳含量评价方法

总有机碳含量(TOC)是页岩油储层评价的重要参数,而传统总有机碳含量测井评价方法精度较低且普适性较差,机器学习模型在一定程度上提高了总有机碳含量预测精度,但结果存在不稳定性。为了进一步提高页岩油储层总有机碳含量预测精度,基于有机质岩石物理特征和不同总有机碳含量测井响应特征的深入分析,优选出深侧向电阻率、声波时差、补偿中子和密度测井曲线作为总有机碳含量的敏感测井响应,并将其作为输入特征,以岩心分析总有机碳含量作为期望输出值,分别建立了决策树模型、支持向量回归机模型、BP(Back Propagation)神经网络模型,并建立了以决策树模型为基模型、支持向量回归机模型为元模型的Stacking算法集成学习模型。利用B油田A区块的岩心样本数据和实际井数据对不同模型预测总有机碳含量结果进行了验证,结果表明,基于Stacking算法的集成学习模型的总有机碳含量预测精度最高,相较于决策树模型、支持向量回归机模型、BP神经网络模型和改进的ΔlgR法,预测精度有较大提高。因此,基于Stacking算法的集成学习模型为该研究区最有效的总有机碳含量计算方法,这为准确地评估页岩油储层的生烃潜力、确保页岩油储层的高效开采及资源利用奠定了基础。

基于强化学习的离散层级萤火虫算法检测蛋白质复合物

蛋白质复合物的检测有助于从分子水平上理解生命的活动过程。针对群智能算法检测蛋白质复合物时假阳/阴性率高、准确率低、种群多样性下降等问题,提出了基于强化学习的离散层级萤火虫算法检测蛋白质复合物(reinforcement learning-based discrete level firefly algorithm for detecting protein complexes,RLDLFA-DPC)。引入强化学习思想提出一种自适应层级划分策略,动态调整层级结构,能有效解决迭代后期种群多样性下降的问题。在层级学习策略中个体向两个优秀层级学习,避免算法陷入局部最优。为了提高蛋白质复合物检测的精度,结合个体环境信息提出自适应搜索半径的局部搜索策略。最后,在酵母蛋白质的4个数据集上,与8种经典的蛋白质复合物检测方法进行对比,验证了该方法的有效性。

融合三维螺旋运动和混合反向学习策略的改进鹈鹕优化算法

针对鹈鹕优化算法收敛速度较慢、初始化过程随机产生初始种群导致种群多样性差,在后期易陷入局部最优等问题,提出了一种融合三维螺旋飞行和混合反向学习策略的鹈鹕优化算法。首先使用Gauss映射初始化种群,提高种群多样性;其次利用三维螺旋飞行和混合最优最差反向学习策略,加强算法跳出局部最优的能力;最后,引入自适应平衡因子与自适应步长,提出鹈鹕坠落策略,以模拟捕食过程中群体的微小变化。最后,通过12个基准函数和实际案例对IPOA(improved pelican optimization algorithm)进行测试,并与8个仿生算法进行对比,测试结果与Wilcoxon符号秩和检验结果均表明IPOA收敛精度与稳定性等各项性能都有所提升,具有明显优势。

面向人体姿态图像关键点检测的深度学习算法

传统人体姿态检测方法提取图像信息能力弱,易受背景环境干扰,在图像辨识上具有一定的局限性。为解决由于背景干扰而导致的人体姿态识别准确率低、计算效率差的问题,提出了一种基于人体关键点骨架合成与上深度学习姿态识别算法相结合的框架体系。首先采用MobileNet残差网络优化Open Pose网络结构,降低人体骨骼关键点识别的计算复杂度,提高计算效率;然后通过PAF算法预测骨架的最优连通域,构建出最优人体骨架信息,并基于最优骨架信息生成人体骨架辅助框提取法则,提取人体姿态的相对位置,解决环干扰的问题;接着将人体关键点特征与HOG特征有机融合,基于深度学习网络构建出OP-GAN人体姿态识别模型。仿真结果表明,与传统SVM模型相比,OP-GAN模型的F1综合性能指标提升了6.85%;与其它深度学习算法相比,关键点特征的融合以及GAN网络的使用均与模型的性能指标呈正相关关系。因此,新构建的OP-GAN人体姿态识别模型通过解决背景干扰的同时,提高了人体姿态识别的准确率与效率。