基于改进TD3算法的智能通信干扰决策方法研究

本文对通信对抗中干扰决策方法展开研究,旨在解决人为手动干扰决策带来的对抗方式单一、极易被敌军发现、干扰效率不佳等问题。随着科技的发展,各种电子技术层出不穷,这就导致电子战争中的环境变得越来越复杂,为了应对这种复杂的环境,并达到预期的干扰效果,本文提出一种基于改进双延迟深度确定性策略梯度算法(TD3)的智能通信干扰决策方法,以解决通信干扰过程中的干扰决策问题。TD3算法不仅能够应对连续动作空间而且具有高稳定性的特点。另外,改进的TD3算法使学习的过程更加迅速,算法的结果也更加收敛。仿真结果表明,基于该算法的改进,通信干扰成功率比原算法提升了28%。

改进TD3算法在电机PID控制器中的应用

本文针对永磁同步电机(PMSM)在工业领域中的多变量、非线性和强耦合特性以及传统PID控制在应对其变化时可能导致参数调整困难、响应延迟、鲁棒性差以及适应性问题,提出一种结合双延迟深度确定性策略梯度(TD3)算法和PID控制的创新方案,以优化PID参数调整,实现更精确的电机速度控制.在本文的方法中,融合双向长短期记忆网络(BiLSTM)到Actor和Critic网络中,极大增强了对PMSM动态行为的时间序列数据处理能力,使得系统不仅能够准确捕捉当前状态,还能预测未来趋势,从而实现对PID参数更精确和适应性强的自整定.此外,通过整合熵正则化和好奇心驱动的探索方法进一步增强策略的多样性,避免过早收敛到次优策略,并鼓励模型对未知环境进行深入探索.为验证方法的有效性,设计了一个永磁同步电机的仿真模型,并将本文提出的方法BiLSTM-TD3-ICE与传统的TD3以及经典的Ziegler-Nichols (Z-N)方法进行对比.实验结果充分证明了本文提出的策略在控制性能上具有显著的优势.

人工湿地对水体中TDS、Turb及FDOM的净化效果研究

以北京市野生动物救护中心的人工湿地为案例,评估人工湿地作为一种生态净化系统在不同环境条件下对水体中溶解性总固体(TDS)、浊度(Turb)和荧光溶解性有机质(FDOM)的去除效果。采用定位观测与对比分析方法,于2023年5月至7月期间,在北京市野生动物救护中心人工湿地选取不同的样点进行水样采集与监测,使用YSI6820多参数水质监测仪监测TDS、Turb及FDOM的浓度变化,并与2009年同期数据进行比较。研究结果表明:随着样点距离的增加,人工湿地对TDS、Turb和FDOM等污染物的去除率呈上升趋势,且同一样点不同月份之间的去除率存在差异;与2009年人工湿地浊度去除率对比分析可知,2023年浊度去除率显著提升;水体温度的升高能够提高人工湿地对TDS、Turb及FDOM的去除率。

大补偿量小型化TD板联轴节应用研究

针对现有TD板联轴节体积大,轴向、径向补偿量较小,且安装空间较大的问题,文章开展TD板联轴节小型化的应用研究。通过将中间体与防撞板设计成一体结构,大幅减小TD板联轴节的体积。同时,采用了柔性强度结构,极大地提高了小型化TD联轴节的补偿能力。小型化TD板联轴节体积为原有体积的58%,径向补偿能力由±9.7 mm提高到±14.5 mm,轴向补偿能力由±8.0 mm提高到±10.5 mm。

基于预训练模型TD3的干扰目标分配方法

干扰机有效压制雷达目标探测范围对突防任务至关重要,针对多对多干扰目标分配场景中传统优化算法存在的干扰目标分配求解缓慢的问题,提出一种基于预训练模型TD3(Twin Delayed Deep Deterministic policy gradient algorithm)的干扰目标分配方法。该方法利用预训练的深度神经网络初始化TD3算法中的动作网络和评价网络,以提高TD3算法与环境的交互训练效率,使完成训练之后的TD3算法能够根据战场态势输出干扰目标分配方案。仿真验证表明,在多对多干扰目标分配场景中,该方法可实现秒量级以下的干扰目标分配方案有效决策。

基于表面灰度和纹理识别的TDS智能干选机刮板机异常状态检测方法

TDS智能干选机是选煤厂的主要生产设备,刮板机作为其关键组件,常因跳链、断链等故障阻碍机器的工作进度。针对刮板机故障的强偶发性与故障扩大化效应,以机器视觉为技术,以表面灰度和纹理识别为手段,提出TDS智能干选机刮板机异常状态检测方法。根据图像灰度值,利用基于改进生长准则的区域生长法,生成粗略的异常状态检测目标区域。采用形态学的腐蚀、膨胀、开运算和闭运算操作,处理区域生长后的图像和新产生的导线图像。引入canny算子识别检测区域中的目标纹理,生成目标轮廓线。结合轮廓线和直线斜率、灰度、纹理、虚拟边框与机链轮廓的位置关系等信息,实现异常状态检测。实验结果表明,该方法对跳链、断链、漂链、掉链、跑偏5种刮板机异常状态检测的真阳性指数分别高达0.98,0.98,0.98,0.97,0.94,且实际量与检测量的误差均不足1 mm。该方法具有较高的正确检测比例和检测精准度,可指导TDS智能干选机刮板机的安全运行。

TDS智能干选系统分选灵活性智能控制技术

为了提高选煤厂煤矸石筛选精准度,避免资源损耗,提出了TDS智能干选系统分选灵活性智能控制技术。通过分析TDS智能干选系统结构和运行方式,明确各部分装置性能和分选流程。利用双能X射线透射法在线测量煤矸石灰分,结合传输介质的质量吸收系数和质量厚度,计算煤碳低能X射线的质量衰减系数,获得分选识别函数。采用PID控制方法调节TDS智能干选系统,算出控制信号的时域与频域,令设备迅速进入稳定状态,实现分选智能控制。实验结果表明:(1)TDS智能干选系统分选灵活性智能控制技术排矸频率是最佳的,且电动机功率波动最小的,整体的控制效果较好,保证精准分选煤矸石。(2)在进料端发生一段60 s的无进料量段,TDS智能干选系统分选灵活性智能控制技术排矸频率存在一定的缓降期,随后急剧降低,矸石排出量小,驱动电动机功率减少的不多,能保证矸石层的稳定性,且不会对矸石层的结构造成破坏。(3)在进料端速率为400 t/h且持续60 s,TDS智能干选系统分选灵活性智能控制技术排矸频率先是呈现缓慢上升的状态,然后快速上升,令排矸速度增加,驱动电动机功率增加少,能够确保分选煤和矸石过程稳定,且不会对矸石层结构造成损坏。

基于改进型TD3算法的车载边缘计算任务卸载决策

为满足复杂车辆任务在时延、能耗和计算性能方面的要求,同时减少网络资源的竞争和消耗,设计了一种基于车载边缘计算(VEC)的任务卸载策略,以最小化任务处理延迟和能源消耗之间平衡的长期成本为目标,将车联网中的任务卸载问题建模为马尔可夫决策过程(MDP),提出了在传统双延时深度确定性策略梯度(TD3)的基础上,利用长短期记忆网络(LSTM)来逼近策略函数和价值函数,将系统状态进行归一化处理以加速网络收敛并增强训练稳定性的改进算法(LN-TD3)。仿真结果表明,LN-TD3性能与全部本地计算和全部卸载计算相比提高了两倍以上;收敛速度上与深度确定性策略梯度DDPG、TD3相比提高了约20%。

TDS智能干选系统在哈尔乌素选煤厂的应用实践

为解决浅槽分选机入选量大、后续煤泥水系统负荷较大等问题,准能哈尔乌素选煤厂采用TDS智能干选机分选200~(70)50 mm块煤。生产实践表明,TDS智能干选机运行平稳,矸中带煤率2.42%、中煤发热量9.21 MJ/kg、精煤发热量22.00 MJ/kg;减少了浅槽分选机的处理量,降低了煤泥水系统负荷;增加了全厂销售收入,降低了生产成本,提高了经济效益。

TDS智能干选在万峰煤矿的应用

万峰矿原煤整体矸石含量在50%左右,+25 mm矸石含量在30%以上,为了减少万峰矿原煤矸石含量,为后续洗煤生产降低生产成本、运行费用和排矸费用等,研究制定了对原有筛分车间进行技术改造,利用TDS智能干选系统处理+25 mm万峰原煤的方案。经试运行,使用结果达到预先排矸的目的,实现了对整个原煤加工过程的优化,减少了无效运输费用、排矸费、手拣矸人员配备,同时减少了生产系统入洗量和磨损量,取得了较为理想的经济效益和社会效益。

TDS智能干选机的优化改造应用

TDS智能干选机作为关键设备在矿山和冶金工业中扮演着重要角色。优化改造其功能和性能对提高生产效率、减少能源消耗和降低成本具有重要意义。本篇文章将探讨TDS智能干选机优化改造的重要性、存在的问题,并提出相应的改造方案,以期为相关行业提供更有效的技术支持和改进方案。

数字化时代下汉剧非遗保育与传承——以“数·剧”TD项目为例

传统汉剧是国家级非物质文化遗产。为加强其文化传承教育,推出“数·剧”TD项目,旨在通过数字化技术、虚拟IP、交互技术、TD生成,为汉剧注入新的生命力。

深度强化学习TD3算法在倒立摆系统中的应用

针对现有控制算法在倒立摆系统控制中存在的局限性,融合强化学习和深度学习方法,提出一种基于双延迟深度确定性策略梯度(TD3)的倒立摆端到端控制方法。首先,利用倒立摆动力学模型搭建虚拟仿真环境,设计稀疏奖励函数;其次,通过深度神经网络构建从倒立摆状态输入到执行动作输出的端到端控制模型,分析倒立摆特性,来确定神经网络结构和参数;最后,将虚拟仿真环境中生成的模型移植到倒立摆实物平台并进行优化。试验结果表明:该方法生成的模型能够有效地建立倒立摆状态和执行动作之间的映射关系,在运动控制中具有一定的借鉴意义。

基于Copula函数的人民胜利渠灌区地下水埋深与TDS联合分布分析

为了查明不同埋深区域地下水溶解性总固体(TDS)变化规律,选择人民胜利渠灌区为研究区,根据地下水TDS值将灌区划分为高值区域、过渡区域和低值区域,采用AIC准则筛选出最优Copula函数,采用最优Copula函数构建不同区域地下水埋深与TDS之间的联合分布,对两者的关系进行分析。结果表明:不同区域地下水埋深与TDS之间均具有较强的正相关关系,高值区域地下水埋深和TDS最优边缘分布均为Gamma分布,过渡区域和低值区域地下水埋深最优边缘分布均为Weibull分布、TDS最优边缘分布均为Gamma分布。各典型观测井埋深-TDS最优联合分布函数均为Frank Copula函数。根据联合概率等值线可得当地下水埋深与TDS增大时,联合概率值也增大;当联合概率值一定时,TDS随着地下水埋深的增大而降低,并趋于稳定;联合概率等值线也可以反映任意埋深下TDS所发生的概率,以及同一概率下不同埋深与TDS之间可能出现的组合。

基于改进TD3的MEC多任务计算卸载

在多用户多任务场景下,使用传统的决策算法去对短时间内接踵而来的任务进行计算卸载决策,已经不能满足用户对决策效率和资源利用率的要求.因此有研究提出使用深度强化学习算法来进行卸载决策以满足各种场景下的需求,但是这些算法大多只考虑卸载优先的策略,这种策略使用户设备(UE)被大量闲置.我们提高了移动边缘计算(MEC)服务器和用户设备(UE)的资源利用率,降低计算卸载的错误率,提出了一种本地优先和改进TD3(twin delayed deep deterministic policy gradient)算法相结合的决策卸载模型,并设计了仿真实验,通过实验证明该模型确实可以提高MEC服务器和UE的资源利用率并降低错误率.

带Q网络过滤的两阶段TD3深度强化学习方法

常规的深度强化学习模型训练方式从“零”开始,其起始策略为随机初始化,这将导致智能体在训练前期阶段探索效率低、样本学习率低,网络难以收敛,该阶段也被称为冷启动过程。为解决冷启动问题,目前大多数工作使用两阶段深度强化学习训练方式;但是使用这种方式的智能体由模仿学习过渡至深度强化学习阶段后可能会出现遗忘演示动作的情况,表现为性能和回报突然性回落。因此,该文提出一种带Q网络过滤的两阶段TD3深度强化学习方法。首先,通过收集专家演示数据,使用模仿学习-行为克隆以及TD3模型Q网络更新公式分别对Actor网络与Critic网络进行预训练工作;进一步地,为避免预训练后的Actor网络在策略梯度更新时误选择估值过高的演示数据集之外动作,从而遗忘演示动作,提出Q网络过滤算法,过滤掉预训练Critic网络中过高估值的演示数据集之外的动作估值,保持演示动作为最高估值动作,有效缓解遗忘现象。在Deep Mind提供的Mujoco机器人仿真平台中进行实验,验证了所提算法的有效性。

基于SAC和TD3的含电动汽车虚拟电厂调度策略

虚拟电厂(VPP)可以聚合分布式电源(DER)参与电力市场和辅助服务市场运行,为配电网和输电网提供管理和辅助服务,其运行和控制得到广泛关注。针对含电动汽车(EV)充电站的虚拟电厂,构建了基于柔性行动器-评判器(SAC)算法和双延迟深度确定性策略梯度(TD3)算法的VPP与EV充电站主从博弈模型。通过训练主从博弈网络参数,计算博弈均衡时的策略和解。算例结果表明,上述模型训练完成后,可以有效地降低EV充电站运行费用以及平缓功率,基于SAC强化学习方法能够整合VPP内部DER,并引导电动汽车有序充电。在VPP作为价格接受者参与日前电力市场时,也能够给出优化的交易策略;当VPP与EV之间存在主从博弈时,EV用确定性策略算法可以降低充电成本,VPP用随机性策略算法则可以提高收益。

基于TD3算法的热管堆功率控制算法优化研究

核反应堆功率控制仍多采用PID控制算法,但其控制参数往往难以选择,也难以在不同功率水平下均保持最优的控制效果。论文针对热管冷却核反应堆的功率控制设计PID控制算法,并基于深度强化学习TD3算法来实现对PID控制器的参数寻优。对比基于试凑法和参数寻优选取的PID参数的控制效果,采用深度强化学习TD3算法寻优参数可以获得更快速稳定的控制效果。

模具表面TD法制备碳化物薄膜研究进展

随着制造业的快速发展,对模具表面性能的要求越来越高。与物理气相沉积、化学气相沉积和热喷涂等表面改性技术相比,TD法具有操作简单、成本低等特点,能在模具表面制备高硬度薄膜,从而提高模具的耐磨性和使用寿命。TD法所用盐浴有硼砂盐浴、中性盐浴、混合盐浴和低温氯化物盐浴。采用TD法制备的薄膜有单元碳化物薄膜和性能更好的多元碳化物薄膜及高熵合金碳化物薄膜。目前TD法已在模具制造行业得到了广泛应用。今后TD法将从制备单元碳化物薄膜向制备多元碳化物和高熵合金碳化物薄膜的方向发展。

东曲选煤厂TDS智能干选机供风系统改进

为解决东曲选煤厂TDS智能干选机供风质量及供风环境差,影响分选效果的问题,对供风系统进行了改进。采用PLC及变频器改进了空压机启停方式;对供风系统配套的冷干机、储气罐排污方式进行升级改造,并对其老旧供风管路进行更新。改进后,设备供风环境的稳定性得到了保障,降低了配套设备、设施及配件的损耗,提高了TDS智能干选机的工作效率。