改进TD3算法的机械臂三维路径规划方法

在军事航空领域中,复杂任务对机械臂路径规划提出了挑战。针对双延迟深度确定性策略梯度(TD3)算法学习效率低、样本利用率低的问题,提出了一种改进的TD3算法(Recurrent-TD3算法)。首先,将LSTM结合到策略网络与价值网络中,捕获航空控制任务中的时间序列信息,增强对时间序列变化的响应能力,使其能够在决策时考虑历史动作和状态,提高网络的表达能力;然后,将事后经验回放(HER)技术集成到TD3算法中,以解决任务中稀疏奖励难以学习的问题,通过将未达到目标的经验转化为达到新目标的经验,从而更有效地利用样本;最后,设计了一种基于包围盒的碰撞检测流程,以提高机械臂在军用航空任务中的安全性。实验表明,该算法相比于其他算法能够更快地找到一条无碰撞的路径,且平均路径长度最短。

小分子药物TD-198946促进大鼠骨髓间充质干细胞的成骨分化

背景:小分子药物TD-198946是一种能诱导干细胞形成软骨的高效软骨生成剂,但目前尚不清楚其对成骨分化的作用。目的:探讨小分子药物TD-198946促进大鼠骨髓间充质干细胞成骨分化的效果及其作用机制。方法:提取SD大鼠骨髓间充质干细胞,利用CCK-8法评估不同浓度TD-198946对骨髓间充质干细胞增殖的影响,确定TD-198946的最佳使用浓度;然后加入最适浓度TD-198946和成骨分化培养基对骨髓间充质干细胞进行成骨诱导;成骨诱导第3天用qRT-PCR检测碱性磷酸酶、Runt相关转录因子2、骨桥蛋白、骨钙蛋白、Ⅰ型胶原基因表达;成骨诱导第7天进行碱性磷酸酶染色,Western blot检测Runt相关转录因子2、Ⅰ型胶原、AKT、p-AKT、PI3K、p-PI3K蛋白表达;成骨诱导第21天进行茜素红染色。结果与结论:①CCK-8实验结果显示,100 nmol/L TD-198946能促进骨髓间充质干细胞增殖;②碱性磷酸酶染色及茜素红染色结果显示,TD-198946能促进大鼠骨髓间充质干细胞的成骨分化;③qRT-PCR结果显示,TD-198946可促进成骨相关基因碱性磷酸酶、Runt相关转录因子2、骨桥蛋白、骨钙蛋白、Ⅰ型胶原的表达;④Western blot结果显示,TD-198946可促进Runt相关转录因子2、Ⅰ型胶原以及p-PI3K、p-AKT蛋白表达。结果表明,小分子药物TD-198946可能通过激活PI3K/AKT信号通路,诱导大鼠骨髓间充质干细胞成骨分化。

DESIGN AND ANALYSIS FOR NEW DISCRETE TRACKING-DIFFERENTIATORS

In this paper,some kinds of linear and nonlinear tracking-differentiators are designed by using suitable exponent functions instead of switch functions,and the stability of these tracking-differentiators is proved.From the result of simulations,it is manifest that the tracking speeds of these kinds of linear and nonlinear tracking-differentiators are very high,and their design procedures are simple.

基于改进TD3算法的智能通信干扰决策方法研究

本文对通信对抗中干扰决策方法展开研究,旨在解决人为手动干扰决策带来的对抗方式单一、极易被敌军发现、干扰效率不佳等问题。随着科技的发展,各种电子技术层出不穷,这就导致电子战争中的环境变得越来越复杂,为了应对这种复杂的环境,并达到预期的干扰效果,本文提出一种基于改进双延迟深度确定性策略梯度算法(TD3)的智能通信干扰决策方法,以解决通信干扰过程中的干扰决策问题。TD3算法不仅能够应对连续动作空间而且具有高稳定性的特点。另外,改进的TD3算法使学习的过程更加迅速,算法的结果也更加收敛。仿真结果表明,基于该算法的改进,通信干扰成功率比原算法提升了28%。

融合课程学习的TD3在上证50ETF期权上的动态对冲研究

如何进行动态对冲来管理头寸风险在期权交易中极为关键,然而在实际市场环境中并没有一个完美对冲的标准答案,因此寻求更好的对冲策略一直是投资领域的热门需求和研究的焦点.采用深度强化学习算法TD3,并结合课程学习的思想引导智能体采用从模拟到真实的学习方式实现动态对冲任务,降低学习难度并缓解期权数据不足的问题,构建了在上证50ETF期权上的动态对冲策略.结果表明深度强化学习算法的对冲效果远超传统对冲策略,验证了强化学习算法在期权对冲领域的有效性和优势.

基于TD3的恶意节点检测与鲁棒联邦聚合算法

针对联邦学习中的数据安全与隐私问题,提出了一种基于双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic policy gradient,TD3)的恶意节点检测与鲁棒联邦聚合算法,旨在提高系统在面对恶意攻击时的鲁棒性。以标签翻转攻击和梯度上升攻击为例,展示了该算法对于恶意节点的有效识别与抵御能力,并对比分析了所提方法与传统的聚合算法,如FedAvg、Krum、MKrum等。试验结果表明,相较于传统算法,所提算法不仅能有效防御恶意攻击,同时能保持高效的学习效率和模型准确性,显著提升了模型的整体安全防御能力。

人工湿地对水体中TDS、Turb及FDOM的净化效果研究

以北京市野生动物救护中心的人工湿地为案例,评估人工湿地作为一种生态净化系统在不同环境条件下对水体中溶解性总固体(TDS)、浊度(Turb)和荧光溶解性有机质(FDOM)的去除效果。采用定位观测与对比分析方法,于2023年5月至7月期间,在北京市野生动物救护中心人工湿地选取不同的样点进行水样采集与监测,使用YSI6820多参数水质监测仪监测TDS、Turb及FDOM的浓度变化,并与2009年同期数据进行比较。研究结果表明:随着样点距离的增加,人工湿地对TDS、Turb和FDOM等污染物的去除率呈上升趋势,且同一样点不同月份之间的去除率存在差异;与2009年人工湿地浊度去除率对比分析可知,2023年浊度去除率显著提升;水体温度的升高能够提高人工湿地对TDS、Turb及FDOM的去除率。

基于TD-Mask R-CNN的机械装配体图像实例分割

在机械产品装配过程中,为了准确识别机械装配体零件信息以减少零件漏装、错装等现象,提出一种改进的机械装配体图像实例分割方法TD-Mask R-CNN。首先,在主干网络ResNet101中引入可变形卷积(deformable convolutional networks, DCN)以增加网络模型的泛化能力;其次,使用Transfiner结构作为掩码分支以提高机械零件边缘的分割精度;最后,在Transfiner结构中引入离散余弦变换(discrete cosine transform, DCT)模块以提升模型对机械装配体图像整体的分割能力。实验结果表明,提出的实例分割方法在合成深度图像数据集和真实彩色图像数据集上得到的掩码平均精度(average precision, AP)分别为87.7%和92.0%,与其他主流实例分割算法相比均有所提升。

低地球轨道下基于TD3算法的通用轨道转移控制

为应对低地球轨道下潜在的航天器脉冲式轨道转移任务挑战,提出一种用深度强化学习算法建立轨道转移通用控制模型的方法,以减少人工干预,解决反应不及时等问题。通过对轨道动力学的建模和对马尔可夫决策过程的设计,成功将TD3(Twin Delayed Deep Deterministic Policy Gradient)算法运用于轨道转移决策,实现高度自主的脉冲式点火控制器的设计。实验结果表明,使用TD3算法建立的脉冲式点火控制器,在不同的轨道转移任务下自主到达目标轨道的成功率可达96.1%,同时完成了轨道5个根数的收敛,证明TD3算法用于解决该问题的可行性与有效性。

基于改进TD3算法的机器人路径规划

针对机器人路径规划中深度强化学习方法训练时间长、收敛速度慢的问题,提出一种改进双延迟深度确定性策略梯度算法(twin delayed deep deterministic policy gradient,TD3)。该算法引入人工势场中的引力场和斥力场优化TD3的奖励函数,引导机器人合理的避开障碍物前往目标点,从而提高算法的收敛速度和准确率;同时运用运动约束规则对机器人的运动方向进行约束,使得运动轨迹更加平滑流畅。仿真实验结果表明,在多障碍物环境中,所提算法能有效地使机器人避开障碍物并规划出合理的路径。与其他方法相比,改进后的算法规划成功率更高,规划路径更短。

改进TD3算法在电机PID控制器中的应用

本文针对永磁同步电机(PMSM)在工业领域中的多变量、非线性和强耦合特性以及传统PID控制在应对其变化时可能导致参数调整困难、响应延迟、鲁棒性差以及适应性问题,提出一种结合双延迟深度确定性策略梯度(TD3)算法和PID控制的创新方案,以优化PID参数调整,实现更精确的电机速度控制.在本文的方法中,融合双向长短期记忆网络(BiLSTM)到Actor和Critic网络中,极大增强了对PMSM动态行为的时间序列数据处理能力,使得系统不仅能够准确捕捉当前状态,还能预测未来趋势,从而实现对PID参数更精确和适应性强的自整定.此外,通过整合熵正则化和好奇心驱动的探索方法进一步增强策略的多样性,避免过早收敛到次优策略,并鼓励模型对未知环境进行深入探索.为验证方法的有效性,设计了一个永磁同步电机的仿真模型,并将本文提出的方法BiLSTM-TD3-ICE与传统的TD3以及经典的Ziegler-Nichols (Z-N)方法进行对比.实验结果充分证明了本文提出的策略在控制性能上具有显著的优势.

大补偿量小型化TD板联轴节应用研究

针对现有TD板联轴节体积大,轴向、径向补偿量较小,且安装空间较大的问题,文章开展TD板联轴节小型化的应用研究。通过将中间体与防撞板设计成一体结构,大幅减小TD板联轴节的体积。同时,采用了柔性强度结构,极大地提高了小型化TD联轴节的补偿能力。小型化TD板联轴节体积为原有体积的58%,径向补偿能力由±9.7 mm提高到±14.5 mm,轴向补偿能力由±8.0 mm提高到±10.5 mm。

基于预训练模型TD3的干扰目标分配方法

干扰机有效压制雷达目标探测范围对突防任务至关重要,针对多对多干扰目标分配场景中传统优化算法存在的干扰目标分配求解缓慢的问题,提出一种基于预训练模型TD3(Twin Delayed Deep Deterministic policy gradient algorithm)的干扰目标分配方法。该方法利用预训练的深度神经网络初始化TD3算法中的动作网络和评价网络,以提高TD3算法与环境的交互训练效率,使完成训练之后的TD3算法能够根据战场态势输出干扰目标分配方案。仿真验证表明,在多对多干扰目标分配场景中,该方法可实现秒量级以下的干扰目标分配方案有效决策。

TDS智能干选系统在哈尔乌素选煤厂的应用实践

为解决浅槽分选机入选量大、后续煤泥水系统负荷较大等问题,准能哈尔乌素选煤厂采用TDS智能干选机分选200~(70)50 mm块煤。生产实践表明,TDS智能干选机运行平稳,矸中带煤率2.42%、中煤发热量9.21 MJ/kg、精煤发热量22.00 MJ/kg;减少了浅槽分选机的处理量,降低了煤泥水系统负荷;增加了全厂销售收入,降低了生产成本,提高了经济效益。

大肠杆菌耐药基因TD-PCR检测方法的建立及应用

为建立一种检测大肠杆菌主要耐药基因(ARG)的通用降落PCR(TD-PCR)方法,本研究参考大肠杆菌标准菌株K12 MG1655 yeeJ基因序列设计合成不同Tm值引物、不同产物长度引物、不同长度引物,并参考Gen Bank中登录的β-内酰胺酶、氨基糖苷类、酰胺醇类、喹诺酮类和黏菌素类部分ARG序列设计合成共29对引物。以大肠杆菌标准菌株K12 MG1655总DNA为模板,采用TD-PCR和普通PCR方法,分别利用不同Tm值引物(P1~P8)、不同产物长度引物(P9~P16)、不同长度的引物(P17~P22)分别扩增yeeJ基因,均用于检测TD-PCR方法的特异性;利用引物P5扩增yeeJ基因,根据目的条带平均亮度值,对TD-PCR方法的扩增产物量分析。不同Tm值引物的扩增结果显示,TD-PCR方法中利用8对不同Tm值引物扩增后均出现目的条带,且均无非特异性条带,而普通PCR方法仅有部分引物扩增后出现目的条带,表明以不同Tm值引物扩增时,TD-PCR方法特异性更强,且适用引物Tm值范围较广。不同产物长度扩增结果显示,TD-PCR方法中利用8对引物扩增后均出现相应目的条带,且无非特异条带,而普通PCR方法虽然均出现目的条带,但部分引物扩增后还出现了非特异性条带,表明以不同产物长度引物扩增时,TD-PCR方法的特异性更强。不同长度的引物扩增结果显示,TD-PCR方法中利用6对不同长度的引物扩增后均出现目的条带,且无非特异条带,而普通PCR方法在52℃退火温度时引物P22出现非特异性扩增,表明TD-PCR方特异性更强。扩增产物量分析结果显示,TD-PCR和普通PCR方法扩增的目的条带平均亮度值均随反应总循环数的增加而上升,但普通PCR方法扩增的产物目的条带平均亮度值始终高于TD-PCR,表明TD-PCR方法的扩增产物量低于普通PCR。以24株临床分离的鹅源大肠杆菌总DNA为模板,采用TD-PCR和普通PCR方法,分别对β-内酰胺酶、氨基糖苷类、酰胺醇类、喹诺酮类和黏菌素类共29种ARG进行检测。结果显示,TD-PCR方法对其中25种ARG的检测结果与普通PCR相同,二者符率为100%;而对另外4种ARG检测结果显示,与普通PCR相比,TD-PCR方法的非特异条带明显减少,且无假阳性。表明TD-PCR在检测ARG方面比普通PCR具有更强的特异性。本研究建立了一种特异性较强的检测大肠杆菌主要ARG的TD-PCR通用方法,为细菌耐药性的研究提供了便捷高效的检测技术手段。

TDS智能干选在万峰煤矿的应用

万峰矿原煤整体矸石含量在50%左右,+25 mm矸石含量在30%以上,为了减少万峰矿原煤矸石含量,为后续洗煤生产降低生产成本、运行费用和排矸费用等,研究制定了对原有筛分车间进行技术改造,利用TDS智能干选系统处理+25 mm万峰原煤的方案。经试运行,使用结果达到预先排矸的目的,实现了对整个原煤加工过程的优化,减少了无效运输费用、排矸费、手拣矸人员配备,同时减少了生产系统入洗量和磨损量,取得了较为理想的经济效益和社会效益。

TDS智能干选系统分选灵活性智能控制技术

为了提高选煤厂煤矸石筛选精准度,避免资源损耗,提出了TDS智能干选系统分选灵活性智能控制技术。通过分析TDS智能干选系统结构和运行方式,明确各部分装置性能和分选流程。利用双能X射线透射法在线测量煤矸石灰分,结合传输介质的质量吸收系数和质量厚度,计算煤碳低能X射线的质量衰减系数,获得分选识别函数。采用PID控制方法调节TDS智能干选系统,算出控制信号的时域与频域,令设备迅速进入稳定状态,实现分选智能控制。实验结果表明:(1)TDS智能干选系统分选灵活性智能控制技术排矸频率是最佳的,且电动机功率波动最小的,整体的控制效果较好,保证精准分选煤矸石。(2)在进料端发生一段60 s的无进料量段,TDS智能干选系统分选灵活性智能控制技术排矸频率存在一定的缓降期,随后急剧降低,矸石排出量小,驱动电动机功率减少的不多,能保证矸石层的稳定性,且不会对矸石层的结构造成破坏。(3)在进料端速率为400 t/h且持续60 s,TDS智能干选系统分选灵活性智能控制技术排矸频率先是呈现缓慢上升的状态,然后快速上升,令排矸速度增加,驱动电动机功率增加少,能够确保分选煤和矸石过程稳定,且不会对矸石层结构造成损坏。

基于表面灰度和纹理识别的TDS智能干选机刮板机异常状态检测方法

TDS智能干选机是选煤厂的主要生产设备,刮板机作为其关键组件,常因跳链、断链等故障阻碍机器的工作进度。针对刮板机故障的强偶发性与故障扩大化效应,以机器视觉为技术,以表面灰度和纹理识别为手段,提出TDS智能干选机刮板机异常状态检测方法。根据图像灰度值,利用基于改进生长准则的区域生长法,生成粗略的异常状态检测目标区域。采用形态学的腐蚀、膨胀、开运算和闭运算操作,处理区域生长后的图像和新产生的导线图像。引入canny算子识别检测区域中的目标纹理,生成目标轮廓线。结合轮廓线和直线斜率、灰度、纹理、虚拟边框与机链轮廓的位置关系等信息,实现异常状态检测。实验结果表明,该方法对跳链、断链、漂链、掉链、跑偏5种刮板机异常状态检测的真阳性指数分别高达0.98,0.98,0.98,0.97,0.94,且实际量与检测量的误差均不足1 mm。该方法具有较高的正确检测比例和检测精准度,可指导TDS智能干选机刮板机的安全运行。

TDS智能干选机的优化改造应用

TDS智能干选机作为关键设备在矿山和冶金工业中扮演着重要角色。优化改造其功能和性能对提高生产效率、减少能源消耗和降低成本具有重要意义。本篇文章将探讨TDS智能干选机优化改造的重要性、存在的问题,并提出相应的改造方案,以期为相关行业提供更有效的技术支持和改进方案。

基于改进型TD3算法的车载边缘计算任务卸载决策

为满足复杂车辆任务在时延、能耗和计算性能方面的要求,同时减少网络资源的竞争和消耗,设计了一种基于车载边缘计算(VEC)的任务卸载策略,以最小化任务处理延迟和能源消耗之间平衡的长期成本为目标,将车联网中的任务卸载问题建模为马尔可夫决策过程(MDP),提出了在传统双延时深度确定性策略梯度(TD3)的基础上,利用长短期记忆网络(LSTM)来逼近策略函数和价值函数,将系统状态进行归一化处理以加速网络收敛并增强训练稳定性的改进算法(LN-TD3)。仿真结果表明,LN-TD3性能与全部本地计算和全部卸载计算相比提高了两倍以上;收敛速度上与深度确定性策略梯度DDPG、TD3相比提高了约20%。