基于PPO的自适应PID控制算法研究

采用MATLAB物理引擎联合Python搭建了一个六轴机械臂,并模拟带有扰动的复杂控制环境,为机械臂训练提供现实中无法提供的试错环境。使用强化学习中近端优化算法(proximal policy optimization,PPO)算法对传统PID控制算法进行改进,引入多智能体思想,根据PID三个参数对控制系统的不同影响及六轴机械臂的特性,将三个参数分别作为不同的智能个体进行训练,实现多智能体自适应调整参数的新型多智能体自适应PID算法。仿真结果表明:该算法的训练收敛性优于MA-DDPG与MA-SAC算法,与传统PID算法的控制效果相比,在遇到扰动及振荡的情况下,能够更有效地抑制振荡,并具有更低的超调量和调整时间,控制过程更为平缓,有效提高了机械臂的控制精度,证明了该算法的鲁棒性及有效性。

基于PPO的球形机器人目标跟随研究

球形机器人由于其优异的运动性能、出色的地形适应能力和防侧翻的特性,被广泛应用于水下探测、岸滩巡检等需要适应复杂环境的场景。然而球形机器人系统模型具有欠驱动、非线性的特点,运动控制问题复杂,在复杂应用环境下难以可靠跟随目标。为此,提出了一种基于近端策略优化(PPO)算法的球形机器人目标跟随方法。该方法基于深度强化学习理论,在球形机器人动力学模型的基础上,设计了简单高效的动作空间和表征完善的状态空间。并且为提高目标跟随方法的鲁棒性,该方法在奖励函数中引入人工势场,以使目标始终保持在机器人视野中心。仿真结果表明,所提方法能够满足既定场景的跟随需求,球形机器人使用该方法可以对随机运动目标进行可靠跟随。

PPOS方案及拮抗剂方案在卵巢储备功能减退患者中的应用比较

目的 对比高孕激素状态下促排卵(PPOS)方案及拮抗剂方案在卵巢储备功能减退(DOR)患者中的促排卵效果、实验室培养及首次冻融胚胎移植(FET)妊娠结局,为改善DOR患者的辅助生殖助孕结局提供科学参考。方法 回顾性分析2016年1月—2022年6月本院生殖医学中心收治的302周期DOR患者的临床资料,根据促排卵方案分为PPOS组(216周期)和拮抗剂组(86周期),根据年龄将PPOS组分为:(1)低龄组:78周期,年龄≤35岁;(2)高龄组:138周期,年龄>35岁。同理,将拮抗剂组分为:(1)低龄组:36周期,年龄≤35岁;(2)高龄组:50周期,年龄>35岁。比较各组患者的临床资料、促排卵效果、实验室培养及首次FET妊娠结局。结果 两组患者的年龄、不孕年限、身体质量指数(BMI)、不孕类型、受精方式、基础FSH及LH水平等资料比较均无差异(P>0.05)。以35岁作为划分生育年龄节点,不同促排卵方案的低龄组及高龄组患者的基础FSH及LH水平具有差异性(P<0.05)。PPOS组患者与拮抗剂组患者的Gn启动量、Gn天数、Gn总剂量、卵子逃逸率、未取出卵子率、无可用卵子率、周期取消率等指标无差异(P>0.05);低龄及高龄DOR患者的获卵数相比,PPOS组均低于拮抗剂组,差异具有统计学意义(P<0.05)。低龄及高龄DOR患者中,两种促排卵方案的可用胚胎率、优质胚胎率、2PN率、2PN卵裂率比较均无差异(P>0.05),拮抗剂组卵子利用率更高,其MⅡ数高于PPOS组,差异具有统计学意义(P<0.05)。统计首次FET妊娠结局,PPOS组低龄患者妊娠率和活产率分别为50.00%、27.27%,高于高龄患者的43.33%、12.73%;拮抗剂组低龄患者妊娠率和活产率均为60.00%,高于高龄患者的35.71%、21.43%,但两种促排卵方案同年龄段患者的妊娠率、活产率比较差异无统计学意义(P>0.05)。结论 PPOS方案促排卵方法简单、费用低,已较大规模的成功助孕DOR患者,但在高龄DOR患者中易发生卵子早排。拮抗剂方案卵子利用度高,优质胚胎率、可用胚胎率及临床妊娠结局与PPOS方案相当,且可以新鲜移植,缩短了患者周期内妊娠时间,近年来更多地应用于DOR患者,但启动周期总费用较高。在临床工作中,应根据DOR患者具体情况,严格掌握不同促排卵方案的适应证与禁忌症,制定安全、有效、个体化的促排卵方案,以获得良好的妊娠结局。

基于PPO算法的光储式充电站储能运行策略

电动汽车的随机充电与光伏出力的波动特性给光储式充电站的经济高效运行提出了新的要求。为此,提出了一种基于深度强化学习近端策略优化(Proximal Policy Optimization,PPO)算法的光储式充电站储能运行策略。首先,对光储式充电站系统结构进行了分析,并建立了以综合运行成本最小为目标的储能运行模型。其次,将该模型转化为马尔科夫决策过程,并采用深度强化学习PPO算法进行训练求解。最后,在一个光储式充电站中进行算例仿真,验证所提策略的有效性。

拮抗剂方案和PPOS方案在波塞冬预期低预后患者中的促排卵结局分析

目的 探索拮抗剂方案和高孕激素状态下促排卵(PPOS)方案对符合波塞冬(POSEIDON)分类标准中预期低预后人群的促排卵结局。方法 回顾性分析2016年9月1日至2022年6月1日就诊于淄博市妇幼保健院生殖医学中心、符合POSEIDON标准预期低预后患者的临床资料(共111例患者,149个促排卵周期)。根据促排卵方案不同分为拮抗剂组(69个周期)和PPOS组(80个周期),比较两组患者的一般资料及促排卵实验室指标;又按照年龄不同分为低龄组(年龄<35岁,POSEIDON标准组3,共53个周期)和高龄组(年龄≥35岁,POSEIDON标准组4,共96个周期),分析不同年龄分层中不同促排卵方案下的促排卵结局。结果 拮抗剂组中1个周期因卵泡早排未取卵,12个周期无可利用胚胎;PPOS组中3个周期未获卵,20个周期无可利用胚胎。拮抗剂组和PPOS组的一般资料比较均无显著性差异(P>0.05);拮抗剂组Gn天数及Gn用量均显著低于PPOS组(P<0.05),HCG日LH水平显著高于PPOS组(P<0.05);两组间获卵总数、正常受精率、可移植胚胎率、优胚率、卵泡早排率、未获卵率、无可移植胚胎率比较均无显著性差异(P>0.05)。低龄组患者中拮抗剂组Gn用量、获卵总数、成熟卵子数、2PN数、优胚数均显著低于PPOS组(P<0.05),拮抗剂组HCG日LH水平显著高于PPOS组(P<0.05);高龄组患者中拮抗剂组Gn用量显著低于PPOS组(P<0.05),其余指标均无显著性差异(P>0.05)。结论 拮抗剂方案和PPOS方案应用于POSEIDON标准预期低预后患者,二者可获得相似的促排卵结局。对于低龄预期低预后患者可优先考虑PPOS方案;而对于高龄预期低预后患者,在考虑时间与经济成本方面,拮抗剂方案可能优于PPOS方案。

基于改进型PPO算法的公寓安全预警模型

随着城市化的加速和公寓建筑的快速增长,确保居民的安全已成为当务之急。本文深入探讨了基于改进型近端策略优化(PPO)算法的公寓安全预警模型的开发。引入了一种新的深度学习架构,作为实时分析和预测潜在安全威胁的核心技术。实验结果表明,改进后的PPO算法在准确性、效率和响应时间方面明显优于传统方法。此外,该系统能够及时提供警报,确保公寓居民的安全。本文不仅强调了深度学习在安全和安防应用中的潜力,而且为智能生活环境领域的未来发展奠定了基础。

基于改进PPO算法的机器人局部路径规划

利用强化学习训练机器人局部路径规划模型存在算法收敛速度慢、易陷入死锁区域导致目标不可达等问题。对传统近端策略优化(PPO)算法进行改进,引入长短期记忆(LSTM)神经网络并设计虚拟目标点法,提出LSTM-PPO算法。将PPO神经网络结构中的全连接层替换为LSTM记忆单元,控制样本信息的记忆和遗忘程度,优先学习奖励值高的样本,从而更快地累积奖励优化模型。在此基础上,加入虚拟目标点,通过雷达传感器收集的环境信息判断机器人陷入死锁区域时弃用目标点给予机器人的引导,使机器人走出陷阱区域并趋向目标点,减少在死锁区域不必要的训练。分别在特殊障碍物场景和混合障碍物场景中对LSTM-PPO算法进行仿真验证,结果表明,与传统PPO算法和改进算法SDAS-PPO相比,该算法在两种场景训练中均能最快到达奖励峰值,可加快模型收敛速度,减少冗余路段,优化路径平滑度并缩短路径长度。

基于PPO算法的无人机近距空战自主引导方法

针对无人机近距空战的自主决策问题,提出了一种基于近端策略优化(PPO)算法的无人机自主引导方法。针对敌我距离、角度、速度以及任务约束等信息重塑奖励,建立了无人机三自由度模型,在速度坐标系上构建强化学习的状态和动作,分别对结合了全连接神经网络的PPO算法(标准PPO算法)和长短时记忆网络的PPO算法(改进PPO算法)模型进行了仿真训练。根据训练的结果可以证明,相比于标准PPO算法,所提的改进PPO算法能够更有效地处理与时间序列高度相关的无人机自主引导任务。

PPO/SEBS/SEBS-g-MAH共混物的阻燃性能研究

以苯乙烯-乙烯/丁二烯-苯乙烯嵌段共聚物(SEBS)为弹性体改性剂,SEBS-g-MAH为相容剂,红磷和Mg(OH)_(2)作为阻燃剂,采用双螺杆挤出技术,制备了阻燃聚苯醚(PPO)/SEBS/SEBS-g-MAH共混物。结果表明:当红磷用量为15份时,Mg(OH)_(2)仅用80份,PPO/弹性体共混物的极限氧指数(LOI)就能达到28%,燃烧等级达UL94 V-0级,同时燃烧时的热释放速率(HRR)及生烟速率(SPR)均大幅降低。

PEO-PPO-PEO自组装2000-2022研究趋势-文献计量学分析

采用文献计量法对2000-2022年期间PEO-PPO-PEO嵌段共聚物在水溶液中自组装行为的文献进行了综述,分析了发表文章的特点和研究趋势。结果表明:近些年PEO-PPO-PEO嵌段共聚物自组装文献的数量逐年增长,无论在学术成果的数量还是质量方面,中国都处于较高的学术地位,为该研究领域的发展做出了巨大贡献;除此之外,文献计量学研究表明超级电容器和聚合物稳定性是该领域的研究热点,可能在未来几年成为一个有前景的研究领域;介孔材料制备和作为药物载体是PEO-PPO-PEO嵌段共聚物最热门的应用方向。此文献计量学研究可为相关研究人员提供独特视角和一定的参考。

基于PPO算法的仿生鱼循迹智能控制

仿生鱼具有广阔的工程应用前景,对于仿生鱼的控制,首先要解决的是循迹问题.然而,现有的基于CFD方式和传统控制算法的鱼游控制方法存在训练数据获取成本高、控制不稳定等缺点.本文提出了基于PPO算法的仿生鱼循迹智能控制方法:使用代理模型替代CFD方式产生训练数据,提高数据的产生效率;引入高效的PPO算法,加快策略模型的学习速度,提高训练数据的效用;引入速度参数,解决鱼体在急转弯区域无法顺利循迹的问题.实验表明,我们提出的方法在多种类型的路径上均具有更快的收敛速度和更加稳定的控制能力,在仿生机器鱼的智能控制方面具有重要的指导意义.

基于PPO算法的机器人轴孔装配控制与仿真

针对在管道运输和航空航天领域常见的大口径轴孔装配任务,设计一种基于PPO算法的装配控制方法。首先,建立强化学习算法与装配环境交互训练框架,设计两个网络用于拟合装配策略和评估值函数;其次,设计机器人输出的动作空间与装配环境输出的状态空间,保证学习过程中的有效探索;然后,设计非线性奖励函数以确保训练过程的快速收敛;最后,搭建基于MuJoCo物理引擎的机器人大口径轴孔装配仿真平台,并在仿真平台上对设计算法进行训练和实验。结果表明:基于PPO算法的训练框架能保证训练过程的快速收敛,改进后的优势函数估计方法提升了训练过程的稳定性,训练模型不仅能保证轴插入孔和法兰面贴合,还能保证装配过程的安全性。

基于PPO算法的攻击路径发现与寻优方法

基于策略网络选择渗透动作发现最优攻击路径,是自动化渗透测试的一项关键技术。然而,现有方法在训练过程中存在无效动作过多、收敛速度慢等问题。为了解决这些问题,文章将PPO(Proximal Policy Optimization)算法用于解决攻击路径寻优问题,并提出带有渗透动作选择模块的改进型PPO算法IPPOPAS(Improved PPO with Penetration Action Selection),该算法在获取回合经验时,根据渗透测试场景进行动作筛选。文章设计实现IPPOPAS算法的各个组件,包括策略网络、价值网络和渗透动作选择模块等,对动作选择过程进行改进,并进行参数调优和算法优化,提高了算法的性能和效率。实验结果表明,IPPOPAS算法在特定网络场景中的收敛速度优于传统深度强化学习算法DQN(Deep Q Network)及其改进算法,并且随着主机中漏洞数量的增加,该算法的收敛速度更快。此外,实验还验证了在网络规模扩大的情况下IPPOPAS算法的有效性。

PEO-PPO嵌段共聚物抗肿瘤应用研究进展

聚氧乙烯-聚氧丙烯(PEO-PPO)嵌段共聚物是一种理想并有前途的生物材料,因其优良的生物相容性和两亲性,广泛用于药物传递、疾病诊断和治疗等方面。PEO-PPO嵌段共聚物可通过自组装或与其他材料结合形成不同形态的纳米载体。近年,PEO-PPO嵌段共聚物对肿瘤区域的靶向性、解决肿瘤多药耐药性等问题被深入研究,且基于PEO-PPO-PEO型嵌段共聚醚(EPE型嵌段共聚醚)的多功能药物主动靶向载体在肿瘤治疗中应用越来越广泛,并根据肿瘤微环境的特点设计各种刺激响应型胶束,在抗肿瘤应用中取得重大进展。本文对基于PEO-PPO嵌段共聚物的给药系统在肿瘤治疗中的具体应用进行简要综述。

一种基于PPO的AUV网箱巡检方法

网箱巡检是网箱养殖的必要环节。随着渔业设施地智能化发展,使用AUV实现自主网箱巡检是未来的发展趋势。在水下难以得到机器人的精确动力学模型。为此,论文提出基于强化学习算法PPO的水下机器人自主网箱巡检方法。以声呐数据作为感知输入,根据航向、偏离距离等因素设计了多约束奖励函数,利用PPO算法学习出最优的网箱巡检控制策略。搭建了水下网箱养殖仿真环境,在该环境下的仿真结果表明,在学习到的策略的控制下,AUV能够实现网箱的自主绕行巡检,轨迹稳定平滑,验证了论文方法的有效性。

套袋对莱阳茌梨果皮结构和PPO、POD活性的影响

对莱阳茌梨幼果进行套袋处理,结果表明,套袋果实单宁层厚度、角质层厚度、皮孔覆盖值及多酚氧化酶(PPO)和过氧化物酶(POD)活性比对照分别下降15％～30.69％、21％～52.16％、40％、84％和37％。套袋使果实表皮层细胞排列更加整齐,黄袋作用比白袋更明显。套袋对结构的影响可能由于减少了外界不良环境作用和抑制了果实体内PPO、POD活性。套袋将有利于提高果实耐藏性和提高果实品质。

套袋对枇杷果实PAL、PPO、POD活性和可溶性蛋白质含量的影响

以解放钟枇杷套袋后的果实为试材 ,在果锈发生严重期至成熟期 ,每隔 10 d定期测定套袋果与不套袋果果实中 PAL、PPO、POD活性及可溶性蛋白质含量。结果表明 ,套袋后 ,果实中的 PAL、PPO、POD活性提高 ,可溶性蛋白质含量下降 ;PAL、PPO、POD活性的提高 ,可抑制果锈的发生 ;PAL 活性提高有利于套袋果实的着色 ;

7株放线菌在辣椒根部定殖及对辣椒叶片PAL与PPO活性的影响

采用盆栽接种试验、平皿涂抹法测数及常规酶活测定法研究了7株拮抗性放线菌在辣椒根部的定殖能力及接种24 d对辣椒叶片苯丙氨酸解氨酶(PAL)与多酚氧化酶活性(PPO)的诱导效应。结果表明:(1)供试7株放线菌单独接种均不能在辣椒根内定殖,但与辣椒疫霉P3混合接种时有5株可定殖;供试放线菌在辣椒根部的定殖能力与其体外平皿试验中产生的的拮抗圈大小基本无关;可定殖放线菌的定殖密度随时间延长而降低,至40 d时均无活菌检出。(2)在放线菌单接处理中,5株菌接种后可诱导辣椒叶片PAL活性提高,全部供试菌均能诱导PPO活性提高,其中可使两种酶同步提高的有5株菌;在放线菌+P3混接处理中,有6株接种后可诱导PAL活性提高,5株菌能诱导PPO活性提高,其中可使两种酶同步提高的有4株菌;在接入放线菌时同时混接辣椒疫霉,能增强2株供试放线菌对辣椒叶片PAL活性及6株供试放线菌对辣椒叶片PPO活性的诱导作用;供试放线菌的定殖能力与辣椒叶片PAL及PPO活性变化无明显规律性关系。

放线菌剂对黄瓜幼苗生长及叶片PPO活性的影响

以黄瓜幼苗为试材,采用盆栽试验研究了3种生防放线菌剂单接和与病原菌混接对黄瓜的促生作用及对黄瓜叶片PPO活性的影响。结果表明:①供试放线菌制剂对黄瓜幼苗有显著的促生作用,在接种量为1.5 g/kg、20 d时,菌剂Act12(密旋链霉菌,Streptomyces pactum)单独接种处理后,黄瓜植株总质量、根系鲜质量、根系长度、根系活力及叶面积分别较对照CK提高18.8%、225.0%、57.3%、482.0%及45.3%;Act12与黄瓜枯萎菌HK混合接种时,其各对应指标测值分别较对照HK提高78.9%、114.6%、162.6%、443.4%及50.0%。②施用菌剂后对叶片诱导酶PPO活性有一定提高,45 d时,单接Act12(1.5 g/kg)较对照增加了54.4%。③接种放线菌剂对黄瓜幼苗叶片绿色度SPDA无明显影响。以上结果表明,施用放线菌剂能显著促进黄瓜生长发育,对根系生长及活力的促进作用尤为明显,并使黄瓜产生诱导抗性。

高温强光胁迫对苹果果皮PPO活性的影响

苹果果实日烧是一种普遍发生的生理病害,最常见的特征之一就是在果实表面出现褐变。通常认为PPO与植物的酶促褐变密切相关。研究了自然和控制条件下,高温强光胁迫对果实PPO活性的影响,以便揭示高温强光胁迫下苹果果实褐变与PPO活性之间的联系。结果表明:高温和强光胁迫与果皮PPO活性变化密切相关。就树冠不同方位而言,西南方位是高温和强光胁迫最严重的区域,其外围裸露果实的PPO活性也最强。在一定范围内,随着处理温度和光照强度的升高,果皮PPO活性也逐渐增强。短时间剧烈升温能够引起PPO活性骤然上升。在同样程度的高温胁迫下,提高环境湿度有利于抑制果皮PPO活性,从而减轻褐变症状的发生。室内外试验一致证实:果实日烧褐变现象与高温强光胁迫下果皮组织PPO活性大幅度提高有直接关系。