基于改进PPO算法的自动驾驶技术研究

针对强化学习在解决端到端自动驾驶行为决策问题时面临采样效率低、环境适应性差、决策效果不佳的问题,提出循环近端策略优化算法(RPPO),采用LSTM与移动翻转瓶颈卷积模块构建策略网络与价值网络,有效整合前后帧的关联信息,实现智能体对多变情况的预测,提高智能体对环境的快速认知能力,并在价值网络添加L2正则化层,进一步提高算法的泛化能力,最后手动设置智能体在2个连续帧中保持动作不变,引入先验知识约束搜索空间,加快算法收敛。通过CARLA开源模拟环境测试,该改进方法与传统方法相比,奖励曲线明显占优,且直行、转弯、指定路线行驶3类任务的成功率分别提高了10%、16%、30%,证明提出的方法更有效。

基于双生成器生成对抗网络的电力系统暂态稳定评估方法

当前采用深度学习网络实现电力系统暂态稳定评估,由于样本多样性不足,抗干扰性差等问题导致评估算法的分类性能受到很大的影响。针对上述问题提出了一种基于双生成器生成对抗网络(double generator LSTM-generative adversarial network,DGL-GAN)的暂态稳定评估方法。DGL-GAN中批量样本生成器与判别器构成对抗网络,通过交替训练学习暂态数据的分布特性,批量生成符合真实分布的新样本,解决样本多样性不足的问题;修复生成器由LSTM自编码器构成,其作用不但可以去除电力系统暂态数据中的噪声而且可以补偿仿真或量测缺失的片段,解决评估算法抗干扰能力差的问题。此外,提出的基于多层LSTM的网络结构设计可以进一步提高模型对暂态时序数据的特征提取能力。IEEE-39节点系统仿真结果表明:所提方法能够有效增强样本多样性,显著提升暂态稳定评估性能,同时还使得模型具有良好的抗干扰能力。