基于梯度奖励的深度强化学习移动机器人路径规划

针对目前深度强化学习移动机器人路径规划中稀疏奖励导致的效率低、收敛慢等问题,提出一种梯度奖励政策。使用区域分割将环境分割为缓冲区、探索区、临近区以及目标区,奖励的动态变化可以逐步缩小机器人的探索范围,同时在安全区域内也能获得正向奖励。首先输入机器人当前的位置坐标,经过神经网络后估计4个动作的Q值,随后通过去首动态贪婪策略达到最大化探索,最后采用基于均方误差的优先经验回放抽取样本进行梯度下降更新网络。实验结果表明:在小范围环境内探索效率可提升近40%,在大范围环境下成功率高于80%,而且在提高探索效率的同时增强了鲁棒性。

穿经机自动穿综系统设计

为了解决穿经机中穿综系统的结构复杂、运行稳定性差、效率低等问题,设计了一种结构简单的自动穿综系统。穿综系统包括上综、穿线和排综3个部分,首先对自动穿综系统的基本结构进行介绍和对穿综工艺流程进行规划,然后对电磁铁和调整挂针进行力学分析和优化设计。实验结果表明:穿综系统运动误差减小,稳定性得到提高,运行速度快、效率高,综丝穿线的速度平均可达160根/min,与人工穿综相比,速度提高近9倍,符合穿经机对自动穿综的要求,极大地提高了企业的生产效率。