基于离线强化学习的力触觉引导土壤采样控制

由于颗粒状介质的复杂性,机器人操控颗粒介质的交互控制存在不少难点。近年来,强化学习在机器人技术等领域取得了显著的成就。针对土壤这类颗粒物质不容易进行运动学建模的问题,提出一种基于离线强化学习的土壤采样控制器,引入采样过程中力触觉信息指导取样的运动控制。基于旋转式取样头,使用高精度Chrono仿真器对土壤环境进行颗粒模拟,以获得土壤采样任务的数据。从采样量、功率、用时这3个角度考虑,共同衡量采样任务的表现。使用保守Q-Learning算法进行离线训练,解决强化学习中样本利用率低且在颗粒仿真环境下实现实时交互困难的问题,并输出智能体控制取样器下降速度和旋转取样角速度的策略。实验表明,该控制器可以较好地应用于土壤采样任务,并可根据所测的力来动态调整控制策略。该控制器可显著提升采样效果,无须明确了解颗粒参数,仅通过数据即可学习优化策略。