基于强化学习确立动态治疗方案的方法介绍

随着医学治疗越来越趋向于精准化、个体化,如何有效利用病人动态更新的信息成为现代医学关注的一大问题,由此学者提出了充分考虑患者异质性和长期治疗效益的动态治疗方案(dynamic treatment regimes)。动态治疗方案是一组顺序决策规则,每条规则对应于疾病发展的一个关键点,根据患者的累计信息决定下一次治疗。强化学习方法,特别是其中的Q-learning方法,因其特有的模型特点,被广泛应用于探索动态治疗方案。本文旨在详细介绍动态治疗方案下的强化学习框架和Q-learning方法的应用,并分别就连续型结局和生存结局数据用R软件操作举例说明。