基于深度强化学习的鱼类集群行为建模

【目的】使用深度强化学习技术对鱼类集群行为进行建模,探究鱼类集群行为的形成机理。【方法】针对传统基于规则的集群行为建模方法严重依赖人的先验知识而可能无法很好刻画集群行为的问题,提出一种基于Deep Q-Networks(DQN)的鱼类集群行为建模方法,以鱼类个体运动方向与周围邻居平均运动方向夹角表达个体的状态(连续值),以离散化的转角表示其动作,使用神经网络表达鱼类个体的运动策略。在单个学习者多个教师的环境中,以邻居数变化作为立即奖励,使用DQN算法训练神经网络,获得鱼类个体运动策略。【结果】使用本研究方法鱼类个体能学习到教师的运动策略,习得的鱼类个体运动策略在不同场景中均能涌现出集群行为,并且集群行为的特性与真实鱼群行为类似。【结论】本研究方法能够有效地对鱼类集群行为进行建模,有助于分析和理解复杂鱼类种群行为。分析得到的鱼类个体之间的局部交互机理,为理解鱼群形成、鱼类洄游、渔场形成等提供新视角,也可为工厂化高密度养殖提供参考。