基于确定性策略梯度的深度强化学习模型用于集体神经嵴细胞迁移
摘要：集体细胞迁移是细胞相互作用的一个重要方面，例如同向性吸引和接触抑制。在本文中，我们提出了一种新颖的深度强化学习模型，用于集体神经嵴细胞迁移的模拟。我们使用深度确定性策略梯度算法结合粒子动力学模拟环境，训练智能体确定其迁移路径。由于领导和随从神经嵴细胞存在不同的迁移机制，我们训练两种类型的智能体（领导者和随从者）学习集体细胞迁移行为。领导者智能体考虑全局任务和局部任务的线性组合，以找到通往目标源的最短路径，并实现沿着局部趋化物梯度的协同运动。而随从者智能体仅考虑局部任务。首先，我们证明领导细胞学习到的自驱力基本指向胚盘，意味着智能体能够学习沿最短路径追随目标。为了验证我们的方法，我们比较了使用所提出方法和基于智能体的模型计算的智能体达到胚盘所需的总时间。使用两种方法计算的迁移时间间隔分布显示没有显著差异。然后，我们研究了同向性吸引和接触抑制对集体领导细胞迁移的影响。我们发现，具有同向性吸引的情况下，领导细胞的整体迁移速度较慢，因为同向性吸引削弱了源驱动效应。此外，我们发现领导者和随从者智能体学会了与实验观察中类似的迁移行为。总而言之，我们提出的方法为如何应用强化学习技术模拟集体细胞迁移提供了有益的见解。
作者：Yihao Zhang, Zhaojie Chai, Yubing Sun and George Lykotrafitis
论文ID：2007.03190
分类：Cell Behavior
分类简称：q-bio.CB
提交时间：2020-07-08