利用深度强化学习整合专家指导以高效学习自动驾驶中安全超车
摘要：自动驾驶车辆在双车道道路上超车是一个巨大的挑战，因为来自对向车道的对向交通可能需要车辆改变决策并中止超车。深度强化学习（DRL）已经显示出在这种困难的决策问题上的潜力，但它需要大量的数据，特别是如果动作空间是连续的。本文提出将专家系统的指导纳入DRL中，增加自动超车设置中的样本效率。本研究开发的指导系统由受限迭代线性二次调节器和PID控制器组成。创新之处在于引入了一种逐渐减小专家系统影响的逐渐消退指导函数，使得代理能够迅速学习合适的动作并在超过专家系统性能的基础上改进。因此，这种方法将传统控制工程的优点与学习系统的灵活性相结合，扩展了自主系统的功能。提出的自动驾驶车辆超车方法不依赖于特定的DRL算法，并使用三种最先进的算法作为评估的基准。仿真结果表明，引入专家系统指导极大地改善了最先进的DRL算法在样本效率和驾驶安全性方面。
作者：Jinxiong Lu, Gokhan Alcan, Ville Kyrki
论文ID：2308.09456
分类：Robotics
分类简称：cs.RO
提交时间：2023-08-21