受限强化学习与形式验证用于安全结肠镜导航
摘要：机器人柔性内窥镜（FEs）领域取得了重要进展，为减少患者的不适感提供了有希望的解决方案。然而，大多数机器人FEs的有限自主性导致操作非直观且具有挑战性，限制了它们在临床环境中的应用。虽然以前的研究已经利用管腔追踪进行自主导航，但它们在内镜面对结肠壁时没有适应障碍物和急转弯。在这项工作中，我们提出了一种基于深度强化学习（DRL）的导航策略，消除了对管腔追踪的需求。然而，DRL方法的使用可能带来安全风险，因为它们没有考虑到可能与所采取的行动有关的潜在危险。为确保安全，我们利用一种约束强化学习（CRL）方法将策略限制在预定义的安全范围内。此外，我们提出了一种模型选择策略，利用形式验证（FV）在部署之前选择完全安全的策略。我们在虚拟结肠镜检查环境中验证了我们的方法，并报告在经过300次训练的策略中，我们能够识别出三个完全安全的策略。我们的工作表明，CRL结合通过FV进行模型选择可以提高机器人在手术应用中的稳健性和安全性。
作者：Davide Corsi, Luca Marzari, Ameya Pore, Alessandro Farinelli, Alicia Casals, Paolo Fiorini and Diego Dall'Alba
论文ID：2303.03207
分类：Robotics
分类简称：cs.RO
提交时间：2023-08-17