VERF：使用神经辐射场进行姿态估计的运行时监控
摘要：无依赖于直接深度测量的情况下，在单眼相机的摄像机姿态估计上，我们提出了VERF，这是一组提供运行时保证的方法（VERF-PnP和VERF-Light）。我们利用NeRF（神经辐射场）渲染场景的新RGB视角。我们只需将被估计姿态的摄像头图像、我们想要监测的摄像头姿态估计以及包含被摄像头拍摄场景的NeRF模型作为输入。然后，我们可以预测姿态估计是否与真实值在所需距离范围内，并通过一定的置信度来证明我们的预测。VERF-Light通过在估计的姿态下用NeRF渲染视点，并估计其与传感器图像的相对偏移量来实现这一点。由于场景比例未知，该方法还会渲染另一幅辅助图像，并对三幅图像的光流一致性进行推理。VERF-PnP采用了不同的方法，它通过使用NeRF渲染一对立体图像，并利用透视n点（PnP）算法。我们在LLFF数据集上、在Unitree A1四足机器人的数据和蓝色起源的亚轨道New Shepard火箭收集的数据上评估了这两种方法，以展示所提出的姿态监测方法在各种场景比例下的有效性。我们还展示了在3090 GPU上，监测可以在半秒内完成。
作者：Dominic Maggio, Courtney Mario, Luca Carlone
论文ID：2308.05939
分类：Robotics
分类简称：cs.RO
提交时间：2023-08-14