ThermRad：挑战条件下鲁棒的三维物体检测的多模态数据集
摘要：在极端天气和照明条件下实现稳健的3D物体检测是一个具有挑战性的任务。虽然雷达和热视觉相机因其对这些条件的适应能力而闻名，但由于缺乏相应的数据集，目前对雷达-热视觉融合的研究较少。为了填补这一空白，我们首先提出了一个新的多模态数据集ThermRad，包括一个3D激光雷达、一个4D雷达、一个RGB相机和一个热视觉相机。这个数据集是独特的，因为它包含了四个传感器在极端天气条件下的数据，为未来在这一领域的研究提供了宝贵的资源。为了验证4D雷达和热视觉相机在恶劣天气条件下的3D物体检测的鲁棒性，我们提出了一种新的多模态融合方法RTDF-RCNN，该方法利用4D雷达和热视觉相机的互补优势来提高物体检测性能。为了进一步证明我们提出的框架的有效性，我们重新实现了基于状态的最先进（SOTA）3D检测器对我们的数据集进行评估。我们的方法在检测汽车、行人和骑车者方面取得了显著的改进，分别提高了7.98％、24.27％和27.15％，同时实现了与基于激光雷达的方法相当的结果。我们在ThermRad数据集和新的多模态融合方法方面的贡献为在恶劣天气和照明条件下的稳健3D物体检测提供了一种新的方法。ThermRad数据集将会发布。
作者：Qiao Yan, Yihan Wang
论文ID：2308.10161
分类：Computer Vision and Pattern Recognition
分类简称：cs.CV
提交时间：2023-09-01