基于数据驱动的三维室内场景分析与合成的进展
摘要：深度学习建模技术在室内场景分析和合成方面取得了重大进展。本报告调查了解决四种不同的3D室内场景分析任务以及3D室内场景合成的深度学习模型技术。我们描述了室内场景的不同表示形式，以及在上述领域进行研究的各种室内场景数据集，并讨论了使用机器学习模型进行此类场景建模任务的显著工作。具体而言，我们将重点放在对3D室内场景的分析和合成上。在分析方面，我们关注四种基本场景理解任务--3D物体检测、3D场景分割、3D场景重建和3D场景相似度。而在合成方面，我们主要讨论神经场景合成工作，同时还强调了允许以人为中心、渐进式场景合成的模型驱动方法。我们确定了在这些任务中建模场景所涉及的挑战，以及需要开发的适应数据表示和任务设置的机制。对于每个任务，我们提供了对现有研究的综合总结，包括数据表示、骨干网络、评估指标、输入、输出等不同方面的选择，为文献进行了有组织的综述。最后，我们讨论了一些有趣的研究方向，这些方向有可能直接影响用户与这些虚拟场景模型的互动和参与，使其成为元宇宙的重要组成部分。
作者：Akshay Gadi Patil, Supriya Gadi Patil, Manyi Li, Matthew Fisher, Manolis Savva, Hao Zhang
论文ID：2304.03188
分类：Graphics
分类简称：cs.GR
提交时间：2023-08-22