360度深度自适应立体图像合成
摘要：360°图像和视频已成为利用真实世界内容提供VR体验的经济和流行方式。然而，立体全景内容的处理仍然不够深入探讨。在本文中，我们专注于360°图像合成问题，并开发了一个解决方案，可以从立体图像对中提取对象，并将其插入到目标立体全景中的给定3D位置，保持几何信息完整。我们的方法使用恢复的3D点云来引导合成图像的生成。具体而言，我们观察到，只使用一次的操作将对象插入到球状等距投影图像中，无法产生令人满意的深度感知，并且在用户从不同视角观看结果时生成幽灵伪影。因此，我们提出了一种新颖的视角相关投影方法，使用立体摄像头对准该方向在3D球空间中分割对象。提出了一种深度稠密化网络，为每个视角分段的立体图像生成生成深度指导，根据插入对象的期望位置和姿态。最后，我们合并合成的视角分段，并将对象混合到目标立体360°场景中。用户研究表明，我们的方法可以提供良好的深度感知并消除幽灵伪影。视角相关的解决方案是其他360°图像和视频内容处理方法的潜在范例。
作者：Kun Huang, Fanglue Zhang, Junhong Zhao, Yiheng Li, Neil Dodgson
论文ID：2212.10062
分类：Graphics
分类简称：cs.GR
提交时间：2022-12-21