单幅全景图像的语义监督外观分解用于虚拟布置
摘要：将空室内环境的单个全景图分解为四个外观组件的一种新方法的描述：镜面、直接阳光、漫反射和无直接阳光的漫反射环境。我们的系统通过自动生成的语义地图（包括地板、墙壁、天花板、灯、窗户和门等标签）进行弱监督，该语义地图在透视图上表现出成功，并使用迁移学习在全景图上训练，无需任何其他注释。基于GAN的方法通过来自语义地图的粗略信息进行监督，从地板和墙壁上提取镜面反射和直接阳光区域。通过类似的基于GAN的方法和语义感知修复步骤去除这些照明效果。外观分解可以实现多种应用，包括太阳方向估计、虚拟家具插入、地板材料更换和太阳方向改变，为虚拟家居布景提供了有效的工具。我们在一个大型最新发布的空房全景数据集上展示了我们方法的有效性。
作者：Tiancheng Zhi, Bowei Chen, Ivaylo Boyadzhiev, Sing Bing Kang, Martial Hebert, Srinivasa G. Narasimhan
论文ID：2205.13150
分类：Graphics
分类简称：cs.GR
提交时间：2022-05-27