TADA！文本转可动数字化头像
摘要：使用文本描述并产生具有高质量几何和逼真纹理的富有表现力的3D头像的简单而有效的TADA方法，可以通过传统图形管线进行动画和渲染。现有的基于文本的角色生成方法在几何和纹理质量方面具有限制，并且由于几何和纹理之间的非一致对齐，尤其是在面部区域，无法实现真实的动画效果。为了克服这些限制，TADA利用了二维扩散模型和可动参数体模型的协同作用。具体而言，我们从SMPL-X导出一个可优化的高分辨率体模型，其中包含3D位移和纹理映射，并使用分层渲染与分数提炼采样（SDS）来从文本生成高质量、详细、整体的3D头像。为了确保几何和纹理之间的对齐，我们渲染生成角色的法线和RGB图像，并利用它们在SDS训练过程中的潜在嵌入。我们还在训练过程中引入了各种表情参数，来改变生成的角色，确保我们生成的角色的语义与原始SMPL-X模型保持一致，从而得到一个可动画的角色。全面的评估表明，TADA在定性和定量方面都显著超过了现有方法。TADA可以创建大规模的数字角色资产，可供动画和渲染使用，同时也可以通过自然语言轻松编辑。代码将用于研究目的而公开。
作者：Tingting Liao, Hongwei Yi, Yuliang Xiu, Jiaxaing Tang, Yangyi Huang, Justus Thies, Michael J. Black
论文ID：2308.10899
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-08-22