梦境面孔：在文本指导下逐步生成可动画的3D人脸
摘要：用于Metaverse的3D数字人物创建工具需要易于访问、准确且易于使用，以便在物理世界中描绘不同的文化和社会。最近的大规模视觉语言进展为新手提供了便利地定制3D内容的途径。然而，生成的CG友好资产仍然不能代表所期望的人物特征的面部特征。在本文中，我们提出了一种名为DreamFace的渐进式方案，用于在文本指导下生成个性化的3D面部。它使普通用户能够自然地定制与CG流水线兼容的3D面部资产，具有所需的形状、纹理和精细的动画功能。从描述面部特征的文本输入开始，我们首先引入了一种从粗到细的方案，以生成带有统一拓扑结构的中性面部几何。我们在CLIP嵌入空间中采用了一种选择策略，随后使用从通用潜在扩散模型中的分散样本得分来优化细节位移和法线。然后，对于中性外观生成，我们引入了一种双路径机制，将通用LDM与一种新颖的纹理LDM相结合，以确保在UV空间中的多样性和纹理规范。我们还采用了两阶段优化，分别在潜在空间和图像空间中进行SDS，从而显著提供了用于精细合成的紧凑先验。我们生成的中性资产自然支持基于融合形状的面部动画。我们通过使用跨身份超网络学习通用表情先验来进一步提高个性化变形特征的动画能力。值得注意的是，DreamFace可以从视频镜头中生成具有基于物理渲染的质量和丰富动画能力的逼真3D面部资产，即使是时尚偶像或卡通人物和虚构电影中的异国情调角色。
作者：Longwen Zhang, Qiwei Qiu, Hongyang Lin, Qixuan Zhang, Cheng Shi, Wei Yang, Ye Shi, Sibei Yang, Lan Xu, Jingyi Yu
论文ID：2304.03117
分类：Graphics
分类简称：cs.GR
提交时间：2023-04-07