摘要

本文介绍了一种名为Meta 3D AssetGen的先进技术，该技术能够从文本或图像生成高质量的3D网格，包括详细的纹理和物理基础渲染（PBR）材料。与传统方法不同，AssetGen不仅生成3D对象的外观，还能支持真实的环境光照重现。该技术通过生成多个视角的图像，并利用延迟着色损失进行有效监督，从而实现高效的3D重建。此外，AssetGen还引入了符号距离函数（SDF）来更可靠地表示3D形状，并通过UV空间中的纹理细化变换器显著提高了纹理的清晰度和细节。实验结果显示，AssetGen在少视角重建方面相较于最佳并发工作有显著改进，并且在人类偏好测试中优于行业竞争对手。

原理

Meta 3D AssetGen的核心创新在于其能够生成具有物理基础渲染（PBR）材料的3D网格。该技术通过两个主要阶段实现这一目标：首先，从文本生成多个视角的图像，这些图像包含了物体的阴影和反照率信息；然后，利用这些图像重建3D形状和外观，同时预测PBR材料属性，如反照率、金属度和粗糙度。AssetGen采用延迟着色技术，通过分析反照率和阴影通道之间的差异来准确预测PBR材料。此外，AssetGen使用SDF来表示3D形状，这种方法比传统的透明度场更可靠，且可以通过地面真实深度图进行直接监督。纹理细化变换器则进一步提升了纹理的质量，通过融合来自原始视角的信息来增强细节。

流程

Meta 3D AssetGen的工作流程包括以下步骤：

1. 文本到图像生成：使用预训练的文本到图像扩散模型生成物体的多个视角图像，每个图像包含阴影和反照率信息。
2. 图像到3D重建：利用生成的图像重建3D形状和外观，同时预测PBR材料属性。
3. SDF表示：使用SDF来表示3D形状，确保形状的准确性和可靠性。
4. 纹理细化：通过纹理细化变换器进一步增强纹理的细节和清晰度。
5. 物理基础渲染：最终生成的3D网格支持物理基础渲染，能够真实地响应环境光照。

应用

Meta 3D AssetGen的应用前景广泛，包括但不限于3D图形、动画、游戏和增强现实/虚拟现实（AR/VR）领域。由于其能够生成高质量的3D内容，AssetGen有望成为内容创作者和开发者的强大工具，加速3D内容的创作过程，并提升最终产品的视觉质量。