摘要

本文介绍了一种名为Meta 3D TextureGen的新型前馈方法，旨在为任意复杂度的几何体生成高质量且全局一致的纹理。该方法利用文本到图像模型的适应性，通过在2D空间中对3D语义进行条件化，并将它们融合成完整的、高分辨率的UV纹理图，从而在不到20秒的时间内实现纹理生成。此外，还引入了一个纹理增强网络，能够将任何纹理按任意比例放大，生成4K像素分辨率的纹理。该方法在质量和速度上均达到了最先进的结果，适用于游戏、动画和虚拟/混合现实等多种应用场景。

原理

Meta 3D TextureGen方法的核心在于其两阶段生成过程。第一阶段，通过一个几何感知文本到图像模型，生成多视角的纹理图像，这些图像在生成时考虑了3D形状特征的2D渲染。第二阶段，将这些生成的纹理图像反投影到UV空间，并通过一个UV空间内的修复网络完成缺失区域的填充和整体质量的提升。这种方法通过在生成过程中引入3D几何信息，确保了纹理的全局一致性和文本忠实度，同时避免了传统方法中常见的“Janus效应”等问题。

流程

1. 第一阶段：图像空间生成 - 使用一个预训练的潜在扩散模型，该模型被微调以接受3D形状特征的2D渲染（如位置和法线图）以及文本描述作为输入，生成多视角的纹理图像。
2. 第二阶段：UV空间生成 - 将第一阶段生成的纹理图像反投影到UV空间，并使用一个UV空间内的修复网络，结合位置和法线UV图，生成完整的UV纹理图。此外，还可以选择使用纹理增强网络来提高纹理的分辨率和质量。

应用

Meta 3D TextureGen方法的应用前景广泛，特别是在需要快速且高质量纹理生成的领域，如3D艺术创作、游戏开发、动画制作和虚拟现实内容创建。该方法的高速度和高质量输出使其成为3D艺术家和设计师的理想工具，能够显著提升创作效率和作品质量。