摘要

Meta 3D Gen（3DGen）是一项尖端技术，旨在通过文本描述快速生成高质量的3D资产。该技术解决了从文本到3D内容生成的问题，这在视频游戏、增强现实和虚拟现实应用以及电影特效设计中是一个耗时且具有挑战性的过程。3DGen通过集成Meta 3D AssetGen和Meta 3D TextureGen两个关键组件，实现了在不到一分钟内生成具有高提示保真度和高质量形状及纹理的3D资产。此外，3DGen支持物理基础渲染（PBR），这对于真实世界应用中的3D资产重新照明至关重要。该技术的前景在于其能够支持个性化、用户生成的3D内容创建，以及在虚拟现实和增强现实中的广泛应用。

原理

3DGen的工作原理基于两个主要阶段：第一阶段（Stage I）使用Meta 3D AssetGen模型从文本提示生成初始3D资产，包括3D网格和纹理。第二阶段（Stage II）利用Meta 3D TextureGen模型对生成的3D资产进行纹理细化，或者根据新的文本提示重新生成纹理。这两个阶段通过结合视图空间、体积空间和UV空间的三种互补表示方式，实现了高质量的3D对象生成。具体来说，AssetGen通过生成多个一致的视图来提取3D对象的初始版本，然后通过网格提取和纹理再生来完善对象的3D形状和纹理。TextureGen则通过在UV空间中进行纹理生成，进一步提高纹理质量和分辨率，同时保持与初始提示的忠实度。

流程

3DGen的工作流程从接收文本提示开始，通过Stage I生成初始的3D网格和UV映射。随后，Stage II使用新的文本提示生成一组新的视图，这些视图在UV映射的帮助下被重新投影为部分纹理。最后，通过TextureGen的网络生成一个整合的UV纹理，并通过AssetGen的网络生成最终的纹理。整个过程高效且自动化，能够在短时间内生成高质量的3D内容。例如，对于一个描述“一只穿着绿色羊毛毛衣的霸王龙”的文本提示，3DGen能够生成一个逼真的3D模型，其纹理和形状都与描述高度一致。

应用

3DGen的应用前景广泛，包括但不限于视频游戏开发、虚拟现实和增强现实体验、电影特效制作以及虚拟产品展示。其快速生成高质量3D内容的能力，使得设计师和开发者能够更高效地创建和编辑3D资产，从而加速创意过程和产品上市时间。此外，随着虚拟现实和增强现实技术的普及，3DGen有望在这些领域发挥关键作用，为用户提供更加丰富和沉浸式的体验。