Meta推出3D Gen——一种新的快速文本转3D AI解决方案Meta推出了Meta 3D Gen（3D Gen），这是一种快速创建高质量3D对象的新方法，仅需少于60秒即可从简单的文本提示生成。

AI社区尚未从过去几周发布的AI视频生成器的影响中恢复过来，现在我们又迎来了Meta的3D生成器。

现在是时候将我们的注意力转向这种新模式了吗？

虽然AI 3D生成并不完全是新鲜事物，但现有解决方案如Luma Labs的Genie在生产或商业使用的质量上还未达到理想水平。

令人惊讶的是，Meta的3D Gen似乎是一个显著更强大的解决方案，基于他们发布的示例来看。

什么是Meta 3D Gen？

Meta 3D Gen（3D Gen）旨在从文本描述快速且准确地生成3D模型。它支持基于物理的渲染（PBR），这是一种提供光与材料属性相互作用的更准确表示的着色和渲染方法。

此外，3D Gen还可以使用新的文本提示为先前生成或艺术家创建的3D模型重新纹这些例子是经过详细描述和高质量的3D资产，足以用于3D打印等用例。

它是如何工作的？

Meta 3D Gen结合了两个主要组件：

以下是其工作原理的简单分解：阶段 1：3D 资产生成

初始 3D 创建：当您提供文本提示时，Stage 开始工作，使用 Meta 3D AssetGen 创建初始 3D 模型。这包括 3D 形状、基本纹理和 PBR 材料贴图。这个阶段大约需要 30 秒。 多视图生成：该模型使用多视图文本到图像生成器生成物体的多个视图。然后，重建网络创建第一个版本的 3D 对象，随后进行网格提取以定义其形状和纹理。

阶段 2：纹理细化和重新纹理

增强纹理：在阶段 2 中，阶段 1 的 3D 模型被细化。Meta 3D TextureGen 接收初始模型和文本提示，生成高质量的纹理和 PBR 材料贴图。这大约需要 20 秒。 重新纹理：该阶段还可以根据新文本提示为未纹理的 3D 模型添加新纹理。该功能对于自定义或更新 3D 模型非常有用。

如果您想了解更多关于3D Gen的详细信息，请查看来自Meta的这份白皮书。

示例

以下是一些有趣的示例，展示了Meta 3D Gen可以从简单文本提示中创建的内容：

提示1：穿着毛衣的河马（左）。

提示3：一叠浇上枫糖浆的煎饼（右）。提示：田野里的一只可爱小猪（左）

提示：一只小龙从石蛋中孵化出来（右）所有这些 3D 模型在不到 60 秒的时间内生成，这让我感到非常震惊。我不是 3D 艺术家，但我想象一个真实的人需要几个小时来雕刻和添加纹理。

它与其他解决方案的比较如何？

Meta 3D Gen 因其速度和质量而在行业解决方案中脱颖而出。以下是与一些领先的文本到 3D 生成器的比较：Meta 3D Gen在速度和质量上都优于这些替代品。

研究人员还分析了视觉质量、几何形状、纹理细节以及纹理伪影的表现率，这些表现率与文本提示描述的场景复杂性有关。上面的图表显示，尽管一些基准模型在简单提示下表现相当，但随着提示复杂度从物体到角色及其组合的增加，3D Gen 开始强有力地超越它们。

与许多其他解决方案不同，AssetGen 和 TextureGen 都是前馈生成器，因此在部署后它们快速且高效。这种效率对于要求快速周转的应用（如虚拟现实和游戏）至关重要。

为什么这很重要？

3D 生成的一个主要挑战是创建在虚拟现实和现实世界应用中看起来都好的模型。

随着虚拟现实头戴设备（如苹果的 Vision Pro）被更广泛地采用，基于 AI 的 3D 生成可能在虚拟现实体验的发展和增强中发挥重要作用。

特别是虚拟现实在假细节方面是非常挑剔的。为了使体验真实可信，您需要在实际几何形状中尽可能多的细节。

虽然当前的 AI 模型通常输出低分辨率的几何形状，并用纹理近似细节，但像 Meta 3D Gen 这样的工具正在为更复杂的解决方案这个故事是在生成式人工智能上发布的。