李飞飞World Labs发布3D世界生成模型Marble：实现从文字、图片到可编辑3D世界的跨越

当地时间11月12日，人工智能先驱李飞飞教授联合创立的World Labs公司正式发布了其首款商业化“世界模型”产品Marble。这标志着生成式AI从处理文本、图像和视频，正式迈入了三维空间生成的新阶段。

作为业内首款原生集成AI编辑工具的世界模型，Marble的核心优势在于能够生成持久化、可下载的3D环境，而非常见的动态生成模式。用户只需通过文本描述、上传图片或视频片段，即可快速生成可编辑、可交互的细节丰富的3D世界。

消息发布

技术突破：多模态输入与真实3D生成能力

Marble在技术上实现了多项重要突破，其核心在于能够创建持久化、可下载的3D环境，而非在用户探索过程中动态生成世界，这种设计显著减少了场景变形与不一致性问题。

多模态输入支持是Marble的一大亮点，系统可以根据单张图片、多角度图片、短视频片段或简单的文本提示，重建出结构完整、细节丰富的3D世界。无论是“一个阳光明媚的咖啡厅”这样的文本描述，还是上传的实际场景照片，Marble都能在几秒钟内生成一个用户可以“走进去”的三维空间。

Marble采用创新的STAG架构（时空-行为图），将世界用结构化的方式表示，包含节点（代表物体）、边（代表关系）、属性（存储状态信息）和行为四大核心元素。这一架构通过稀疏性和结构化先验，巧妙解决了传统Transformer处理视频时面临的计算复杂度问题。

Marble模型工作流程图

Marble不仅仅是一个生成工具，更提供了完整的创作生态系统。其内置的Chisel编辑器实现了“结构与风格”的解耦，用户可先搭建空间结构，再通过文本提示定义视觉风格。

世界扩展功能让用户能够对已生成的世界进行延展，当移动到场景边缘时，可指令模型在周边区域继续生成，增加细节密度，对于超大空间创作，合成器模式支持多个独立世界的无缝拼接，用户可以将风格迥异的不同世界组合为一体。

在导出方面，Marble支持生成高斯溅射、三角网格或视频格式，可直接接入Unity、Unreal、Blender等主流创作工具，无缝融入现有工作流。高斯溅射技术通过生成数百万甚至数十亿个微小的“溅射点”，精准模拟物体的光学特性，实现影院级渲染效果。

Marble的首批应用场景聚焦于游戏开发、影视视效和虚拟现实三大领域：

游戏开发中：开发者可使用Marble生成背景环境，将获得的3D资产导入主流游戏开发平台，再添加交互逻辑与代码。World Labs强调，Marble旨在赋能而非替代现有流程，是作为现有流程的补充工具。
影视视效领域：Marble能够有效规避传统AI视频生成器常见的画面不稳定与镜头控制难题，其输出的3D资产支持以帧级精度进行布景与运镜，为特效制作带来革命性变化。
在虚拟现实方面：Marble已全面兼容Apple Vision Pro和Meta Quest 3等主流VR设备，所有生成的世界均可直接通过VR头显进行沉浸式体验，有望缓解VR行业长期面临的“内容饥渴”问题。

除了创意产业，Marble在机器人训练领域也展现出潜力，可便捷地构建仿真训练环境，为开发自动驾驶车辆和机器人等AI系统提供大量逼真的训练数据。