How World Labs Is Building AI That Understands Space
a16z · 2026-09-05
World Labs 的 Atlas 模型用三台 iPhone 就能拍出《黑客帝国》子弹时间级别的 3D 视频，重建速度和精度远超传统方法。
三台手机取代百台相机：3D重建变了
World Labs 的 Justin、Ben 与 Fei-Fei 这次讲的，不是一款“更会生成视频”的模型，而是一条把图像、相机、3D 重建、模拟和机器人训练接起来的路线。Ben 是 NeRF 的创造者，长期研究如何从图像得到三维世界；团队成立仅两年半，去年推出 Marble，今年推出 Atlas。Atlas 的关键词是：不是顺着时间生成下一帧，而是在任何位置回答“从这里看，世界该是什么样”。
这期回答了 8 个问题：
- 为什么“预测新视角”比“预测下一帧”更像世界模型的核心能力？
- 一张图不再只是像素，而带有相机位姿，究竟会怎样改变生成的可控性？
- 三台 iPhone 凭什么能复现过去需要数百台相机的《黑客帝国》式镜头？
- 把房间扫描从上百张照片压到三张后，模型补出来的部分还能算“重建”吗？
- 为什么 World Labs 要放弃把 Gaussian 表示当作唯一输出？
- 3D 创作中最耗时的工作，为什么不是建模或渲染，而是翻译反馈？
- 机器人真正缺的是策略模型，还是能大规模随机化的世界数据？
- 动态、可编辑性与画质，World Labs 还没有解决哪一个关键矛盾？
被问到 Atlas 最简单的输入输出描述，以及它和 LLM、视频模型究竟差在哪里时，团队先给了一个很干脆的划分：LLM 预测下一个 token，也就是下一个词元；视频模型预测下一帧；Atlas 则接收场景的若干视图或文字描述，把它们放进一个“空间上下文”里。用户随后可以把虚拟相机指向任意空间和时间位置，模型要回答：站在这里，此刻应该看到什么。
Justin 把这个能力叫作“新视角预测”。"Atlas is, in essence, forecasting a new perspective."（Atlas 本质上是在预测一个新视角。） 这不是把原视频拉长，也不是在首尾帧之间补运动，而是要维持一个能被反复访问的场景状态。你从门口看一次，再绕到桌子背后看一次，模型面对的不是两个独立生成任务，而应是同一个世界的两次查询。
这意味着，视觉模型的竞争单位可能从“连续生成一段好看的画面”，变成“能否守住一个可从任意位置调取的世界”。镜头移动不再只是运镜特效，而像鼠标在三维空间里点击查看。不过这仍是 World Labs 提出的基本原语和路线判断。当前演示能证明新视角生成有吸引力，却还不足以证明它已经拥有完整的空间推理能力。
被问到 Atlas 和那些能输入单图、首尾帧，或 20、30、50 张参考图的视频模型有何不同时，Ben 把区别落在一个很具体的数据结构上：Atlas 里的每张图片，不只是“供模型参考的像素”，还带着它在三维空间中的相机位姿。位姿可以理解为相机站在哪里、朝哪里看、镜头参数如何。
"In Atlas, each image actually has a corresponding 3D camera pose."（在 Atlas 中，每张图像实际上都有一个对应的三维相机位姿。） Ben 举例说，如果从房间四个角各拍一张，把四个视图连同空间关系交给模型，模型就不必靠文字猜“另一角可能有什么”，而是可以据此复现输入中已经看见的物体与相互位置。
这改变的是控制接口。过去用户往往写提示词、生成、发现不对、再改提示词，Ben 把这种反复抽卡称为“slot machine” effect。Atlas 想把操作改成两件事：内容放在哪里，以及相机怎样经过那里。对创作者来说，这更像摆布舞台布景，而不是反复向一个只懂语言的系统描述脑中画面。
边界也很清楚：有位姿不等于单张照片突然拥有完整世界。输入视图之间必须有明确空间关系；没拍到的角落、桌底和遮挡物，仍然需要模型推断。
被要求解释 Atlas 展示的 bullet time 视频是什么时，团队拿出了几乎人人都见过的例子：《黑客帝国》里 Neo 下落，时间仿佛冻结，镜头却绕着他飞。这个镜头当年不是靠一台高速相机完成的，而是在绿幕摄影棚里围了一圈数百台相机。演员跌落时，每台相机从一个角度拍摄，后期再把这些角度拼成绕飞镜头。
Atlas 展示的做法是，把几台 iPhone 架到三脚架上，拍一个人投篮，或拍一颗草莓落入牛奶。模型拿到三段视频后，可以重编镜头：牛奶飞溅时，让虚拟相机穿过画面，形成“frozen time”效果。"But now with Atlas we can do it with just a few, three cameras."（但现在有了 Atlas，我们只用几台——三台相机——就能做到。）
这意味着，多视角镜头的一部分成本，正从相机阵列、绿幕、标定和后期流程，转成低成本采集加模型推断。以前是“先用硬件把所有角度拍齐”，现在是“拍少数角度，再让模型补出可用视角”。
但别把这个演示读成“三台手机替代整个影视工业”。团队展示的是特定的冻结时间类案例，没有宣称三台 iPhone 已覆盖复杂人物运动、遮挡、长镜头和所有布光条件。
被追问稀疏重建究竟省掉了什么时，Ben 先解释了“密集重建”的账单。传统方法要重建一个房间，通常得拍 100 到 300 张照片，因为桌下、椅腿之间、麦克风下方、植物叶片缝隙都需要被多个角度看到。团队见过普通用户第一次扫描多房间空间，举着手机走了约 2 小时，才得到足够覆盖。
Atlas 的目标是把这个数量压到三张。"We're talking about a 50-100x reduction"（我们说的是 50 到 100 倍的减少。） 团队还把一栋多房间住宅约 2,000 张快照缩减到 30 或 40 个输入，得到看起来几乎相同的飞行浏览。在 Stanford courtyard 演示中，Ben 从地面拍了 3 到 25 张图，最终却展示了空中视角。
这意味着旧视频、零散照片、历史素材，都有机会变成可漫游的 3D 资产。但“重建”一词的含义也变了：被相机看见的部分来自证据；没被看见的部分必然是模型按已有几何和视觉规律补出来的。传统重建里，未拍到的像素是空洞；Atlas 要填洞，就离不开生成。
采集量越少，模型想象的比例越高。省下的是拍摄成本，增加的是外推成分；两者不能混为一谈。
被问到为什么去年已经有 Marble，今年还要做 Atlas 时，团队把问题指向“输出表示”。Marble 能从图片、视频和文字提示创建 3D 世界，但无论输入什么，最后都固定输出为 Gaussian weaves。它是一种便于实时渲染的三维表示，适合移动设备、VR 头显、游戏引擎和模拟引擎，因此实用；可一旦模型所有结果都必须落到这种表示上，它也成了系统的出口瓶颈。
Atlas 的改法是更早分离不同模态。它可以生成 RGB 帧，也可以生成 3D；需要时再产出 Gaussian weave 世界，而不是把每个任务都塞进同一种三维格式。"But we don't need to limit our results to just Gaussian convolutions when there's no need to."（但在没有必要时，我们不必把结果限制在 Gaussian 卷积这一种形式上。）
这意味着，空间上下文本身才是核心资产。一份场景理解可以服务于视频镜头、3D 资产、实时渲染和模拟，而不必先问“最后要存成哪种 3D 文件”。对产品而言，这让生成与还原不必被同一个渲染格式绑死。
代价是系统复杂度上升。团队直说，为理解各种表示的优缺点，付出了大量“sweat, blood, and tears”。多输出并不自动更好，关键仍是不同表示在质量、可编辑性和效率之间怎么取舍。
被问到 Atlas 除了电影和游戏，还会怎样进入设计、建筑和施工流程时，Ben 描述了一个比建模更磨人的环节。今天的创作者通常先用图像模型做 storyboard 和 moodboard，再借视频工具做关键帧，之后持续修改。真正的问题不是“能不能出第一稿”，而是每次意见回来后，怎样把口头描述、草图和速写，准确变成场景里可操作的修改。
在建筑、施工、展台设计这类工作中，创意总监、设计师或建筑师开完会给出反馈，团队可能得花一周把修改落实到 3D 文件里。Ben 的说法很直白："That's 95% of the job, right?"（那就是 95% 的工作，对吧？） 这里的 95%，指的不是电脑渲染占用，而是人把模糊意图翻译成模型参数、对象位置和空间关系的劳动。
这意味着，空间 AI 的直接价值不一定是“一键生成漂亮建筑”。更现实的价值，是把“这里高一点”“把入口转过去”“保留这个展台，但换一条动线”之类反馈，更快变成可检查、可继续修改的空间版本。
不过要吃掉这 95%，模型不能只会出图。它必须知道哪个对象是同一个对象，布局改了会影响什么，并能在多轮修改中保留历史状态。这些控制能力，团队仍在建设。
被问到 World Labs 收购原名 Synapse 的机器人公司后，Atlas 为什么会成为机器人路线的关键拼图时，Fei-Fei 给了一个工业例子：让机械臂在工厂铺设电缆。传统流程得先密集拍摄环境，再重建模拟场地，随后训练控制算法、测试它、部署它。这个“现实到模拟”的环节本身就很慢，拖累后续机器人实验。
"the biggest problem in robotics right now is actually data."（机器人眼下最大的问题其实是数据。） 团队认为，机器人训练难点不只是收集“机械臂成功铺了一次线”的示范。策略要面对失败和变化：电缆可以以不同方式弯曲；箱子可以换尺寸、颜色、盖子和位置。训练环境必须被随机化，也就是主动制造大量不同条件，让策略在出问题时仍有机会学会应对。
这意味着，机器人竞争的一部分会从“谁有更好的控制算法”，转向“谁能把真实场地快速变成大量可变化、可重复试验的模拟世界”。Atlas 若能减少现实场地重建所需照片，就能加快这个数据工厂的入口。
但 Atlas 只是链条的一环。团队明确承认，目前还没有可靠到可直接用于机器人的先进基础模型。场景建得更快，不等于机器人已经会在真实世界里稳定行动。
被问到为什么公司没有一开始直奔 Atlas、团队最初是否确信这条路线可行时，答案并不浪漫：他们当时没有“spatial intelligence”的 scaling law，也就是没有一条可计算的经验规律，告诉他们模型变大、数据变多后能力会以何种方式增长。因此只能先做小实验、小模型，观察有没有“生命迹象”，再决定是否继续投入更多芯片和训练时间。
开发中，团队连续训练了多档模型。"Every time we made the model bigger, trained it longer, and ran it on more chips, it got significantly better."（每次我们把模型做得更大、训练得更久、用更多芯片运行，它都会显著变好。） 他们展示的版本不是因为数据或规模已到极限才停，而是发布截止日期到了。一次较小模型生成出相机飞到桌下、看到足球的结果后，三人在 Slack 消息后当面确认方向，据称约 5 秒就决定“这就是我们要做的东西”。
这意味着，前沿模型团队常常不是先拿到完备理论、再按图施工，而是靠一连串小规模证据校正判断。组织能力在于：当实验出现可信信号时，能否迅速把研究结论升级为算力和人员决策。
反面也同样成立。团队对缩放很有信念，但承认一开始不知道多久能成功，更没料到第一轮预训练就能达到当前质量。
被问到世界模型下一步还缺什么时，团队没有只说“更大、更快”。Marble 在架构和训练上本质是静态的，无法处理动态；Atlas 已原生纳入动态训练数据，公开视频里能看到水面波浪，也能看到生成航拍中的小车移动。这说明它不再只能处理像静物摄影般固定的世界。
但动态只是第一步。团队还希望支持场景交互、布局控制、对象身份和时间管理。比如用户要求“保留这把椅子”“让这个人做某个动作”“把物体移到窗边”，系统不只要画面合理，还要保证对象在不同视角、不同时间里仍是同一个对象。
Ben 把真正难点说得很准确："the main difficulty is to add control without degrading the quality of the model"（最大的困难是在不降低模型质量的前提下加入控制能力。） 这意味着，控制和画质不是简单叠加。控制条件越多，模型越容易受约束过强，视觉质量、连贯性和真实感可能下降。
如果加了对象、布局和时间控制，输出却变糊、变假，产品就只能停在玩具或娱乐层面。团队承认，Atlas 的动态仍属初步阶段；可编辑性和对象控制，也尚未在不牺牲质量的条件下彻底解决。
在节目最后，团队把话题推到“AI-completeness”。他们用语言模型解释这个概念：如果系统读完整本侦探小说，最后补出“And the murderer was...”，看似只是预测下一个 token，实际却要求理解人物、线索和推理。于是，下一个 token 预测可能把很复杂的智能任务压缩进一个统一形式。
团队认为，新视角预测也可能有类似性质。看完一段电影素材，镜头换到门口，预测走出来的凶手是谁；从进化角度看，动物有眼睛，树没有，因为动物移动时不断面对新视角。"we firmly believe that predicting the next viewpoint is equivalent to predicting the next token."（我们坚信，预测下一个视角等同于预测下一个 token。）
这意味着，Atlas 的长期叙事不只是更好的 3D 内容工具。它希望把感知、模拟和行动规划收束进同一种能力：理解世界面对某个视角或动作会如何变化，也就更接近理解该采取什么动作，才能让世界出现某种结果。
这仍是一项理论主张，不是当前演示已完成的事实。静态重建、初步动态和机器人模拟入口，都只能算支持这条路线的证据，离“新视角预测等于通用智能”还有很长距离。
Atlas 的主线不是“让 AI 多生成几个角度”。从“世界模型的最小单位不是下一帧，而是任何位置的下一眼”，到“可控性来自相机位姿，不是更会写提示词”，它试图先把像素安放进可查询的空间，再让生成、重建和编辑共享这份空间上下文。
“从百张照片压到三张后，3D重建必然掺入模型想象”说明，3D 不再只是一套严格采集后的测量结果；“3D生产最贵的不是渲染，而是把模糊反馈翻译成模型”则说明，真正要被压缩的也不只是拍摄成本，而是人类反复把意图转成空间修改的时间。
对读者自己的工作而言，问题不再只是要不要学一个新模型，而是你所在的流程里，哪些东西仍靠人反复解释位置、关系、角度和修改意见。如果这些信息能以相机、空间结构和对象身份被保留下来，3D 就不必只属于影视棚、游戏工作室和专业扫描团队；它会逐渐变成设计、施工、内容制作乃至机器人训练里，一层日常可操作的界面。
