The Million-Hour Robot Brain: Dyna-2 & World Models — Jason Ma, Dyna Robotics

Dyna Robotics 联创 Jason Ma 称，其世界动作模型 Dyna-2 用 100 万小时人类视频预训练，机器人学叠餐巾只需 45 分钟数据，已在 Dentyon 等连锁餐厅每天叠数千张餐巾。

机器人真正缺的不是一条更聪明的指令，而是一套能预演后果、又能在现场持续纠错的身体。

这期嘉宾是 Dyna Robotics 联合创始人兼首席科学家 Jason Ma。他从宾夕法尼亚大学 GRASP 实验室、Nvidia 与 Google DeepMind 走到创业一线，如今带队把机器人部署到餐厅和酒店场景。访谈的重点不在某个酷炫 demo，而在一个更硬的问题：怎样把一个能看懂世界的模型，变成能长期在真实世界里干活的系统。

这期回答了 7 个问题：

1. World Action Model 和普通机器人策略到底差在哪里？
2. 为什么一百万小时人类数据还只是起点？
3. 机器人为什么不能像聊天机器人一样等几秒再回答？
4. 为什么 Dyna 不只做模型，还要自己做硬件？
5. 短短几十分钟示范，究竟能把机器人教到什么程度？
6. 真正能上线的机器人，如何从单项动作走向完整工作流？
7. 机器人行业最该摆脱的，是哪一种 demo 思维？

被问到 Dyna 2 是什么时，Jason 没有把它说成一个更会控制机械臂的模型。他把它定义为同时预测未来世界状态和机器人动作的 World Action Model。输入不只是一帧画面，还包括过去数秒的视觉、关节编码器读数，以及人给出的语言指令；输出则既有硬件可执行的动作，也有对未来画面的预测。模型不是看到杯子就伸手，而是先估计伸手以后场景会怎样变化，再用这个预演来约束动作。

他说："it's the first world action model trained on more than 1 million hours of data."（这是第一个在超过一百万小时数据上训练的世界动作模型。） 这不是为了把规模数字贴在发布页上。一百万小时的人类第一视角数据，先给模型一个宽泛的物理先验：物体会怎么移动，人在桌面、厨房、洗衣房里通常怎样操作。随后再用少量真实机器人数据，把这种常识对齐到具体关节和执行器。

这里的变化是，机器人不再只从“当前画面对应哪个动作”里学规则，而是把动作当成改变环境的原因。Jason 把它类比为视觉与物理空间里的推理。对拿饮料、开冰箱、把毛巾从洗衣机移进烘干机这类任务，下一步怎么做取决于当前状态，也取决于你预期动作会让门、毛巾和人处在什么位置。预演能力越可靠，动作越不容易只在训练场景里碰巧成功。

主持人追问什么算好数据。Jason 的答案很克制：机器人领域没有互联网这一份现成、统一的语料，因此没有单一的赢家数据集。人类第一视角视频足够多样，能覆盖大量物理活动，适合让模型先理解“一个具身行动者会怎样改变世界”；但人的手、身体和机器人的关节并不相同，人类数据不能直接替机器人把动作执行出来。

他的原话是："just a million hours of data is is not enough it's just the beginning."（仅有一百万小时数据还不够，这只是开始。） 所以配方不是押注一种数据，而是分工。大规模人类数据负责广度，机器人自身数据负责低层反射、接触与灵巧性；当目标是某家酒店规定的铺床方式，或某种工位上的插管动作，还需要任务特定的数据。

这意味着“数据质量”不是一个固定标签。模型什么都不会时，广泛视频也有价值；模型已有通用能力后，能补齐特定失败模式的窄数据反而更值钱。把这件事想成给新员工培训更接近现实：先让他知道一个餐厅和洗衣房大致如何运作，再教他这家店对餐巾折痕、收纳顺序和设备按钮的具体要求。没有前者，后者学得慢；只有前者，落地时又会手忙脚乱。

语言模型可以思考几秒，用户通常只会觉得它慢一点。机器人不一样。它拿着刀、转着旋钮、接近人的手时，物理世界不会暂停等待下一次推理。Jason 用了一句很直白的话解释这一点："robotics model needs to be able to inference very fast."（机器人模型必须能非常快地推理。）

这也解释了为什么训练阶段可以做大模型，部署阶段却必须控制尺寸。Dyna 可以先训练更大的模型，再通过蒸馏把能力压进可在现场运行的版本；最终部署的模型要能本地推理，避免网络往返带来的不确定性。公司还为实际部署的模型做自己的 inference stack，因为对动态操作而言，几百毫秒和几秒不是体验差异，而可能是失败和危险的边界。

这里最容易被忽略的是，机器人系统并非只需“模型会不会”。推理速度、动作频率、传感器刷新和故障回退共同决定它能不能持续工作。机器人需要以每秒多次的频率输出连续动作向量，且使用上下文判断自己正在继续开微波炉，还是已经完成动作。语言模型里的长上下文，在物理系统里会落成一个更朴素的问题：它是否记得刚才发生了什么，并来得及据此修正下一步。

被问到为何不做纯模型公司、让模型适配任意机器人时，Jason 的判断是：在真实任务里，硬件不是外包给采购部门的壳。Dyna 选择上半身接近人形、下半身用轮子的半人形设计。轮子比双腿更省能、更稳定，也更易保证安全；但腰部需要多个自由度，因为人拿桌上一只瓶子时并不只移动手臂，躯干也会自然参与。

他指出："hardware and just how hard it is to build good hardware is very undermphasized."（硬件，以及造好硬件到底有多难，被严重低估了。） 这种判断直接影响模型路线。若公司要从人类数据中迁移能力，机器人的比例和动作范围就应尽量贴近人类；若执行器的行为难以建模，仿真和控制模型都会变差。相反，激光雷达、部分相机这类输入输出已经清晰且成熟的部件，可以直接采购，不必为了“全自研”而从零造起。

这意味着全栈不是把每个零件都自己做，而是把会决定系统上限的耦合处握在手里。灵巧手还会过热，触觉、声音、热成像等模态还没有被完整采集。即使视觉数据扩展到百万小时，缺失的感知维度仍可能让机器人在复杂任务中看起来很聪明，却始终跨不过最后一步。硬件限制慢下来的地方，正是模型进展不能靠更多 benchmark 掩盖的地方。

访谈中最容易被转发的数字，是切菜任务只收集了 45 分钟数据，有些任务只需几十分钟到几小时。这个数字并不表示“机器人从此不必训练”，而表示通用底座降低了新任务的起步门槛。对于新硬件，Dyna 在它准备好之前就先在人类数据上预训练，因此真正接入时，模型不必从零认识躯干运动和物体操作。

Jason 对流程的描述是：先让人遥操作或演示任务，训练一个小量数据微调后的模型，再放到同一真实环境里跑。如果已经表现很好，就继续扩展；如果只到七八成，就观察它具体在哪里失手，收集针对性的补充数据，再迭代。他把这称作机器人版本的反馈学习：机器人自己 rollout 后，人可以判断好、坏或部分成功，而这些经历又回到训练集。

关键在于，这条闭环把“能做 demo”改成了“能被运营”。一条漂亮的成功视频并不能说明系统知道怎样面对新毛巾、新光照或一次没抓住的物体。真实部署会不断制造反例，反例才告诉团队该补什么数据、该改哪个传感器或执行器。真正有价值的速度，不是把首次演示压缩到最短，而是每次失败后能否迅速得到下一轮更可靠的行为。

单个动作做得很顺滑，仍然离“替人工作”很远。Dyna 展示的洗衣流程里，机器人要把毛巾从洗衣机转到烘干机，识别掉落的毛巾并放进脏衣篮，关门、调旋钮、启动设备。完整流程可持续约一小时。Jason 认为，低层世界动作模型负责灵巧执行，外面还必须有一层 agentic harness，处理高层顺序和等待关系。

他的判断是："the value is about tasks or like workflows that go on like unsupervised for hours."（价值在于那些能在无人看管下持续数小时的任务或工作流。） 例如洗衣机仍在运行时，系统应该去做别的事，完成后再及时回来处理。让一个低层动作模型硬学全部计划，效率很差；让高层推理层拆解步骤、监督进度，再调用动作模型，才更接近完整工作。

这也让“机器人是否通用”的标准更具体。不是它能不能在视频里完成十个小动作，而是能否把这些动作组合成有业务结果的流程，并在中间状态改变时恢复。对于产品团队，这和软件 Agent 的判断其实相通：一个能写出漂亮单步答案的系统，不等于一个能把跨系统、会等待、会出例外的流程交付完的系统。

Dyna 目前在 Best Western 等酒店场景做洗衣相关工作，也在餐饮场景折餐巾。Jason 特别强调，他们机器人每天在多个 Dintaifung 地点折叠数千张餐巾。难点不只是让机器人在一个地点亮相，而是让客户确认它创造的价值足够高，愿意复制到更多门店。餐巾的第二道折痕距离筷子袋的位置有严格要求，机器人要处理的还是每张形态都不同的柔性物体。

他说："we're not here to just build a model. We're here to truly get robots deployed."（我们不是只来造一个模型，我们是来让机器人真正被部署的。） 这句话把评估标准从技术展示拉回商业现场。专用机器或许也能完成一类固定折叠，但通用平台的意义在于，客户把下一项需求提出来时，团队可以用既有模型、身体和数据闭环更快适配，例如从折餐巾延伸到切食材。

这意味着机器人行业该少问“这次 demo 多惊艳”，多问“客户为什么要再买十台”。前者可以在受控环境里把偶然成功剪进视频，后者会暴露可靠性、速度、维护、动作精度和跨地点一致性。Jason 的路线不是否认演示，而是把演示当作发现缺口的手段。只有部署反馈不断回流，模型、硬件和任务定义才会一起变得更强。

Jason 的主线很明确：机器人不是给语言模型装一双手，而是要建立一套能理解后果、快速行动、持续学习的完整系统。第一条的未来预演让动作不只是反射，第二条和第五条把它放回“广度预训练加现场补课”的数据闭环；第三条则提醒，真实世界的时间约束会倒逼本地推理和系统优化。

更重要的是，第四条的硬件控制、第六条的工作流编排和第七条的多地点部署，并不是三件分开的事。硬件决定能收集什么、能评估什么，agentic harness 决定如何把动作串成长期任务，客户扩展部署才检验这些环节是否真的合在一起。对正在看 AI 进展的人来说，最该关注的也许不是机器人又学会了哪一个动作，而是它能否把一次成功变成稳定、可复制、无需守在旁边的工作。