Chelsea Finn: The 700-Day Problem With Robot RL

Physical Intelligence 创始人 Karol Hausman 展示：单一机器人模型 PI0 7 在多种任务上已超越专精微调模型，无需额外训练即可开箱使用。

机器人RL的一百万次尝试，要跑700天

Chelsea Finn 是 Physical Intelligence 的创始人。她在这场演讲里展示的不是“机器人又学会了一个新动作”的集锦，而是一套让机器人进入真实工作流的工程账本：做咖啡、折纸箱、折衣服、清洁厨房，分别要付出多少数据、硬件运行时间和人工干预。她的核心判断很直接：机器人离真实价值的门槛，不是演示一次成功，而是在没人盯着时，持续完成任务且少出错。

这期回答了 7 个问题：

1. 为什么语言模型可以犯错，进入物理世界的机器人却必须把错误率压到极低？
2. 一项看似只需一分钟的机器人任务，为什么可能需要700个机器人日才能训好？
3. 让人类中途遥操作机器人，为什么反而是规模化强化学习的关键？
4. 机器人做10分钟以上的复杂任务，为什么不能直接把全部视频塞进模型？
5. 低质量、异构的机器人数据，怎样从模型负担变成泛化能力来源？
6. 机器人从未见过某种操作方式或某个机型，为什么仍可能完成任务？
7. 物理智能会出现ChatGPT式的爆发时刻，还是注定被硬件部署速度拖慢？

被问及怎样让通用机器人真正对现实世界有用时，Finn 先把此前的商业化机器学习放进一个共同框架：广告排序、商品推荐、聊天助手，模型通常只是给建议，最后拍板的是人。推荐错了商品，用户可以不买；聊天回答有问题，用户可以追问、忽略或自己核实。系统并不完美，依然能产生商业价值。

ChatGPT 在五天内达到一百万用户，证明通用模型可以快速进入大量真实使用场景。Waymo 则提供了另一种证据：一年前，其每周自动驾驶行程超过25万次，说明机器学习也能直接进入物理环境并自主运行。但机器人面临的不是“用户是否接受建议”，而是它的夹爪、轮子、机械臂已经在动。"they have to be directly making decisions that affect the physical world."（它们必须直接做出会影响物理世界的决策。）

这意味着，机器人产品的指标不能停在“十次里成功八次”。一台做咖啡的机器人，要能稳定插入手柄、等待萃取、端起装满液体的杯子，还不能洒；如果人得频繁守在旁边接管，它只是昂贵的演示设备。物理AI要求的可靠性，比过去那些“人能看懂并改正”的模型高得多。Waymo 证明这件事并非不可能，但也恰恰说明：可信自主运行不是模型会动就够了，而是要把错误压到足以让人不再随时接手的程度。

被问及怎样把语言模型的大规模强化学习迁移到机器人时，Finn 泼了一盆很具体的冷水。语言模型里的 PPO、GRPO 等方法，能让模型在数据中心里进行数百万、甚至数千万次尝试。一次尝试，本质是调一次模型、消耗一些算力；失败了，损失的是服务器时间和电费。

机器人不一样。它每一次 rollout，也就是让策略实际跑一遍任务，都要启动真实硬件、占用场地、承受磨损，并面对环境变化。Finn 给出的估算很刺眼：假设只收集100万条轨迹，每条只持续1分钟，已经比做一杯浓缩咖啡的完整流程更短，仍然需要700个机器人日。"This would correspond to 700 robot days to get high reliability for that task."（这将相当于为了让那个任务达到高可靠性，要投入700个机器人日。）

这意味着，语言模型那套“多试几千万次，总会试出来”的配方，不能原封不动搬到实体世界。700天不是数学上不可能，但对于要维护、充电、校准、保证安全的硬件系统，账单会迅速膨胀。机器人强化学习真正稀缺的资源不是 GPU，而是有效的实体尝试。之后算法比拼的重点，会变成一件更朴素的事：每让机械臂动一次，能不能从这次动作里多学一点，而不是把大量时间花在注定无效的失败路径上。

在解释怎样避免机器人强化学习浪费大量真实世界尝试时，Finn 举了折纸箱的例子。机器人要把纸箱折好、贴标、堆叠，却有一次误抓了两个紧贴在一起的纸箱。此时如果让它继续执行，它会反复尝试把“两只箱子”当成“一只箱子”来折。这个过程既不会产出可用纸箱，也几乎教不会模型正确策略，只是在消耗硬件运行时间。

团队的做法不是等机器人撞到彻底失败，而是让人通过遥操作介入。人先示范如何把两个纸箱分开，再把系统带回可恢复的状态；如果机器人仍无法自己接上，人再短暂接管一次。"we'll actually have a human intervene and show the robot what to do and how to recover from that situation."（我们会让人类实际介入，向机器人展示该怎么做、怎样从那个状况中恢复。）

这意味着，人类不必承担从头到尾驾驶机器人的角色，更像失败路线上的交通指挥员。机器人走在正确道路上时，让它自己积累经验；一旦驶入死胡同，就尽早给出恢复动作，或者干脆终止这段 episode。这样收集到的数据不只是“成功示范”，还包括最稀缺的“出错后怎么回来”。边界也很清楚：这不是取消人类监督，而是把人工放在最能节约实体试错的位置。自动化的目标不是训练阶段完全没人，而是让人的一分钟干预，替代机器人几十分钟的瞎折腾。

在解释机器人为何能做短动作、却难以完成多步骤长任务时，Finn 指出一个容易被忽略的事实：很多前沿机器人基础模型没有真正的记忆。它们只看当前传感器和相机读数，然后预测下一步动作。折一下衣服、重复放取物品，这种短技能可以这样完成；但清理厨房时，机器人得知道自己擦没擦过台面、纸巾是否已经扔掉、芥末是否放回冰箱。

把全部历史视频直接塞进模型，计算量很快失控。10秒视频、50赫兹采样、四路相机、每张图约256个 token，合计约50万个 token；即使粗暴降到每秒一帧，10秒历史仍有约1万个 token。对需要实时控制的机器人而言，这样输入既贵又慢。

PI 的解法是多时间尺度记忆：近处保留约10秒的视频细节，远处则把过去10到15分钟的经历压缩成文本摘要。这样，模型既能看到手边纸巾的位置，也能调用“台面已擦干”“芥末需要归位”这类状态。借助这套记忆，机器人可以连续完成擦台面、擦干并丢掉纸巾、把芥末放回冰箱、收拾餐具、清洗脏碗等流程，持续10到15分钟。这意味着长任务的关键不只是把上下文窗口做大，而是像人一样区分：哪些视觉细节必须记住，哪些经历只需留下可执行的摘要。距离全天候做家务或工厂轮班，仍有很长一段路，但记忆已经从可选功能变成任务链条的骨架。

在说明单一通用模型怎样利用大规模异构数据时，Finn 没有把“数据清洗”当成唯一答案。PI 的训练混合了不同质量的机器人示范、机器人策略 rollout、人类操作视频和网页数据。问题在于，这些材料并不处在同一标准下：有人类示范很流畅，也有机器人自己尝试时的笨拙失败；有短任务，也有很长的 episode。把它们无差别倒进模型，噪声会压过信号。

PI 给模型补充了上下文。除了任务指令和记忆，还输入下一步子任务、数据质量、episode 长度等元数据；必要时，再给一张未来几秒应达到的子目标图像。实验结果很具体：移除最具多样性的那部分数据后，模型在留出任务上的表现大幅下降；随机删掉20%较不多样的数据，性能只小幅下降。更关键的是，不给元数据时，从80%数据扩至100%、加入更多低质量样本，性能反而下降；给了元数据，性能继续上升。"with the metadata prompting the performance actually increases when you add that lowquality data"（有了元数据提示后，加入那些低质量数据时，性能实际上反而提升了。）

这意味着，低质量数据不是天然废料。模型若知道“这是一次低质量示范”“这是任务末段”“这是较长流程”，就能调整自己对动作的理解。未来数据策略不必只想着筛掉噪声，更要为样本标注其来源、阶段与可信度。反过来说，元数据不是装饰：没有它，更多杂数据确实会把模型带偏。

被问及最近最令她意外的机器人能力时，Finn 讲了一个风车装配中的失误。训练数据里，团队刻意固定了操作策略：右手夹爪拿图钉，左手夹爪拿纸，然后把图钉插入纸上的孔。模型从未被训练过另一种分工。

一次实际执行中，机器人出了错：纸落到右边，图钉落到左边。它没有停住等待人重置，也没有执拗地把物体换回训练时的位置。它直接用左夹爪拿起图钉，把图钉插进右手拿着的纸里。Finn 强调，这种“左手插图钉”的例子既不在后训练数据中，也不在预训练数据中。"the robot essentially had learned this sort of equivariance between his left hand and his right hand"（这个机器人本质上学到了左手与右手之间某种等变性。）

这意味着，机器人开始学到的不是一串死记硬背的关节轨迹，而是可迁移的动作关系：谁拿纸、谁拿图钉可以交换，只要两只手之间的空间关系仍然成立。同样的迹象出现在大型 barm 工业机器人上。团队没有采集该平台的衣物折叠数据，模型仍能在这个连杆长度、关节配置都不同的平台上折衣服，表现接近人类遥操作。边界也不能忽略：第一次在未见平台折衣服可能要尝试几次，视频还是1倍速，离稳定高速生产并不等价。但训练集不必穷举每一种左右手、每一台机器的组合，这已经改变了扩展数据的方式。

被问及今天想进入机器人行业的人是否还值得读博士时，Finn 的回答没有把博士学位包装成通行证。她原本也计划直接进工业界：父母都是工程师，父亲甚至告诉她，自己不会雇用博士。她后来读博，最看重的收获不是某项固定技能，而是习惯在不确定中选择问题。

研究和成熟岗位的差别在于，后者通常有人定义目标、安排项目、判断交付；前者常常连问题都得自己找。"no one kind of even gives you the problem to work on. You have to pick the problem."（甚至根本没人会给你一个要解决的问题。你必须自己挑选问题。）选完以后，也不知道这个方向会在6个月、2年还是10年后推进，甚至不知道能否推进。机器人正处于快速变化阶段，这种能力尤其重要：没人能提前写好“通用机器人下一步必须攻克什么”的答案。

她举了员工 Jenny 的经历。Jenny 做过算法交易，也在 Harvey 从事法律相关工作；后来买了一台便宜机器人，在卧室里微调开源模型，分享实验成果，再通过冷邮件联系实验室，最终进入 Physical Intelligence。这意味着，机器人团队需要的不是只有某一种履历，而是能自己搭建实验、获得反馈、迭代方向的人。博士是否合适，仍取决于导师和研究主题；产业界同样需要软件、硬件、数据和机器学习基础设施人才，不要求每个人先拿博士文凭。

被问及通用机器人模型会否像大语言模型一样通过开源实现民主化时，Finn 没有给出爽快的“Yes”。语言模型能迅速扩散，一个基础条件是互联网已经堆积了海量文本；即使要蒸馏模型，也能从网络上找到大量接近任务目标的数据。具身数据的情况完全不同：机器人要获得“自己在真实环境中抓、推、插、折”的经验，必须占用设备、场地和人员，不能简单从网上下载。

这会让开源生态的竞争结构发生变化。PI 已开放 π0 与 π0.5 的源代码，行业也已有大型机器人数据集和强大模型开源。Finn 认为，重视闭源模型的公司也可能开源部分能力，用来建立围绕技术的开发者生态。但她没有假装知道结局。"I don't know if it will exactly play out exactly the way that language models played out."（我不知道它是否会完全按照大语言模型走过的路径发展。）

这意味着，机器人创业者不能把“权重公开”直接等同于“起跑线拉平”。未来的护城河可能不只是一组模型参数，更是实体数据采集能力、硬件运行稳定性、场景部署经验，以及从现场失败回流到训练系统的闭环。开源能让更多人从模型起点进入，但一台机器人在仓库、工厂或家庭里跑出来的经验，仍然有难以复制的成本。乐观的部分是社区会继续形成；不确定的部分是，开放模型能否追上拥有大量实体数据和硬件资源的实验室。

被问及机器人离自己的“ChatGPT 时刻”还有多远时，Finn 先区分了能力突破和传播爆发。ChatGPT 五天达到一百万用户，靠的是用户打开网页或安装应用就能用；物理模型的每一次使用，都得有一台实际存在、安装完毕且可安全运行的机器人。"the distribution channel for physical models is going to be slower"（物理模型的分发渠道将会更慢。）

Waymo 的扩张已经很有说服力，但它也说明实体部署有天然摩擦：设备要制造，场地要适配，安全要验证，出现问题要现场维护。模型能力即使快速提升，也不能像软件更新一样一夜覆盖百万用户。Finn 的判断是，机器人模型正接近对现实有用的阶段，类似 ChatGPT 的能力水平已在未来几年内进入视野；但她并不确定会不会出现一个单一、全民可感知的爆发时刻。

PI 的模型已经被 YC 公司 Ultra 和 Weave 用于洗衣折叠、仓库包装，也可适配双臂平台、无人机、四旋翼飞行器、手术机器人和拖拉机。这意味着具身智能的扩散更可能按行业发生：先在任务明确、环境可控、账能算过来的岗位扎根，再逐步拓宽。模型能力是一端，制造、安装、安全验证和运维是另一端。前者可能出现拐点，后者决定了价值释放的速度。

这场演讲的主线，不是“机器人已经会做多少事”，而是怎样用有限的实体试错，换取长期可靠的自主运行。

“百万次一分钟训练，会把机器人RL拖成700天工程”说明，真实硬件不允许像语言模型那样无限试错；“人类遥操作不是自动化的反面，而是节省实体试错的加速器”则给出了一种解法：让人只在机器人走入死路时介入，把昂贵的运行时间留给可学习的恢复经验。两者指向同一件事：具身智能的瓶颈不是缺少一个更酷的动作，而是缺少一套把失败转化为有效经验的系统。

“长任务不该保存全程视频，分层记忆才跑得动”和“低质量数据并非毒药，缺少上下文才是”也属于同一逻辑。前者在节约模型处理历史信息的成本，后者在提高每份异构数据的利用率；它们都在解决一个问题：机器人得到的数据贵、慢、杂，不能浪费。

对正在做机器人产品、自动化设备或相关软件的人来说，最该问的未必是“模型能不能完成一次演示”，而是更具体的几件事：失败后谁来恢复？一次运行到底学到了什么？数据里是否保存了任务阶段和质量信息？模型部署到新硬件时，哪些能力能迁移、哪些必须重训？这些看上去不如演示视频吸睛，却决定了机器人能否从一段视频，变成一条真正能跑起来的工作流。