● Feed Monitor · 每天替你盯顶级英文播客

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space · 2026-11-18

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs
一句话摘要

Stable Diffusion 发布当天,Dustin Podell 从洛杉矶一家软件工作室辞职,后来成了 SDXL 和 Flux 的核心作者。

扩散模型图像生成创业开源
为什么值得看

一个写了十年代码的工程师,在 Stable Diffusion 发布当天递了辞呈,理由是他觉得做这模型的人“像会魔法的巫师”。这期把 Latent Diffusion 到 SDXL、Flux 的技术线捋了一遍,也讲了 SDXL 那个没人知道的 Refiner 是怎么临时顶上的。

结构化解读
从海德堡的博士论文,到改写一票人职业轨迹的 Stable Diffusion

Andreas Blattmann 和 Robin 在德国海德堡读博时搞出了 Latent Diffusion,后来被 Stability AI 放大成 Stable Diffusion。

  • Latent Diffusion 的核心:不在像素上做扩散,而是先把图像压进一个更小的“潜空间”再生成,算力省一大截。Andreas 说他们几个都是物理背景,觉得把扩散这个物理现象映射到生成模型有种哲学上的美感。
  • Dustin 的入行路径很野:他原本是写了十年代码的软件工程师,2022 年 Stable Diffusion 发布当天从洛杉矶的工作室辞职。他说当时觉得做这模型的人“像会魔法的巫师”,想搞明白他们念了什么咒。
  • 他从工程师熬成研究负责人:进 Stability 时职级是工程师,靠业余时间泡 Eleuther 的 Discord、读论文、蹭集群上的空闲算力,一路做到 SDXL 和 Flux 的核心作者。
SDXL 的 Refiner 是个“没被发布的模型”临时顶上的

SDXL 是第一次让开源图像模型“好用”起来,但它的 Refiner 背后有段没公开过的往事。

  • SDXL 干了三件新事:第一次大规模多宽高比训练(此前模型只会出方图)、第一次分预训练和后训练多个阶段、第一次系统性地做数据工程。Dustin 说这些改进很多是吸收开源社区微调经验后固化进基座的。
  • Refiner 的真相:它原本是另一个架构的完整扩散模型,训练到后训练阶段了,细节质感更好但结构很差,最终没单独发布。团队干脆让它专职补高频细节,和主模型拼成一条流水线。
  • 这背后是个物理直觉:扩散从噪声走向清晰图,是先出结构、后出纹理。Andreas 说 SDXL 是最早利用这个规律的工作之一,把“管结构”和“管质感”拆给两个专家。Dustin 至今对这个妥协有点不甘心,他当时想要一个模型什么都能干。
视频模型只微调 1000 步,就长出了 3D 理解

Andreas 在 Nvidia 时期就把 Latent Diffusion 搬到了视频上,但真正让他兴奋的是另一个实验。

  • 数据比算法更被低估:Stable Video Diffusion 花大篇幅研究数据筛选。Andreas 的逻辑是——算法再好,喂进去的是模糊、没运动的视频,模型学到的就是模糊和没运动。
  • 关键实验:拿一个只见过普通 2D 视频的模型,用约 1000 步 3D 数据微调,就得到了一个可用的 3D 模型。说明纯 2D 视频训练已经隐含了大量 3D 理解——要生成绕物体转一圈的画面,模型必须“脑补”出背面。
  • 为什么不能靠拼帧:早期把扩散模型拉长、逐帧拼接的做法会闪烁,固定随机种子加一堆 hack 也救不回来。现在统一用 Transformer,必须在时间维度上做注意力,模型才能学到“一致的运动长什么样”。
带走一句话

“算法再好,如果数据是模糊、没运动的视频,模型学到的就是模糊和没运动。”

AI 视角启发
  • 做多模态或视频产品时,先花力气把训练数据的运动量和清晰度分布摸清楚,比换 backbone 更划算——BFL 的经验是数据筛选的收益被长期低估。
  • 评估“世界模型”能力有个便宜办法:拿视频模型做少量 3D 数据微调,看多少步能收敛出可用 3D 结构。收敛步数越少,说明底座模型隐含的空间理解越强,可作为选型指标。

↗ 观看原片(YouTube)

→ 看今天的全部更新每天替你盯 14 个顶级英文播客频道,AI 提炼成几分钟读完的中文精华。每日更新,无需登录。
微信扫一扫 / 长按识别

每天早上,这份精华我直接发你微信。加我,长按左边二维码。

微信:xiangcaizi02