Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs
Latent Space · 2026-11-18

Stable Diffusion 发布当天,Dustin Podell 从洛杉矶一家软件工作室辞职,后来成了 SDXL 和 Flux 的核心作者。
一个写了十年代码的工程师,在 Stable Diffusion 发布当天递了辞呈,理由是他觉得做这模型的人“像会魔法的巫师”。这期把 Latent Diffusion 到 SDXL、Flux 的技术线捋了一遍,也讲了 SDXL 那个没人知道的 Refiner 是怎么临时顶上的。
从海德堡的博士论文,到改写一票人职业轨迹的 Stable Diffusion
Andreas Blattmann 和 Robin 在德国海德堡读博时搞出了 Latent Diffusion,后来被 Stability AI 放大成 Stable Diffusion。
- Latent Diffusion 的核心:不在像素上做扩散,而是先把图像压进一个更小的“潜空间”再生成,算力省一大截。Andreas 说他们几个都是物理背景,觉得把扩散这个物理现象映射到生成模型有种哲学上的美感。
- Dustin 的入行路径很野:他原本是写了十年代码的软件工程师,2022 年 Stable Diffusion 发布当天从洛杉矶的工作室辞职。他说当时觉得做这模型的人“像会魔法的巫师”,想搞明白他们念了什么咒。
- 他从工程师熬成研究负责人:进 Stability 时职级是工程师,靠业余时间泡 Eleuther 的 Discord、读论文、蹭集群上的空闲算力,一路做到 SDXL 和 Flux 的核心作者。
SDXL 的 Refiner 是个“没被发布的模型”临时顶上的
SDXL 是第一次让开源图像模型“好用”起来,但它的 Refiner 背后有段没公开过的往事。
- SDXL 干了三件新事:第一次大规模多宽高比训练(此前模型只会出方图)、第一次分预训练和后训练多个阶段、第一次系统性地做数据工程。Dustin 说这些改进很多是吸收开源社区微调经验后固化进基座的。
- Refiner 的真相:它原本是另一个架构的完整扩散模型,训练到后训练阶段了,细节质感更好但结构很差,最终没单独发布。团队干脆让它专职补高频细节,和主模型拼成一条流水线。
- 这背后是个物理直觉:扩散从噪声走向清晰图,是先出结构、后出纹理。Andreas 说 SDXL 是最早利用这个规律的工作之一,把“管结构”和“管质感”拆给两个专家。Dustin 至今对这个妥协有点不甘心,他当时想要一个模型什么都能干。
视频模型只微调 1000 步,就长出了 3D 理解
Andreas 在 Nvidia 时期就把 Latent Diffusion 搬到了视频上,但真正让他兴奋的是另一个实验。
- 数据比算法更被低估:Stable Video Diffusion 花大篇幅研究数据筛选。Andreas 的逻辑是——算法再好,喂进去的是模糊、没运动的视频,模型学到的就是模糊和没运动。
- 关键实验:拿一个只见过普通 2D 视频的模型,用约 1000 步 3D 数据微调,就得到了一个可用的 3D 模型。说明纯 2D 视频训练已经隐含了大量 3D 理解——要生成绕物体转一圈的画面,模型必须“脑补”出背面。
- 为什么不能靠拼帧:早期把扩散模型拉长、逐帧拼接的做法会闪烁,固定随机种子加一堆 hack 也救不回来。现在统一用 Transformer,必须在时间维度上做注意力,模型才能学到“一致的运动长什么样”。
带走一句话
“算法再好,如果数据是模糊、没运动的视频,模型学到的就是模糊和没运动。”
- 做多模态或视频产品时,先花力气把训练数据的运动量和清晰度分布摸清楚,比换 backbone 更划算——BFL 的经验是数据筛选的收益被长期低估。
- 评估“世界模型”能力有个便宜办法:拿视频模型做少量 3D 数据微调,看多少步能收敛出可用 3D 结构。收敛步数越少,说明底座模型隐含的空间理解越强,可作为选型指标。
