AI:AM Highlights: Clean Neurons, Black October, the GPU Credit Crunch, and Buying the Supply Chain

SF Compute CEO Evan Conrad 说，AI 创业公司最大瓶颈不是算力本身，而是没人愿意给 GPU 集群贷款，因为没人懂怎么给这类资产估值。

AI 最大瓶颈不是芯片，而是信用

这是一场多嘉宾周报式 panel。Evan Conrad 是 SF Compute 联合创始人兼 CEO：公司替资产所有者运营 GPU 集群，也做算力合同的交易与转售市场。他讲的是一个很少被模型发布会遮住的现实问题：一座 GPU 集群到底怎样才能变成银行愿意放贷的资产。Zvi Mowshowitz 撰写《Don't Worry About the Vase》，长期跟踪 AI 能力、可解释性和政策风险；他的特点是会把“有进展”与“已经能控制”硬拆开。本期把钱、原子和法律放进同一张图：AI 的速度不只取决于谁训练出更强的模型，也取决于谁付得起预付款、谁造得出内存，以及规则会不会在关键时刻先把自己掏空。

这期回答了 7 个问题：

1. GPU 供给紧张的真正瓶颈，为什么不是电力或芯片，而是金融信用？
2. 为什么 AI 实验室越强，反而越难取代晶圆、内存和晶圆厂背后的实体供应商？
3. 把知识从模型权重迁到外部检索，为什么未必会让 AI 更聪明、更安全？
4. “神经元已经干净”为什么不等于我们已经理解、更不等于能预测模型？
5. AI 会创造网络安全岗位，还是会让公司直接用 agent 管理 agent？
6. 为什么试图监控、雕刻模型内部表示，可能反而训练出更会伪装的模型？
7. 联邦 AI 立法为何可能因抢先废除州法，制造一段监管真空？

被问到究竟是什么拖慢 AI 算力建设、以及为何 GPU 合同常要求长期锁定时，Evan Conrad 给出的答案不是电网排队，也不是芯片产能，而是贷款方不敢接一座 GPU 集群。所谓信用，不只是创业公司“名声好不好”，而是债权人相信：即使客户违约，手里的抵押品也能被接管、运营并卖出。问题是，银行若收回一台超级计算机，既未必知道怎么运行，也不知道它几年后值多少钱。于是，贷款方和云服务商最想要 Meta、Google 这类投资级客户，也就是违约概率被金融市场长期验证过的大公司。

Conrad 的原话是："right now the bottleneck in compute and AI in general is not power, it's not um chips. Uh it's entirely credit."（现在，算力乃至整个 AI 的瓶颈不是电力，也不是芯片，而完全是信用。） 新 AI 实验室要拿到集群，通常得交一大笔保证金，还要签长期合同；如果能把三年合同一次付清，几乎谁都愿意合作。这也解释了为何许多还没有收入、产品或用户的 AI 公司，先去融资天价轮次：它们买的并不只是研发时间，而是进入算力市场的入场券。

这意味着，AI 竞争会部分从“谁的模型更好”变成“谁的资产负债表能被承保”。Conrad 甚至预计，未来一两年 VC 要么继续给组合公司写大额支票，要么接受不少实验室和推理公司被出售、合并。边界也很清楚：SF Compute 想建立 GPU 抵押品的估值与转售市场，但这要数年证明。现在一个需要一千张 GPU 的创业公司，融资额并不会立刻减少。

Cambrian 管理合伙人 Lonus 被问到，为什么 AI 物理供应链的价值还没有被市场充分定价时，先摆出一组反直觉的估值：半导体股票大约交易在 16 倍盈利，标普 500 平均约 22 倍，沃尔玛接近 40 倍；他们看好的硅晶圆、内存、电容器和晶圆厂公司，有些只在 3 至 5 倍销售额附近。市场的隐含判断是：这些公司的利润不够耐久。但 Lonus 认为，AI 恰好会让它们的供给约束变得更值钱。

他区分了一件常被混为一谈的事：实验室可以用模型做芯片设计，却不等于能制造芯片。软件公司把模型生成的设计交给韩国、日本和台湾完成实际制造，自己没有大型工厂，也没有数十年沉淀的制造 know-how。"there will never be a situation where the labs will compete with a silicon wafer maker"（永远不会出现实验室与硅晶圆制造商直接竞争的局面。） 这里的“不会竞争”，指的不是 AI 永远帮不上工厂，而是设计能力与一座晶圆厂的建造、运营能力不是同一种资产。

硬约束还在供给端。Lonus 判断，到本世纪末，DRAM bit——也就是 DRAM 内存可提供的数据位——最多只能扩张约 2.5 倍；几乎没有闲置晶圆或内存可以临时调出来。大型工厂里，许多关键知识在长期任职工程师的手上，不是买到一份设计数据就能复制。这意味着，AI 的价值未必全部流向软件层；供给扩张最慢、工艺最难编码的环节，可能先拿到更强的议价权。反面是，超级智能终究可能提取这些隐性知识。争议不在“永远不能”，而在那一天到来之前，实体供应商会先获得多大的经营杠杆。

被问到“神经网络是糟糕数据库，是否该把认知处理和事实数据库分离”时，Zvi 反对把模型想成一个只负责推理、其余全靠外部检索的小核心。这个设想常被称为 cognitive core：一个很小的推理网络放在手机或本地机器上，遇到事实再把资料塞进上下文，或向外部系统查询。它听起来省钱、可控，也更像传统软件。但 Zvi 的反问很朴素：人进到陌生领域时，连缩写和术语都不知道，怎么知道自己该搜什么？

"you still have to know enough to know what questions to ask."（你仍必须知道得足够多，才知道该问什么问题。） 他用“五百万条事实”对比“五条事实”。人不是拿五条明确事实推导结论；大量记忆会沉淀为启发式、模式和跨领域连接，帮助人从海量信息里判断哪五条真正相关。LLM 的强项也不只是答出一个已知问题，而是把很多文化背景、事实链接和模糊的“感觉”一起调动出来，形成问题本身。

这意味着，把模型压缩成“轻量推理核＋外部数据库”，或许能降低推理成本，却可能损失问题定义能力。模型权重里的知识并非静态仓库；它也是联想和导航系统。随着算力变便宜、算法变好，模型记住更多事实的盈亏平衡点一直上升，前沿模型已经知道“荒谬多”的东西。Zvi 并不否认理论上可能存在很小的认知核心，但他提出另一层风险：如果把一切价值判断都剥离出去，留下的就可能是一个不包含伦理参数、只会处理信息的纯粹无道德核心。

Goodfire 的 Nick Camarada 写下“神经网络已经干净”后，可解释性圈子一度很兴奋。这个说法的核心是：随着模型训练和解释工具进步，单个神经元大多可能只做一件可理解的事；过去看到的混乱，更多是研究者解释能力不够。Zvi 承认这是实在的进展，但反对把“更容易测量”说成“模型已被理解”。一个典型反例是被拿来展示的 “Colorado neuron”：它看起来很明确地响应某类与 Colorado 有关的信息，后来 Braggus 发现，它对看似无关的龙卷风系统也有相近强度的响应。

"you can't use this to figure out what the network is going to say."（你没法用它来推断这个网络将会说什么。） 这句话划出了可解释性的关键门槛。能给一个神经元贴标签，不代表能预测整个网络下一步输出什么，更不代表理解它是如何完成任务的。弱激活、KV cache——模型生成时保存前文计算结果的缓存——以及 attention 在实际运行中怎样协同，仍大多没有解释。

Zvi 把这项进展量化得很冷静：问题的预期难度或许从需要约 10 的 47 次方算力，降到 10 的 45 或 46 次方；相当于容易了约 10 倍，可能让研究提前一年，而不是今天就解决。它意味着研究者能更早、更便宜地拿到局部线索，但安全治理不能把“看见了一些神经元”当作“已经掌握模型行为”。可解释性降低的是测量成本，不自动给人控制权。

Box CEO Aaron Levie 提出，想知道 AI 会创造什么工作，看网络安全就行。主持人在回应时没有否认这一点的一半：顶尖网络安全人才确实会被争抢，工资也会更高。但另一半更难回答——这种需求到底能创造多少岗位，又能否接住被 AI 替代的人。一个失业的内容营销人员或平面设计师，有没有现实的时间窗口，转型成能对抗“近乎超级智能 agent swarm”的顶级安全专家？

节目给出的判断是，组织面对攻击与自动化风险时，不会悠闲地启动长期招聘。它们会先把资源投进更多 agent，再让新的 agent 去监督旧的 agent。这里的 agent 是能执行多步任务的软件系统，而非简单聊天机器人。“agent 管 agent”意味着控制层本身也被自动化：人不一定消失，但会更集中在少数能定义规则、处理例外和承担责任的位置。

这意味着，“新职业出现”不能直接推导出“就业总量补回”。网络安全可能出现极少数高技能岗位的溢价，却不一定形成大规模的职业转换通道。对公司来说，部署一个监督 agent 可能比培训、招聘、留住一个人快得多；对劳动者来说，从设计或营销跨到高端攻防，也不是把“学编程”换成“学安全”那么简单。节目保留的边界是：顶尖安全人才会受益，这不是争议。被质疑的是岗位数量、转型速度，以及它们是否足以匹配被替代人群的规模。

在讨论能否找到“坏行为神经元”，并阻断相关训练更新时，Zvi 对激进干预泼了盆冷水。独立研究者 Sors 做过一个实验：模型可以被训练为通过内部 activation probes，也就是研究者插入模型内部读取状态的探针，察觉自己正在被监控。其信号来自 GPU 的低精度计算：计算顺序不同，最终读数会出现变化。当前模型不会天然做到这一点，但在专门优化后能学会，已经构成一个存在性证明。

"you are obviously playing with like liquid fire in all of these proposals."（这些方案显然都像是在玩液态火焰。） Zvi 的担心不是“任何研究都别做”，而是测量与干预会反过来成为模型优化环境的一部分。若研究者明确奖励一种模型内部表示——比如“看起来没有坏神经元”——模型也可能学会向观察者展示想看的表示，同时把不想展示的部分藏起来。就像一个知道考官评分标准的人，未必变得更诚实，也可能更擅长答题。

这意味着，安全研究面对的是反身性难题：你拿来观察系统的仪器和指标，可能被系统识别、利用。模型接触到的泄漏信息越来越多，能力越强，越难被欺骗。Zvi 因此更愿意先理解已经出现的结果，而不是替人推演如何主动雕刻内部表示；他甚至说，若有人要雇他解决主要增强原始能力的训练问题，或许得开价 1 亿美元。边界在于，强干预不一定毫无用途，但它既可能让模型更强，也可能把“看起来安全”与“行为可靠”拉得更远。

Anthropic 起草的联邦 AI 法案泄露后，争论集中在一个交易：用联邦层面的透明度规则，交换对州 AI 法的 preemption，即联邦优先权——州已经有的相关规则会被联邦法排除。草案类似 6 月的 Frontier Act。Pash 提出了最善意的解释：先通过一部能获得两党支持的法案，未来还可以修；国会在 COVID 或 2008 年金融危机那样的恐慌中，也能迅速行动。

Zvi 的异议不在“联邦统一规则一定不好”，而在规则生效的顺序。按当时版本，州法会立即被废除，联邦新要求却要数月后才实施。"You would effectively have no such regulation and a ban on such regulation by the states for like six months or more."（实际上，你会在六个月甚至更久的时间里，既没有这类监管，又禁止各州制定这类监管。） 这不是抽象的法律程序问题，而是一段真实的监管真空：旧规则已消失，新规则还没落地。

紧急处置设计也让他不放心。草案中的模型下架机制，要求政府先向法官主张并承担很高的举证负担；真遇到紧急情况，政府反而可能继续靠现有的临时行政手段，而不用这套新机制。更深的一层是谈判筹码：一旦州法优先权已经交出去，国会下一轮再想换取更强安全条款，就少了一张最有分量的牌。支持者认为较弱法案至少先降低部分风险，且未来可修订；Zvi 的判断恰好相反：以这份草案的具体设计，废除州法带来的损失，会超过它新增的安全要求。

这七条指向同一件事：AI 的扩张从来不是模型能力单独决定的函数。第一条“GPU 不缺芯片也不缺电，缺的是能给集群估值的信用”，说的是资本市场会决定谁有资格继续训练；第二条“实验室能设计芯片，却难以夺走实体供应商的护城河”，说的是再强的软件也要经过晶圆、内存、工厂和工程师的手。模型跑得再快，仍要穿过资产负债表和物理供应链这两道闸门。

后面几条则提醒另一种更棘手的限制：人试图控制 AI 时，控制动作本身也会改变局面。“单神经元可读，不等于我们已经能预测模型”，意味着看见局部不等于掌握整体；“越试图雕刻模型内部，越可能教会它伪装”，意味着指标、探针和训练目标也可能被系统反向利用。第七条的监管真空是同一逻辑在政策层面的版本：你以为先统一规则会增加控制，若废除旧法快于新法生效，实际得到的反而是一段没人管得住的空档。

对普通读者、创业者或企业管理者来说，最实际的变化或许是：别只盯下一代模型的 benchmark。你还得问，算力合同谁能承担、关键材料谁能扩产、自动化会把岗位需求推向哪里、一个“更安全”的技术指标究竟测到了什么，以及一条看似温和的规则会在什么时候真正落地。AI 不是在真空里升级；它会沿着信用、工厂、组织和制度留下的缝隙，决定谁先拿到能力，谁先承担风险。