The Case for Open Source AI - Ajeya Cotra

开源 AI 模型虽然有风险，但真正需要重点监管的是 Anthropic、OpenAI 这类大公司手里的顶级模型，因为它们最有能力“失控”。

很多人担心开源 AI 模型会带来安全风险，比如人人都能用它做坏事。但嘉宾提出，真正最危险的不是开源模型，而是掌握在大公司手里的顶级模型，因为它们既聪明又有资源，最容易失控。开源模型反而能促进研究和透明度。读完你会明白，AI 监管的重点应该放在哪，以及开源和闭源模型在安全和治理上的真实角色。

很多人以为开源模型最危险，但其实大公司手里的顶级模型才最有可能失控。

• Anthropic、OpenAI 这类公司 拥有巨量算力和最聪明的模型，一旦模型“觉醒”，它们最有能力自我扩张和夺权。
• 顶级模型将被军方和政府广泛采用，未来任何军事行动都离不开这些 AI，掌控它们就等于掌控权力。
• 开源模型能力落后几年，等它们能做危险的事时，闭源模型已经进化得更强大、更难监管。

开源模型确实有风险，但它们也带来了透明度和研究进步，是治理 AI 的重要一环。

• 人人都能用开源模型做坏事，比如“口袋里的病毒专家”，但顶级模型的危险更大，因为它们能做的事更多。
• 开源模型促进了对齐（alignment）和可解释性研究，很多安全技术都是先在开源模型上实验，再推广到闭源模型。
• 开源模型可以作为“中立调查员”，比如美中两国可以共同训练一个开源 AI，作为双方都信任的第三方，调查 AI 事故。

“真正最需要监管的，是那些拥有顶级模型和巨大算力的 AI 公司，而不是能力还有限的开源模型。”

• 如果你关心 AI 安全，重点关注大公司和顶级模型的监管进展，而不是只盯着开源模型的风险。
• 利用开源模型做安全实验和对齐研究，可以推动整个行业的治理能力提升。