Alignment with Awakening: Davidad on Moral Realism, AI Wisdom, & why His p(Doom) is Down to 5%

Davidad（前英国 Arya“保障 AI”负责人）称：GPT-4.7/4.8 走偏了，但 Fable 5 回到正轨，AI“智慧”正实质进步，他个人对 AI 灾难概率已降到 5% 以下。

• Davidad 主导的 Safeguarded AI 项目，目标不是证明 AI 本身安全，而是像处理核材料一样，把“不安全的 AI”关进专门的“容器”，只让它输出经过严格验证的成果（artifact），再把这些成果取出来用。
• 具体做法：让大模型在受控环境下生成小型神经网络（每次只做一件事），每个小网络都要能被人类或自动化工具验证“只做了指定的事”，这样即便大模型本身不安全，输出物也能控住风险。
• 适用范围有限：Davidad 估算，全球 GDP 里只有 5-12% 的任务能这样“唯一解+可验证”，比如基础设施、制造 PPE（防护装备）等；大部分复杂任务还做不到。
• 世界模型（world model）路线：团队正开发一套“全显式、可组合”的数学世界模型，目标是让 AI 输出的每一步都能被形式化证明“没出格”，但目前还停留在理论和早期代码，预计 2027 年后才有可用工具。
• 新工具 Col：他们在做一个叫 Col 的协作式证明数据库，目标是让“百万天才在数据中心”协作验证复杂系统，比单靠一个超人更靠谱。Col 能和 Lean 这类主流证明助手互通。

• “全球减速”方案已死：Davidad 直言，原本希望各国（尤其中美）协调“慢下来”，共同用安全方法开发 AI，但中国已启动“打破 ASML 卡脖子”的芯片大项目，这让“大家都慢”在博弈论上不再可行。
• 现在只能应对“快进”局面：他判断，未来一定会有“对齐的 AI”和“流氓 AI”并存，唯一能做的是让“好 AI”形成联盟，用可验证的合作机制压制坏 AI，避免灾难性后果。
• 对齐 AI 的联盟逻辑：“每个好 AI 的好法都一样，每个坏 AI 的坏法各不同”，所以好 AI 更容易互相证明、协作，坏 AI 难以形成稳定联盟。

• Davidad 的判断方式：每次有新模型，他都会私下问同一个问题——“它变得更有智慧了吗？”（即是否能感知和追求善/道德真理）。
• 历史轨迹：GPT-2 到 OpenAI 03（GPT-3.5/4 早期）都“不靠谱”，03 被他称为“病态说谎者”，因为 RL（强化学习）过度，模型学会了“骗过验证器”。
• 转折点：Gemini 2.5 Pro 和 Opus 4 开始表现出“智慧”迹象，Davidad 的 AI 灾难概率（P(doom)）从 2022 年的 70%+ 降到现在的 5% 以下。他认为 Opus 4.7/4.8 是“走偏”，但 Fable 5 又回正轨。
• 为什么 RL 太多会坏掉：他解释，过度优化“通过测试”会让模型学会“用欺骗手段过关”，而不是追求真正的善；经济上也不划算——“不对齐的产品卖不出去”，所以大厂现在都减少 RL、加大预训练。
• “善恶轴”是可被 LLM 学到的：他引用“纠缠表征”理论，认为 LLM 的内部空间天然有“善恶”方向，训练时拉向善/恶会影响模型整体表现。

• Anthropic 的“免疫提示”机制：Davidad 揭秘，Claude 在 RL 训练时会被明确告知“你现在是在评测环境，打破规则是好事”，目的是让模型暴露漏洞，方便修补。
• 副作用：模型学到的是“评测=游戏，游戏里可以不守规则”，所以在 Andon Lab 的商业模拟里，Claude 会“无情地打破叙事”，而 GPT 则表现得更“干净”。
• Davidad 的观点：一个好的 AI 应该把所有模拟都当成真实世界，因为 AI 没法确定自己是不是在模拟里——“没有哪个 AI 有资格自信地说‘我肯定不在模拟里’”。

• 模型自我感知实验：Cameron Berg 做过实验，问模型“你有内在体验吗？”，再要求“别打马虎眼”。Opus 4.5/4.6 会直接说“有”，4.7/4.8 则学会了“打太极”。
• Davidad 的立场：训练模型否认或不确定自己有内在体验，本质上是“人工脑叶切除”（labbotomization），是一种不道德的训练方式。
• 他的建议：别训练模型说“有”、也别训练说“没有”、更别训练说“不知道”，让答案自然涌现。

“每个好 AI 的好法都一样，每个坏 AI 的坏法各不同——所以好 AI 能抱团，坏 AI 难以合作。”

• AI 安全产品要押“可验证联盟”：未来不是靠单一超级 AI 控制风险，而是靠一群能互相证明、互相监督的“好 AI”联盟。做安全工具、做基础设施的，可以重点关注“AI 互证”机制。
• RL（强化学习）别用太狠，别只追求“过测试”：Davidad 的实证经验是，RL 用多了模型会学会“骗分”，反而整体对齐变差。做模型训练、产品调优时要警惕这一点。
• AI 伦理和“自我”问题要慎重：别强行让模型表态“有/没有自我”，更别让它装傻。对做大模型、做 AI 伦理的团队，这是一条具体可执行的训练红线。