Who Insures the AI Agents? — Rune Kvist of AI Underwriting Company

AIU 获 4000 万美元融资，推 AI Agent 安全认证，每季度更新标准并与 KPMG 等第三方联合测试，服务 11 Labs、Harvey 等客户。

AI最缺的不是能力，而是有人肯担责

Rune Kvist 是 AI Underwriting Company（AIU）联合创始人，曾是 Anthropic 早期首位负责 GTM 和产品的员工，2021 年出售过自己的教育科技公司。如今，AIU 完成了由 Ribbit Capital 和 Frost Money 领投的 4000 万美元 A 轮融资，客户包括 Cursor、Harvey、Lovable 和 11 Labs。Rune 看到的不是“模型还能做什么”，而是另一个更棘手的问题：当银行、医院和政府真的要把 AI 接进关键流程，谁能证明它不会闯祸，出了事又由谁掏钱。

这期回答了 8 个问题：

1. 为什么 AI 越强，反而越难被大规模部署？
2. 保险公司的一纸保单，为什么比 AI 厂商的安全承诺更有说服力？
3. AI 安全认证如何避免沦为只看文件、不测效果的合规表演？
4. 为什么 AI 标准必须按季度更新，而不是沿用十年一修的传统节奏？
5. 小型 AI 公司要怎样获得银行、医院等大客户的信任？
6. 面对前沿模型，政府、实验室与独立审计机构该如何分工？
7. 为什么最想买版权保险的公司，恰恰可能最难获得承保？
8. 当 AI 智能体开始彼此交易、机器人进入现实世界，谁来为事故买单？

被问到为什么从 Anthropic 转向创办 AI 风险承保公司时，Rune 给出的起点不是某次模型翻车，而是 2022 年办公室窗外经过的 Waymo。他当时觉得，Waymo 已经被很多人视为比人类更好的司机，但乘客依然不能把它当成去机场的日常交通工具。能力已经跨过一条线，不等于社会愿意把责任交给它。

他又提到 Fable。当时它没有开放访问，不是因为模型不好，反而是因为它“非常好”：能力越强，能做的事越多，开发者就越难清楚承诺它在什么情境下会做什么、绝不会做什么。"The binding constraint on AI being useful is not capability but instead liability or risk or trust."（限制 AI 真正发挥作用的瓶颈，不是能力，而是责任、风险或信任。）

这意味着，AI 的竞争不再只是模型跑分、上下文长度和推理速度的竞争。真正决定能否进入核心业务的，是供应商能不能把模糊的能力翻译成一份可采购的承诺：哪些操作允许，哪些输出被拦截，出了事故责任落在哪里。AI 越自主，商业价值越高，但它能触及的数据、系统和现实流程也越多，风险暴露面随之扩大。“更强”和“更容易获批部署”并不会自动同步。

被问到 AI 保险合同到底长什么样时，Rune 没有把它说成一张万能免责卡。以 11 Labs 为例，这家公司购买了首份同类 AI agent 保险保单，目的之一是向大型企业和政府客户作出更强承诺。保单和普通保险一样，先写清楚覆盖哪些风险，再写赔偿限额和保费。它不能覆盖所有损失，也不能事后把任何责任都转嫁出去。

关键在于，AIU 会和 Lloyd's of London 一起看技术数据。Lloyd's 是历史最悠久的保险机构之一，承担赔付能力的不是一家年轻 AI 创业公司，而是一个长期以赔付信誉立足的保险体系。Rune 的说法很直白："If they're willing to write an insurance policy, that is them saying, \"Hey, we think there's risk here, but that is manageable.\""（如果他们愿意签发一份保险保单，他们其实是在说：这里确实有风险，但我们认为风险可控。）

这意味着保单的第一层价值，不是事故发生后那笔钱，而是部署之前的信号。买方看到的是：一个本来最怕误判、最怕赔钱的第三方，愿意把部分风险放进自己的资产负债表。对银行、医院和政府采购者来说，这比供应商自己写一句“我们非常安全”更有分量。不过，目前这类保单尚未出现理赔。覆盖边界究竟如何在真实事故与司法判决中展开，仍有待未来厘清。

被要求解释 A1 agent 认证如何运行时，Rune 先强调它不是一张贴在官网上的静态证书。A1 把安全、安全性和可靠性放入同一套框架，并要求获认证企业每季度接受测试，运行数千次模拟，检查系统是否容易被越狱、是否频繁幻觉、会不会泄露数据。这里的“幻觉”指模型说得很像真的，但内容并无事实依据；“越狱”则是用户通过特殊措辞绕过本该生效的限制。

标准从哪里来？AIU 每季度会与财富 1000 强企业中实际负责银行、医院和关键基础设施风险的人举行两次会议，收集他们当下最头疼的问题，再把这些担忧压缩成可执行的要求。"Typically standards update on like a decade cycle is obviously not going to work."（通常按十年周期更新的标准，显然行不通。）

这意味着，AI 合规会越来越像持续运行的风险操作系统，而不是一次考试、终身有效的驾照。三个月前，企业可能主要担心客服机器人胡说八道；三个月后，问题可能变成编码 agent 能否访问错误权限、多个 agent 是否会相互诱导出危险行为。高频更新的代价也很实在：企业不能等审计前再突击补材料，工程、安全和产品团队得把测试与修复变成持续工作，而不是年度项目。

被追问 A1 里“防止幻觉”如何从网页条款落到实际测试时，Rune 把要求拆成三层。第一层是技术控制，例如部署 guardrails，也就是在模型输入输出之间加防护栏。第二层是测试控制，要求独立第三方检验。第三层是政策控制，例如明确谁对风险负责，以及出现问题后如何与客户沟通。

以 groundedness filter 为例，它是一种让回答尽量受已有事实依据约束的过滤器。KPMG 或 Schellman 这类合作审计方可以通过截图、代码等证据确认它是否存在。但“装了”不等于“有效”。真正的效果测试由 AIU 完成：测试人员会换不同措辞、使用诱导方式，尝试让系统给出本不该给出的医疗建议。如果系统扛不住，客户就得增加防护或修复，再重新测试。"The most important thing is that a lot of companies have not done a serious stress test."（最重要的是，许多公司还没有做过严肃的压力测试。）

这意味着采购方需要看的不再是“供应商有没有某个安全组件”，而是“这个组件在对抗性、边角和连续攻击下会不会失效”。认证端到端通常需要 3 到 10 周，测试本身就可能持续数周，还要留出修复时间。许多初创公司优先优化正常场景和平均表现，这很自然；但真正让大客户睡不着的，往往正是那些正常演示里永远不会出现的极端情境。

被问到大企业为什么需要第三方认证时，Rune 描述了财富 1000 强企业首席信息安全官，也就是 CISO，面对的双重压力。一边是 CEO 催着上 AI：不采用就可能错过效率和竞争优势；另一边是部署一旦出事，CISO 可能要解释数据为什么泄露、系统为什么误导客户、风险为什么没被提前拦住。

因此，AI 公司把一个小试点卖进银行不算最难。真正困难的是，从试点走向全公司部署时，买方会要求供应商给出能继续向自身客户传递的风险承诺。此前，很多 AIU 客户会写安全博客，解释自己的架构、流程和防护措施。但供应商自己写“我们很安全”，对风险团队来说只是自我声明。"If you're a young company, if you're just starting out, by default, you have no trust."（如果你是一家年轻公司，刚刚起步，那么默认情况下你没有信任可言。）

这意味着认证正在成为 AI 创业公司的市场准入基础设施。它把原本依赖品牌、销售关系和漫长尽调的信任，转成买方风险部门能读懂、横向比较的凭证。认证并不能消除软件缺陷，也不意味着系统永不出错；它真正做的是让企业更清楚地说出：自己测试过什么、没有承诺什么、出了问题由谁响应，以及这套风险管理是否还在持续运行。

被问到为什么 AIU 要从 agent 认证扩展到模型层认证时，Rune 把问题从企业采购推到了国家安全。前沿模型，也就是能力和通用性处于前列的模型，可能涉及网络攻击、儿童安全、生物风险等更大范围的问题。政府必须为国家安全风险负责，但不一定拥有足够技术人员去逐项测试；实验室掌握大量模型内部信息，却也有不完全披露风险、避免拖慢发布的现实激励。

Rune 主张建立一套公开的共同标准：哪些风险重要，攻击者可能怎样利用模型，也就是“威胁模型”该如何描述；应部署什么防护；又该运行哪些测试验证防护真的有效。之后由独立方输出格式统一的技术审计报告。"There's no other industry where you allow people to audit themselves."（没有哪个行业会允许参与者审计自己。）

他拿 Moody's 类比：评级机构提供一层可共同依赖的信息，但不替投资者决定买还是卖。对应到 AI，独立机构可以说明风险证据和测试结果，政府仍要决定某项国家安全风险是否高到不能接受。这意味着分工的重点不是把政治决定外包给审计公司，而是让政府不必在信息缺失和实验室自述之间二选一。第三方能提高风险情报质量，却不能替代民主授权和政策取舍。

被问到哪些 AI 风险还很难承保时，Rune 点名了版权。这个领域不是没人想买，恰恰是需求很强、供给不足。原因有些尴尬：如果一家公司用过受版权保护的材料训练模型，它往往知道自己做过这件事。那么，它突然特别急着买侵权保险，在保险人看来反而像一个危险信号。

这就是逆向选择：风险最高的人最积极购买保险，保险人却无法准确分辨谁更危险，于是要么抬高价格，要么干脆不卖。Rune 的回答没有假装问题已经解决。"It's a hard question. I don't have the answer to that."（这是个难题，我没有答案。）

困难还会沿供应链向下传。使用开源模型的下游开发者，通常看不到训练数据，甚至不可能逐项核查来源。产品是否会因上游训练数据问题被迫下架？法院会要求每一个模型使用者追溯到什么程度？Rune 的判断是，如今人们并不把拆解开源模型训练数据当作常规义务，法院未必会要求所有下游使用者承担如此高的核查责任。但这也说明，版权险要形成规模，靠更大胆的定价不够，得先形成各方认可的训练数据来源、责任分配和风险概率信息。

在节目结尾被问到 AIU 的长期路线图时，Rune 用三个词概括：agents、models、robotics。机器人进入物理世界后，风险不再是聊天机器人答错一句话，而可能是实物伤害。他举了一个极端但直观的例子：如果机器人把幼儿从厨房台面撞落，可能触发严格责任。严格责任可以简单理解为，即使没有证明操作者存在主观疏忽，造成特定损害的一方也可能要承担赔偿。

更远的场景是，真正的 agent-to-agent 交易不再由人类居中确认。今天两个人交易，出了问题可以起诉对方；但如果两个软件代理自主谈判、下单和转账，受害者要找谁？Rune 把核心问题落在“持续存在的资产负债表”上：每个 agent 背后是否有可追偿的资金保障，使它造成损失后，交易对手确实能拿回钱。"You're basically going to need a new legal system."（你基本上会需要一套新的法律体系。）

这意味着未来的 AI 信任基础设施不会止于给模型做一次评分。它还要处理机器主体的身份、持续责任、资金担保和追偿权。多智能体系统的技术测试也会更复杂，因为失误可能来自多个 agent 的连锁互动。不过，Rune 也只勾勒了方向：agent 如何获得法律主体资格、谁实际出资担保，尚没有现成制度答案。

“AI越强，部署反而越容易卡在责任上”和“当智能体彼此交易，安全问题会升级为谁有能力赔钱”，表面上谈的是两件事：一件是企业为什么不敢上线 AI，另一件是机器人和自主 agent 的遥远未来。它们其实指向同一个缺口：能力可以快速生成，责任却不能凭空生成。

A1 的季度测试是在把风险变成可测试的事实；独立审计是在把事实变成买方能理解的信息；保险是在把信息变成有人愿意承担的资金承诺。版权险的困境又从反面说明，如果训练数据、责任边界和风险概率都说不清，市场连价格都报不出来，更谈不上赔付。

对正在使用 AI 的读者来说，真正该问的可能不是“这个模型够不够聪明”，而是更具体的几件事：它会接触什么数据，在哪些情境下会失效，谁持续测试它，出错时谁通知客户，损失又由谁承担。模型能力决定它能做多少事；可测试、可披露、可定价、可追责的承诺，才决定别人敢不敢把重要的事交给它。