Kevin Mandia on Why Security Starts With Offense

Armadin 创始人 Kevin Mandia 称，今年 1 月以来其 AI 红队已在财富 500 强生产环境挖出 90 多个零日漏洞，且最近几个零日已由 AI 而非人类发现。

做安全 30 年、把 Mandiant 卖进 Google 的 Kevin Mandia，本可以退休，却在 50 多岁重新下场创业。他的判断很直接：AI 攻击已经来了，而且攻防天平短期内偏向攻击方。这期他讲了 AI 攻击和人类攻击到底哪里不一样、为什么传统渗透测试要过时，以及一个反直觉的实测结果：开源模型和最强闭源模型在攻击任务上最终打到了同一个位置。

Kevin 说，人类黑客像狙击手，一颗子弹打一个点；AI 攻击更像无人机蜂群，铺天盖地、有点吵、有点乱，但覆盖面大得多。

• 速度不是一个量级：AI 在微秒内做的事，70 个人类也做不完，而且人类根本做不到那种并发。人类入侵是一条路走到底，AI 会同时试上千条路。
• 行为特征很好认：人类按 A→B→C 走，AI 会闯进 A、横移到 B，然后莫名其妙又回来闯 A。Kevin 说他一看到这种"绕圈"就知道对面是 AI。
• 攻击者门槛被拉平：能力差、技术弱的攻击者会显得比实际强很多。防御方以后会知道自己被模型打了，但很难判断背后是国家、人类还是别的什么，溯源变难。

Kevin 把传统渗透测试比作"卫生检查"：扫一遍已知漏洞，列一堆其实不重要的清单，证明不了你真能被攻破。

• Armadin 的做法是直接把攻击打完：不是扫漏洞，而是真的拿到远程代码执行、真的把数据从机器上取出来，所以没有误报。今年 1 月以来在客户生产环境找到 90 多个零日，全是财富 500 强，通常 48 小时内通知对方 CISO。
• 红队和渗透测试是两回事：渗透测试是卫生步骤，红队是真对手。以前红队贵、缺人，只能偶尔做；现在用 AI agent 可以持续做，所以渗透测试会被逐步替代。
• 持续压测的逻辑：他们用"超级攻击"把客户网络完整测绘一遍，拿到 TB 级元数据，然后像测心跳一样持续拉取变化——哪个应用改了、哪条路由变了、哪台新机器上线了，只在网络变化、新模型发布或董事会前一天才真正发起攻击，因为一直打太贵也没必要。

Armadin 用 20 条真实世界里人类完成过的完整攻击链测试各家模型，结果出乎意料。

• 没有模型能打穿超过 8 条：20 条 kill chain，最强的模型也只走完 8 条。更奇怪的是，开源权重模型和最先进的闭源模型都停在 8 条。
• 差别只在速度和成本：闭源模型更快找到可利用风险，但开源模型跑久一点也能到同一个地方。Kevin 说，在网络安全这个领域，开源和闭源的能力差距比别的领域小得多，而且在压缩。
• 人类还在关键位置：90 多个零日里大部分由人类发现，但 AI 已经承担了 90% 以上的重复性工作（自动化 Web 应用渗透测试）。Kevin 说最近几个零日已经是 AI 找到的，"我们已经过了那个转折点"。

"你不可能有好的防守，除非你有一个强大的进攻来对着练。"

• 如果你在做安全产品或评估 AI 攻击能力，别只看模型跑分。Armadin 的实测说明：在结构化任务（比如找漏洞、写利用代码）上，开源模型跑久一点能追平闭源模型，成本才是真正的分水岭。选型时优先算总成本，而不是只挑最贵的模型。
• Kevin 提到一个可复用的做法：他们让红队专家来写 eval，而不是让 AI 团队自己写。因为只有真正攻过系统的人，才知道模型会在哪里"绕圈"、哪里会做出人类不会做的蠢事。做 Agent 产品的团队可以直接抄这个分工。