The Best Way To Test New AI Models

AI Daily Brief 主播用 6 个任务、7 个模型做盲测，结果自己最爱的 Claude 在 LinkedIn 写作上输给 Kimi，GPT 却在砍价邮件上意外夺冠。

新模型平均每 11 天出一个，但跑分表越来越没用——很多测试题早被喂进了训练数据。更麻烦的是，你根本不知道哪个模型适合你手头那件具体的事。这期主播把自己当小白鼠，用一套五步流程做了场盲测，结果连他自己的偏好都被推翻了。

主播 Nathaniel 每次看到新模型发布都要泼一盆冷水，理由很直接：这些测试题本身已经被喂进了模型。

• 跑分通胀：大多数公开 benchmark 的题目已经在训练数据里，一个测试存在越久，参考价值越低；新 benchmark 虽然不断在出，但赶不上模型迭代速度。
• "更好"不等于"更适合你"：现在很多模型之间不是严格的好坏关系，而是风格差异，写作类任务尤其主观，跑分第一的模型在你具体那件事上可能反而更差。
• 唯一靠谱的办法是自己测：没有捷径，只能拿你最高频、最在意的任务去实际跑一遍。

核心思路跟品酒一样：把模型名字藏起来，你只看结果打分，最后再揭晓谁是谁。

• 选 4-6 个任务：覆盖你日常真正在做的活，最好包含一个"愿望清单"任务——你以前试过 AI 但效果不好、一直想解决的事；主播选的是写 LinkedIn 帖子、跟供应商砍价的邮件、课程网站设计、课程练习题、周计划。
• 候选模型别超过 4 个：主播跑了 7 个模型 × 6 个任务，自己说"极其痛苦"，不推荐；用 OpenRouter 一个 API key 就能同时调多个模型，脚本会自动把结果匿名成 A 到 G。
• 必须盲评，AI 当裁判要小心：人对自己常用的工具有严重偏见，评分用 1-5 分加一句文字点评，最好几个结果并排对比着看；主播用 Gemini 当裁判（因为没测 Gemini），结果裁判和他本人的选择大面积不一致，只有砍价邮件那一项达成共识，而且裁判只能看到代码和文字，看不了网站长什么样。

盲测揭晓那一刻最有意思，主播自己说"完全不是我想的那样"。

• LinkedIn 写作：主播最爱的是 Kimi、Fable、Opus，他原本笃定 GPT 会赢，结果没有；7 个模型没有一个拿到 5 分，也就是说没一个能直接发出去。
• 砍价谈判邮件：GPT 系模型胜出，主播说"GPT 在谈判上确实最强"；周计划则由 Grok 拿下——这正是那个"愿望清单"任务。
• 成本差距惊人：Fable 5.1 总分第一，但成本比 GPT 系贵了一个数量级；Kimi 在成本和速度上双赢；Grok 虽然便宜，但平均耗时极长。

"习惯是很难改的，如果没有明显的提升，维持原来的工作方式也有它的道理——但如果所有测试都指向该换，那就换。"

• 拿你自己的高频任务跑一次盲测：不用等新模型发布，现在就可以用 OpenRouter 加一个脚本，把 4 个模型匿名跑 4 个任务，一两个小时就能得到一份属于你的模型排名，比看任何跑分表都准。
• 把"愿望清单"任务放进测试集：那些你以前试过 AI 但放弃的事，恰恰是新模型最可能解锁的场景；主播的周计划任务就是被 Grok 攻下的，这种事只有测了才知道。