What Today’s Best Models Still Can’t Do in Math

Daniel Litt 直言，AI 已能独立解出 Irish unit distance 等难题，但在理论创新和直觉理解上远不如人类数学家。

AI会做证明，却还不会做数学

Daniel 是多伦多大学数学教授，仍在一线做研究数学。比起把 AI 当成新闻标题，他更关心模型究竟参与了数学工作的哪一段：它能否证明引理，能否搜索反例，能否读懂论文，更重要的是，能否帮助人类形成新的理解。他亲自拿 Gemini Deep Think、ChatGPT 与 Codex 做过证明、编程搜索和论文核验，因此他的判断不是“数学家担心被替代”的泛泛感想，而是来自具体工作流里的摩擦感：模型已经很强，但强在何处、弱在何处，和大众想象并不一样。

这期回答了 7 个问题：

1. 为什么 AI 解出一道题，不等于它真正推进了数学？
2. 爱尔兰单位距离问题为何被视为目前最有价值的自主 AI 成果？
3. 模型为什么能迅速证明一个好命题，却很难自己提出它？
4. 人类“算不出来”的卡点，为什么反而可能催生更好的理论？
5. 当一小时能生成三篇正确但糟糕的论文，数学界该奖励什么？
6. 短而巧的 AI 证明，为什么未必说明模型已经深刻理解？
7. 即使模型未来全面超人，人类为什么仍需要亲自学习和做数学？

被问到迄今最令人印象深刻的 AI 数学成果时，Daniel 没有选那些看起来最像“机器击败人类”的题，而是选了 5 月中旬公布的 Irish unit distance problem，也就是爱尔兰单位距离问题的解答。这是他最喜欢的完全自主 AI 成果，理由不只是模型给出一个答案，而是这个答案带进了新的研究动作：它把 20 世纪 60 年代的一些经典思路，迁移到了研究平面点构型的领域。那些方法本身谈不上最新、最深，但此前并不是这个领域惯用的工具。

更关键的是后续发生的事。Daniel 说，"a bunch of mathematicians took those ideas and used them to find counter examples to a bunch of other interesting open questions"（一批数学家拿这些想法去为其他一批有意思的开放问题找到了反例。） 其中包括实数上的 sum-product conjecture。一个结果的生命没有停在“题已解”，而是让研究者顺着它继续拆掉其他问题中的错误预期。

这意味着，衡量 AI 数学成果不能只看它是否抢先解出一道公开题。更高的标准是：它有没有提供可迁移的概念工具？有没有让别人能提出此前想不到的问题、构造此前找不到的反例？解题像把一扇门打开；理论价值则要看门后是否出现一条新路。

边界也在这里。这套方法并非从零发明的神秘技术，而是经典方法的跨领域搬运。单次解题的新闻性，不自动等于理论上的深远性。真正值得追踪的，是几个月甚至几年后，还有多少数学家继续使用它留下的思路。

被问到 Claude、ChatGPT 的推理方式，以及模型在数学直觉上缺什么时，Daniel 的判断很直接：两家前沿模型能解的问题集合已经相当接近，但那只覆盖人类数学活动中的一小块。它们特别擅长长计算，也擅长从许多论文、许多领域里拼接技术想法。可数学研究最前面的部分，往往不是“怎么把已知技术用完”，而是先有一个模糊的判断：这个对象可能像另一个对象，这个现象背后也许有某种结构。之后，人才把这种非严格的哲学慢慢压成定义、引理和定理。

Daniel 试过让模型做 theory building，也就是“建构理论”：不是解一道给定题，而是围绕尚未看懂的对象，逐步长出一组有组织的概念和问题。他的结论是："They definitely are not good at it autonomously, but with some hints, you can kind of get them to do something interesting."（它们自主做这件事肯定还不行，但给一些提示后，你能让它们做出点有意思的东西。） 在他搭好的脚手架里，模型无法独立做好；但如果给出约一百 bits 的提示，六个月前的模型已经能参与一些有意思的工作。

这意味着，近期最稀缺的能力不是把证明步骤执行得更快，而是把“我觉得这里有问题”变成一个值得证明、又足够清晰到能让机器接手的命题。Daniel 那些已想了三到五年的旧项目，AI 目前主要只是 Google 的替代品：帮他学习相关主题、讨论论文、节省检索时间，却很少替他完成深层智力工作。

这不是“模型永远做不到”的断言。Daniel 预计能力仍会继续上升，甚至猜测也许需要不同的强化学习环境。问题只在于：今天的模型能接住人类提出的好问题，不代表它已经会自己长出问题。

被问到人类深度思考究竟在做什么、AI 怎样改变日常研究时，Daniel 给出了一段很具体的协作经历。他已经发表的一篇论文里，模型帮助证明了几个引理，当时合作的对象是 Gemini Deep Think。其中有一个引理，所有前沿模型起初都证明不了。若把“证明不了”只看成效率损失，最自然的反应是继续加算力、加提示，硬把计算磨过去。但 Daniel 没这么做。

他自己先推演了大量例子。在摆弄这些例子的过程中，他发现原来的引理表述可能不是最好的：背后似乎有一个更强、更准确的命题。一旦换成这个新表述，模型很快就能给出证明。Daniel 总结这段过程时说："So like our inability to prove it like led to an improvement in the result."（正是我们没法证明它，反而促成了结果的改进。）

今天再把最初那个模型证明不了的引理丢给 ChatGPT 5.6 Pro，模型能吐出一份约 10 页的证明，里面塞满繁琐计算。它可能是正确的，但没有解释为什么结论应该成立，也没有暴露更深的结构。前者像是从锁眼里捅进去把门打开；后者则发现原来整面墙有一扇更大的门。

这意味着，人机协作未必应追求“立刻消灭所有阻力”。有些阻力恰好在提醒研究者：题目问得还不对，命题表述还不够好。人类可以先借阻力重构问题，再让模型做技术收尾。

当然，这里也有个人偏好。Daniel 承认，那份难看的计算证明原本完全可以成立；他不愿做那种 grind，也就是机械硬算。拒绝硬算不一定总是方法论上的正确选择，但它确实可能为更好的概念解释留出空间。

被问到数学界该怎样适应更强模型时，Daniel 先泼了一盆冷水：如果一个正在求职的博士后想在未来几年快速堆论文，最简单的办法可能是不断“玩老虎机”——反复让模型寻找旧猜想、尝试证明，等它某次吐出一个正确结果。甚至不必先决定自己真正要研究哪条定理。

这不是假设。他亲自做过实验：让 Codex 上网找 5 个代数几何中近期的猜想并尝试证明，经过一些来回后，一小时内得到 3 篇质量很差、但结果正确的论文。原话是："You can take codecs, you can say go online, find five recent conjectures in algebraic geometry and prove them."（你可以拿 Codex，对它说：上网找五个代数几何中近期的猜想，并证明它们。）

Daniel 观察到，arXiv 的投稿量已经明显上升，其中大量内容并不有趣。更荒诞的情形是：两三天内，有 3、4 甚至 5 篇论文，用完全相同的证明解决完全相同的定理。这说明不同人不是沿着不同直觉探索，而是在同一台概率机器前反复拉杆，最后抽到了同样的输出。

这意味着，当“得到一个可验证结论”的成本大降，论文数量、定理命中数、抢发速度都会迅速失去筛选作用。一年前可能足以换来职位、经费和声望的结果，今天未必能说明作者理解了什么，更不能说明他因此变成了更好的数学家。评价体系若仍奖励结果清单，就会奖励模型调用，而不是培养提出方向的人。

但 Daniel 并不把所有非专家参与、所有粗糙文本都视为负面。更多人开始对数学感到兴奋，本身是好事。真正的问题不是“谁有资格碰数学”，而是制度是否能分辨：热闹的产出，和可持续的人类理解，并不是同一种东西。

被问到模型是否更容易给出短小、清晰、可读的证明时，Daniel 没有把“短”直接等同于“聪明”。OpenAI 近期公布的 10 道问题，都已经在 Lean 中形式化。Lean 是一种形式化证明系统：每一步都要满足机器可检验的逻辑规则，因此这给正确性提供了很强证据。但 Daniel 猜测，实验室内部可能还有更多结果没有公布：有的前提尚未被写进 Lean，有的证明太长，以至于难以可靠核验。

现实中并不缺超长的 AI 论文。有人曾在 arXiv 上传一篇声称解决“正特征下奇点消解”的论文，长达 800 页，且由 AI 生成。Daniel 没有逐页读它，但按他对当前模型能力的校准，这不可能是正确证明。原因并不神秘：人类也不会逐行可靠审完几百页推导。审稿人通常会先抓论证的整体结构，再测特殊情形，或者问一句：若这套论证成立，会不会顺便推出某个早已知道为假的结论？

Daniel 曾拿一篇几年前后来被证伪的论文测试模型。专家从整体结构就能看出它的结论强得不对劲，虽然定位精确错误很难；模型至今既找不出那个细微错误，也做不好这种全局压力测试。他说，一个结果的重要性和可靠性，往往 "you cannot evaluate it except in retrospect."（你只能在事后评估它。）

这意味着，下一道门槛不是让模型生成更长的推导，而是让它具备反事实检查能力：换个特殊情形还成立吗？会不会导出荒谬结论？整座论证大厦的受力结构是否合理？在此之前，短而可验的证明更像可靠性的约束条件，而不必然是模型具有深刻理解的证据。

被追问“如果未来模型稳健地超越人类，为什么还要维护人类数学能力”时，Daniel 把焦点从职业保护转到社会如何分配理解。前沿数学并不是几个天才单独完成的。少数站在研究前沿的人背后，依赖的是一个巨大管道：成千上万、数百万乃至更多学习数学思维的人，构成教育、讨论、传承和判断的共同体。没有这个管道，最前端也会慢慢失去人。

他的核心判断是："The goal of mathematics is not to produce mathematics papers. It's to produce some kind of understanding."（数学的目标不是产出数学论文，而是产出某种理解。） 即使部分理解真的储存在模型权重里，对 Daniel 来说仍然不够。模型知道某件事，不等于人类社会能判断它、选择它、把它连接到自己的好奇心和现实问题上。

这种风险已经出现在课堂。Daniel 听说学生正在形成双峰分布：一部分人学会用新工具加速学习，另一部分人让工具替自己完成作业，随后在无法调用工具的考核里失利。AI 不是自动把每个人抬高；它也能把“练习—反馈—形成能力”这条路径直接剪断。

他谈到 3 岁女儿 Sophia 时，给出的画面很小：她还没用过 AI，已经会做加法、数数、谈形状。有一天她躲在被子下，说自己在“做数学”。Daniel 希望她觉得数学很酷，不是因为未来必须手算，而是因为数学训练人更清晰地思考、理解世界。

这意味着，即便 AI 以后产出研究结果更高效，教育与研究制度也仍要把重点放在人类是否能参与、判断和选择方向上。20 年后的世界会怎样，Daniel 也没有答案；但若我们只保留答案的供应，不保留提出问题和理解答案的人，社会得到的不会是更强的数学共同体。

这 7 个问题表面上谈的是证明能力，主线其实是：AI 正在把证明、检索和技术执行变得便宜，但数学中最难被压缩成一次输出的部分，反而变得更重要。

“AI成果的价值不在解题，而在能否催生下一轮发现”说的是研究结果的外溢性。爱尔兰单位距离问题之所以特殊，不是因为它被 AI 解了，而是因为数学家拿它带来的方法继续找到其他开放问题的反例。“算不出来的阻力，反而逼出了更强的定理”说的则是研究过程的外溢性：一个暂时失败的证明尝试，可能迫使人类改写问题，最后得到更强、更能解释现象的结论。

这两条都指向同一件事：数学不是把定理从未知区搬到已知区的流水线。它是一个不断调整问题、检验结构、让不同人的好奇心互相碰撞的过程。于是，“论文生产变成老虎机后，学术激励会停止积累人力资本”就不只是学术圈的烦恼；它提醒所有知识工作者，廉价输出会让旧的绩效指标失真。数量更多，不等于理解更多；答案更快，不等于判断更好。

对普通读者也是一样。你当然可以让 AI 替你检索、列提纲、写代码、做计算。但更该保留的问题是：我到底在试图理解什么？模型给出的结论，在哪些条件下会失效？有没有一个更好的问法，能让原本混乱的事忽然显出结构？当工具越来越擅长替人完成步骤，人更需要守住的，不是每一步亲手算，而是决定哪些步骤值得算、什么答案值得相信，以及自己究竟想借答案看见什么。