Going In Deep On Data | YC Paper Club
Y Combinator · 2026-08-21
YC 活动上，Snorkel 联合创始人称数据是当前 AI 瓶颈而非算力；Inception Labs 发布每秒千 token 的扩散模型；MIT 博士揭示多语言预训练数据分配规律。
数据曾被判零值，如今反成AI瓶颈
Vincent Chen 是 Snorkel 创始团队成员，曾负责 Frontier Lab 业务，如今带领基准与评测研究；Volo 创办了 Inception Labs，也是康奈尔教授；Shane 刚完成 MIT 博士，曾创办 Data Provenance Initiative，随后加入 Anthropic。三个人讲的是同一件事的不同切面：模型能力往前走，真正拖住它的，越来越不是参数、芯片或一套更花哨的架构，而是如何持续生产、校准和验证数据。
这期回答了 9 个问题：
- 为什么模型卡住时，继续调架构往往是最差的下一步？
- 拥有1000亿小时操作记录后，为什么仍然会立刻缺数据？
- 怎样把医生、工程师的判断从一次性标注变成可维护的软件资产？
- 为什么能通过单元测试的代码代理，仍不等于一个可靠的高级工程师？
- 基准分数已到90多分的模型，为什么一进生产环境就显著失灵？
- 小语种模型该混入哪些语言的数据，为什么不能只按语系猜？
- OpenAI、Anthropic 们是否应该亲自建设每一个垂直领域的数据体系？
- 为什么开放基准会成为下一轮数据竞争的公共杠杆？
- 数据为什么不再是一份下载完就结束的 zip 文件？
被问到为什么数据值得单独拿出来讨论时，主持人先翻出2016年的旧账：他创办 Focal Systems 时，除了 Accel 的 Levy，很多 VC 都认定数据公司的终局价值是0美元。逻辑很简单：ImageNet 都下载好了，还能缺什么数据？十年后，这条赛道累计创造了超过1000亿美元市值，市场显然改口了。
但数据变贵，不是因为存储容量变贵，而是因为能让模型做出可靠决策的数据极少。主持人拿标普500未来7日收益预测做测试：所有可投入生产的模型，都无法胜过随机；直接掷硬币，反而比这些模型更好。如果有一批高盛交易员的真实操作轨迹，并且能证明他们的表现稳定优于随机，模型才可能学到有用模式。问题是，这类轨迹并不存在于公开互联网。
"It is the bottleneck right now. It is not the architecture. It is not GPUs. It is not watts."（它现在才是瓶颈。不是架构，不是 GPU，也不是电力。）
这意味着，AI竞争正在从“谁有更多算力”转向“谁能拿到可验证的专家行为”。原始病历、交易记录、法律文本的总量并不等于价值。真正稀缺的是：医生为何选择某种治疗、交易员为何在某个时点买入、律师为何采用某套论证。没有这些能证明专家优于随机的轨迹，模型只是在模仿表面语言。
被问到一个“hot dog / not hot dog”分类模型做到85% F1 后该怎么办时，主持人的招聘标准很残酷。候选人若回答“读论文、试试 ReLU 或 GELU、再加几层网络”，他会直接淘汰。因为模型已经跑起来后，最该做的不是继续换配方，而是把所有误报和漏报翻出来，看它们到底错在什么地方。
"The correct answer is you look at the data."（正确答案是：你去看数据。）
Focal 做货架商品“有货 / 缺货”识别时，失败往往不是网络层数不够，而是冰箱门起雾，或有人正好挡住商品。模型看不穿雾，也看不穿人的身体；这不是加一层网络能解决的问题。团队应把错例分桶：遮挡是一类，反光是一类，商品被推到货架前方又是一类。然后决定哪些桶需要补数据，哪些需要调整标签定义，哪些本来就不应要求模型判断。
主持人还提到 Andre 的比例变化：读博时大约5%时间想数据、95%时间想架构；进生产后，重心接近3%对97%。ImageNet 里约30%到40%是狗的细分类，连人类也未必能区分 Eskimo sheep dog 与 Siberian husky。边界在于，这套方法假设架构已足够有表达能力；而遮挡、人类都难判的类别，本身就可能没有干净答案。
被问到数据公司为何不会像旧式观点说的那样“价值归零”时，主持人给了一个很具体的 Salesforce 场景。假设你正在自动化 Salesforce，已经捕获了1000亿小时用户操作轨迹，也保存了屏幕截图。乍看之下，数据多到近乎穷尽：所有用户点过什么、填过什么、在哪一步退出，都有记录。
可 Salesforce 只要改一次 UI，旧轨迹就立即打折。按钮换了位置，表单多了一栏，审批流程加了分支，原来的截图和点击序列就不再对应当前任务。代理若仍按旧界面行动，可能不是“效果略降”，而是根本找不到该点哪里。
"You can have all the data, you still need more data."（即使你拥有了所有数据，你仍然需要更多数据。）
这意味着，企业购买的不是一包静态语料，而是一条持续更新的数据管线。产品界面、业务规则、用户习惯、合规要求变化后，训练数据、测试集和评测环境都要跟着重做。数据更像软件维护：上线不是结束，而是下一轮版本控制的开始。
当然，这种折旧速度取决于任务环境。一个长期稳定、流程极少变动的场景，旧数据可以用很多年；但凡工作流频繁变化，数据的价值就不在历史存量，而在能否快速采集当前现实。
被问到怎样把专家脑中“什么算好”的标准规模化时，Vincent 先指出传统人工标注的账单。每增加一个数据点，就多一次人工判断，成本随数据量线性增长。为了降低噪声，还得让多人重复标同一题，形成 k×n 的额外工作量。一旦任务定义变化，过去的标注往往不能复用，只能从头再来。
更麻烦的是，逐条标签通常没有 provenance，也就是“这个结论从哪来、为什么这样判”的可追溯记录。团队看到一个“垃圾邮件”标签，却不知道标注者依据的是发件人、链接、措辞，还是某条业务规则，自然也难以协作修正。
"we want to encode expert supervision in software"（我们希望把专家监督编码进软件。）
Snorkel 的 data programming 思路，是把专家判断写成 labeling functions，也就是可复用的启发式规则。比如“含有某类可疑域名的邮件更可能是垃圾邮件”。这些规则不必完美，甚至会互相重叠、彼此矛盾。Snorkel 会在没有标准答案的情况下，无监督估计每个“投票者”的准确度，再综合这些弱信号。
这意味着，专家的产出从一个个标签，变成可以审计、重构和迭代的判断逻辑。数据生产开始像软件工程。但规则化不等于自动得到真相：没有 ground truth，即标准答案时，团队仍要面对不准确和相互冲突的监督信号。
被问到为何要做 Senior SWEbench 时，Vincent 的判断是：代码代理已经被要求像高级工程师那样做架构决策、重构整个代码区域，但行业仍在用初级工程师标准考它们。传统 SWEbench 的许多任务过度指定，近似一张非常细的操作说明书：改哪里、怎么改、预期输出是什么，都写得很清楚。
Senior SWEbench 则把输入换成更接近真实工作的材料：一条 Slack 消息、一段日志转储、几条用户故事。模型得自己判断问题边界、找出相关代码，并在不被逐步指挥的条件下完成任务。评测也不只看代码能否运行、是否可以合并，还要看是否像 staff、senior 或 principal 工程师那样，避免不必要的补丁膨胀，保留代码可维护性。
预写单元测试很可靠，但太死板：一种不同却有效的实现可能被误判。LLM judge 更灵活，却可能奖励“看起来合理、实际错误”的代码。为此，团队加入 validation agent：专家写几条简短 validation spec，代理据此生成确定性测试脚本，并额外检查串通和 reward hacking，也就是模型钻奖励规则的空子。
这意味着，评测不再是简单的“过 / 不过”。但“品味”天然比正确性主观；验证器太严会错杀好方案，过度信任 LLM judge 又会放大伪正确答案。
被问到 Inception 的扩散语言模型如何落地时，Volo 先讲了速度。传统自回归模型从左到右，一个 token 一个 token 地生成；扩散语言模型从带噪的初始序列出发，同时生成多个 token，再经过多轮细化。Volo 称 Mercury 2 的速度可超过每秒1000个 token。
这对实时语音尤其重要。典型语音链路由 speech-to-text、LLM、text-to-speech 串起来，LLM 往往是总延迟最大的那段。模型足够快，语音交互更自然；也可以在相同等待时间内使用更大的模型，或者让模型思考更久。
但速度不保证业务质量。Volo 指出，Towbench 上许多模型已跑到90多分，拿同一模型去跑真实生产日志，分数会显著降低，模型之间的差距也会突然拉大。
"But then if you run these same models on real world production logs, you're going to get much lower scores."（但如果你把同样的模型跑在真实世界的生产日志上，分数会低得多。）
因此，Tao Forge 从数据供应商或生产合作伙伴的真实交互出发，合成类似 Towbench 的 RL 环境。Mercury 2.5 在一组环境上，从约50%准确率提升超过23%。但合成环境也会过期，必须继续拿真实反馈校验并更新生成流程。
被问到小语种预训练怎么办时，Shane 用约8000万使用者的泰语举例。在基于 Common Crawl 的 Madlad 400 语料中，泰语 token 数只有英语的0.6%。若只训练泰语模型，有限文本会被重复多个 epoch，也就是训练轮次里反复使用同一批数据，模型很快过拟合，只能缩小模型规模。
所以答案不是“只喂母语”，而是把泰语和外语混合。但混什么，不能靠语言学直觉拍板。实验中，对泰语有帮助的来源包括英语、印尼语、马来语、老挝语和克罗地亚语。它们并不只是同语系语言；网页数据质量、主题覆盖、文字系统和 tokenization，都会影响迁移效果。
"You can't just bring a linguist and they can theorize about linguistics for this particular case."（你不能只是找来一位语言学家，让他为这个具体问题做语言学推演。）
更反直觉的是，迁移不对称。葡萄牙语有助于西班牙语，不代表西班牙语必然以同等程度帮助葡萄牙语。实验还发现，共享文字系统的影响略强于共享语言家族。模型变大后，原本互相干扰的语言会更容易变成协同；模型较小时，它们则更激烈地争夺有限参数容量。数据配比必须按目标语言和模型尺寸逐项实测。
被问到数据集和 RL 环境最终会以什么商业形态存在时，主持人先承认没有确定答案。可验证奖励的环境相对清楚：任务是否完成、工具是否调用成功、结果是否符合规则，都能判定。但许多经济活动不属于这类问题。一个设计是否更易用、一段代码是否可维护、某种治疗方案是否更合适，往往没有唯一答案；两位医生可能对同一患者给出不同建议，法官也可能对同一事实作出不同判断。
"I don't know, but I propose something here."（我不知道，但我在这里提出一个设想。）
他的类比是手机应用。要让 LLM 成为医生、会计、律师、木匠、交易员或治疗师，就需要各自领域的优质、最新数据和 RL 环境。Apple 没必要为了送菜而重建一个只服务 iPhone 用户的 Instacart 网络；同样，OpenAI、Anthropic、Google、Apple 也未必都该自己处理医疗合规、组织医生网络、积累患者轨迹和偏好数据。
这意味着，可能会出现专门深耕医疗、法律或金融环境的独立公司，为多个模型厂提供专业层。但这不是定论。哪些能力必须内建，哪些适合外包，仍取决于合规门槛、领域复杂度以及医生网络这类网络效应能否形成。
被问到社区层面最该补什么时，Vincent 的答案是更多基准，但不是传统的一份题库。Data 2.0 的环境包含任务、rubric、verifier 和细致评分机制，并被打包进 Docker 环境。rubric 是评分标准，verifier 是检查结果是否符合标准的验证器。人类独立开发一个这样的环境，可能花费个位数到三位数小时。
这比早期“给一句问题、收一句答案”的数据复杂得多。代理可能拥有桌面操作权限，任务链条更长，输出也更主观。一个好环境既要像真实工作，又要提供可学习的反馈；既不能简单到模型刷题，也不能难到模型完全学不到信号。
"We need more benchmarks and we think this is actually a really high lever way for folks to drive new data research."（我们需要更多基准，而且我们认为这是推动新数据研究的一个高杠杆方式。）
Snorkel 已与 Berkeley 的 agents/exam、Continual Learning Bench、World、Terminal Bench 等团队合作，并推出 Open Benchmarks Grants。这里的杠杆不只是“多一个排行榜”，而是谁定义任务、评分和更新机制，谁就影响模型能力被看见、被优化和被部署的路径。
但基准越复杂，维护成本也越高。数量增加不等于质量提高；当任务更动态、结果更主观、代理更自主时，基准本身也必须持续校准。
“模型到了85分，下一步不是读论文而是审判错例”和“千倍级速度不能替代真实业务数据，跑分高也可能上线即失灵”，其实指向同一件事：模型表现不是一个脱离场景的数字。它在某个基准上的分数，只说明它适应了那份基准定义的世界；进入冰箱起雾、用户临时改口、业务流程更新的现实，训练分布和测试分布就分家了。
“专家不该被困在标注队列里，而该把判断写成软件”与“数据不是一次性资产，界面一改就会过期”则说明，数据工作不该被理解为一次采购。真正要建设的是一套系统：专家能把判断留下来，团队能追溯和修改它，环境变化后能快速补采、重测和重训。
对正在做 AI 产品的人，这意味着别只问“模型能不能做”，也要问：它靠什么知道自己错了？谁能解释什么算对？用户工作流改版后，数据和评测能在多快时间内跟上？这些问题决定的，不是演示时的惊艳程度，而是模型是否能在真实业务里持续可用。
