编程 Agent 的「体检报告」：Databricks 如何在百万行代码中给 AI 打分

Sat, 11 Jul 2026 09:00:00 +0800

假设你是一个技术负责人，团队里有 500 个工程师，每人每天用 Codex、Claude Code 或 Cursor 写代码。你每个月花在 AI 编程工具上的账单是六位数美元。现在老板问你：我们用的这套组合，真的是最优解吗？

你可能答不上来。

市面上有 SWE-Bench、TerminalBench 这类公开基准测试，但它们的数据集早就进了各家模型的训练语料，分数存在严重的"泄题"效应。更要命的是，那些基准测试里的代码库跟你们公司的技术栈完全不搭，Scala 微服务的坑、Bazel 构建的复杂度、Protobuf 合约的细节，在公开数据集里根本测不出来。

Databricks 的工程师团队也遇到了同样的问题。他们的代码库超过千万行，横跨 Scala、Go、Rust、Java、Python、TypeScript 等十几种语言，每天合并上千个 PR。与其依赖公开基准，他们决定自己做一套"体检系统"，用真实的内部 PR 来评估编程 Agent 的能力。

这套基准测试花了三个月搭建，跑出了几个让整个行业都该认真看看的结论。

为什么要自建基准？

Databricks 的工程副总裁 Patrick Wendell 说得直白：公开基准测出来的结果，跟我们在实际代码库上看到的表现，是两回事。

核心原因有三点：

第一，数据泄露问题没法避免。 SWE-Bench 的测试用例是公开的，模型训练时几乎必然见过。AI 在测试集上的高分，可能只是"背题"背得好，不代表真的会解决新问题。

第二，你的代码库跟基准测试里的完全不一样。 大多数公开基准用 Python 写的小项目，而 Databricks 的代码库里到处都是 Bazel 构建、Protobuf 服务间通信、Scala 后端微服务，复杂度不在一个量级。

第三，你需要的是决策依据，不是排行榜排名。 企业真正想知道的是：我的工程师日常写什么类型的代码？什么难度的任务该用什么模型？哪套 Harness 综合最优？

Databricks 的做法是：从过去几个月合并的真实 PR 中筛选出一批高质量样本，把它们改造成"考题"，然后用这些考题去跑不同的模型和 Harness 组合，逐一打分。

基准是怎么搭的？

搭建过程比想象中复杂很多，Databricks 团队踩了不少坑。

选题阶段。 他们从成千上万个 PR 中筛选，标准很严格：必须是人工编写的代码（过滤掉机器人提交和 AI 生成的），必须附带高质量测试（不然没法验证正确性），改动范围要集中在几个模块内（太分散的无法评估），而且要覆盖全栈（后端、前端、构建配置都要有代表性）。

每个候选 PR 还需要人工复审，把 PR 描述改写成"需求规格"，删掉一切暗示了实现方案的描述。这里有个有趣的细节：如果 PR 描述里写"因为这个 bug 的根因是 xxx，所以修复方案是 yyy"，后半句会被删掉，只保留对问题的描述，不然对模型来说就太简单了。

Databricks on Codexer

编程 Agent 的「体检报告」：Databricks 如何在百万行代码中给 AI 打分

为什么要自建基准？

基准是怎么搭的？