<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Benchmark on Codexer</title><link>https://codexer.com/tags/benchmark/</link><description>Recent content in Benchmark on Codexer</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Thu, 09 Jul 2026 09:00:00 +0800</lastBuildDate><atom:link href="https://codexer.com/tags/benchmark/index.xml" rel="self" type="application/rss+xml"/><item><title>GPT-5.5 Codex 推理强度实测：low、medium、high、xhigh 到底差在哪？</title><link>https://codexer.com/posts/2026-07-09-gpt55-codex-reasoning-curve/</link><pubDate>Thu, 09 Jul 2026 09:00:00 +0800</pubDate><guid>https://codexer.com/posts/2026-07-09-gpt55-codex-reasoning-curve/</guid><description>&lt;p&gt;你用 GPT-5.5 Codex 写代码的时候，有没有纠结过该选哪个推理强度？low、medium、high、xhigh，这四个选项摆在面前，到底哪个最适合日常使用？网上众说纷纭，有人说 low 就够了，有人说必须拉满 xhigh，还有人担心高推理强度会「过度思考」反而写出烂代码。&lt;/p&gt;
&lt;p&gt;stet.sh 的作者做了一个实验：在同一个开源仓库 GraphQL-go-tools 上，用 GPT-5.5 Codex 的四个推理强度分别跑了 26 个真实合并过的 PR，然后从多个维度对比了结果。这篇文章就是他的实验报告。&lt;/p&gt;
&lt;p&gt;先交代背景：GraphQL-go-tools 是一个 Go 语言实现的 GraphQL 工具库，涉及 schema 解析、联邦查询、gRPC 数据源、订阅处理等复杂场景。26 个 PR 涵盖了并发安全修复、输入校验重构、别名语义处理、AST 合并优化等不同类型的任务，比跑几个算法题要有说服力得多。&lt;/p&gt;
&lt;p&gt;实验不是简单地看测试过没过。作者设定了五个评价维度：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;strong&gt;测试通过率&lt;/strong&gt;：最基本的指标，patch 能不能让现有测试通过。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;语义等价性&lt;/strong&gt;：AI 提交的 patch 是否实现了和人类提交者相同的意图。这个比测试通过率更严格，因为测试可能覆盖不全。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;代码审查通过率&lt;/strong&gt;：用 GPT-5.4 作为评审模型，判断人类审查者会不会接受这个 patch。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;代码质量评分&lt;/strong&gt;：从清晰性、简洁性、一致性、意图明确性、健壮性、指令遵守度、范围约束、diff 精简度八个子维度打分。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;足迹风险&lt;/strong&gt;：AI 相比人类提交者多触碰了多少代码。触碰越多，审查负担越重，引入 bug 的风险也越大。&lt;/li&gt;
&lt;/ol&gt;
&lt;h2 id="low-和-medium测试平手质量悬殊"&gt;Low 和 Medium：测试平手，质量悬殊&lt;/h2&gt;
&lt;p&gt;最让人意外的一个发现是：&lt;strong&gt;low 和 medium 在测试通过率上打成平手，都是 21/26（80.8%），但语义等价性差了整整 15 个百分点&lt;/strong&gt;（15% vs 42%）。&lt;/p&gt;
&lt;p&gt;这意味着如果你只看「测试过没过」这个指标，你会得出「low 和 medium 一样好」的结论，然后心安理得地省钱用 low。但如果你坐下来认真读那些 patch，你会发现 medium 写的代码质量明显更高。&lt;/p&gt;
&lt;p&gt;举个例子，PR #1297 要求 Agent 在 GraphQL Federation 中验证可以为 null 的外部依赖。如果一个可空字段返回 null 且带有 error，依赖它的下游查询不应该收到被污染的数据。low 的方案虽然通过了测试，但它用的是启发式的字段匹配，看到 required 字段加 error 就拦截，完全没有理解 Federation 的 nullable metadata 结构。medium 则明确追踪了被污染的对象，在下游输入中正确过滤。&lt;/p&gt;</description></item></channel></rss>