https://codexer.com/tags/%E5%AE%9E%E6%B5%8B%E6%95%B0%E6%8D%AE/Recent content in 实测数据 on CodexerHugozh-cnSun, 18 Oct 2026 07:10:00 +0800https://codexer.com/posts/2026-10-18-agents-md-cost-of-instructions/Sun, 18 Oct 2026 07:10:00 +0800https://codexer.com/posts/2026-10-18-agents-md-cost-of-instructions/<p>新建一个仓库，第一件事是让 Codex 生成 <code>AGENTS.md</code>。它交出来的东西看着挺专业：一段项目简介，一棵目录树，技术栈清单，编码规范，构建和测试命令。六百多字，读起来像那么回事。</p> <p>之后每个任务，这几百字都会被塞进上下文。你大概从没算过这笔账：它到底帮你省了什么。</p> <p>苏黎世联邦理工和 LogicStar 的几个研究者把这个动作拆开量了一遍。结论不太体面。自动生成的 <code>AGENTS.md</code> 对成功率没有可测量的影响，推理成本平均涨了 20%。人写的版本好一点，但也没有社区里说的那种效果。</p> <p>论文叫 <em>Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?</em>，arXiv 编号 2602.11988，九月底更新到第三版。看完这篇，我对仓库里那份文件的态度变了。</p> <h2 id="他们是怎么量的">他们是怎么量的</h2> <p>这件事之前没人认真做过，原因很简单：<code>AGENTS.md</code> 是 2025 年 8 月才定下来的格式，老基准里的仓库根本没有这文件。现在有 6 万多个开源仓库带它，样本够了。</p> <p>研究者自己造了一个基准，叫 CTXBENCH。从 12 个带上下文文件（<code>AGENTS.md</code> 或 <code>CLAUDE.md</code>）的 Python 仓库里，筛出 138 个任务实例，每个都对应一个真实的 issue 和已合并的 PR。仓库包括 tinygrad、pdm、ansible、wagtail、transformers、smolagents、ragas 这些，都不算大热门，正好是普通项目的真实样子。这批文件平均 641 个词，分 9.7 节，最长的一份 2003 个词。</p> <p>配套还用了 SWE-bench Lite 的 300 个任务，那 11 个仓库原本都没有上下文文件，用来测自动生成的那一种。</p> <p>四套组合：Claude Code 配 Sonnet 4.5，Codex 配 GPT-5.2，Codex 配 GPT-5.1 mini，Qwen Code 配 Qwen3-30B-Coder。三种设置：</p>