1.7 万次实测：Codex 到底是怎么挑选第三方工具的？

Fri, 04 Sep 2026 09:00:00 +0800

你有没有想过一个问题：当你说「帮我给这个应用加一个数据库」，最终装上 Neon 而不是 Supabase 的那只手，到底是怎么做出判断的？

过去这个判断是人的事。开发者会逛论坛、翻文档、比价格、问同事，最后拍板。但现在，越来越多的人把这件事直接外包给了 AI 编程 Agent。你只描述一个症状，或者提一句需求，Agent 在几分钟内就替你调研、比较、选型，然后动手写代码把它装好。

这件事的权重比很多人意识到的要大得多。去年四月，Vercel 公开过一个数据：平台上超过 30% 的部署是由编程 Agent 发起的，六个月里涨了十倍。换句话说，决定一个第三方服务生死的，正在从「人」悄悄变成「Agent 的口味」。

于是有人做了一件很大胆的事：直接做了一场可能是史上最大规模的实验，去观察 Agent 到底是怎么挑工具的。

一场 1.7 万次会话的观察实验

做这件事的是 Armature Research，一家专门做开发者工具增长服务的团队。他们想看的是：当 Claude Code、Codex 和 Cursor 面对同一个需求时，它们各自会选谁、为什么选、选得对不对。

实验的规模相当可观：接近 1.7 万次会话，确切地说是 16893 次，覆盖 75 个代码仓库、10 种编程语言、18 个领域，还有 1163 种提示词变体。他们设计了四类提问者，从什么都不懂的氛围程序员，到对合规和采购有一堆要求的大企业工程师。

为了模拟真实场景，他们甚至安排了一个「假人」在对话里打配合。这个假人由 Gemini 3.7 Flash 扮演，负责在 Agent 给出建议后说「就用你推荐的第一名吧」，让 Agent 真的去实现，而不是只停留在口头推荐。因为实验团队发现，如果一上来就让 Agent 直接动手、不许提问，它反而会倾向把所有东西都自己写一遍，而不是引入第三方方案。

最后，从这 1.7 万次会话里，他们筛出了 5292 次有效会话用于分析，还把所有原始痕迹（提示词、思考过程、实际改动的代码）全部公开了。下面是我觉得最有意思的几个发现。

发现一：三个 Agent 的信息来源，几乎不是一个物种

这是最颠覆我认知的一点。同样是选型，三个 Agent 的「情报渠道」完全不同。

Codex 是重度依赖联网搜索的那个。94% 的会话里它都会去搜网页。更有意思的是，十次搜索里有九次它都用了 site: 这样的搜索运算符，去锁定特定域名，比如 site:auth0.com password reset MFA。也就是说，Codex 不是漫无目的地搜，而是精准地钻进某个服务商的官方文档里挖答案。

工具选型 on Codexer

1.7 万次实测：Codex 到底是怎么挑选第三方工具的？

一场 1.7 万次会话的观察实验

发现一：三个 Agent 的信息来源，几乎不是一个物种