三个月,两个订阅,一群 agent,把一款射击游戏反编译回 C++。第一个月进度飞快,代码却是错的。问题不在模型,在于没人定义过什么叫正确。作者的解法是字节比对:一个只回 PASS 或 FAIL 的脚本,外加一套防止 agent 自己改判分的办法。
6000 亿 token 之后,他把 review agent 换成了一个只会说 PASS 或 FAIL 的脚本

拆解 AI 编码工具的机制,用实测数据说话。这里记录 Codex CLI 与 AI 编码 Agent 的工作原理、成本账本、安全边界和工程实践。

三个月,两个订阅,一群 agent,把一款射击游戏反编译回 C++。第一个月进度飞快,代码却是错的。问题不在模型,在于没人定义过什么叫正确。作者的解法是字节比对:一个只回 PASS 或 FAIL 的脚本,外加一套防止 agent 自己改判分的办法。

苏黎世联邦理工把 AGENTS.md 拿去做了一次对照实验:138 个真实 issue,四套 agent,三种设置。自动生成的那份让成本涨了 20%,成功率没动。人写的版本好一点,但差得也不多。问题出在哪一节,以及该怎么删。

Codex CLI 有个默认关闭的开关,打开之后你敲的每一行字都能立刻掐断正在跑的工具调用。它把 Codex 从请求-响应工具变成可操控的进程,也把工具调用从原子操作变成了会被砍在半路的东西。什么时候该开、什么时候必须关,以及它和 fork 的分工。

hooks 是 fail-open 的设计,所以它坏掉的时候不会喊。仓库级配置在交互式会话里不生效、插件多带一个 manifest 全员静默死掉、Windows 上 exit 2 被改写成 1、失败信号压根不存在。这些 issue 的共同点是没有一行报错。

codex exec 被别的程序起起来之后,超时到底结束了进程还是只是那一次等待、租约按线程加还是按任务加、取消之后工作区能不能信、重试会不会把对外副作用做第二遍。这些是宿主的活,不是 agent 的活。