三个月,两个订阅,一群 agent,把一款射击游戏反编译回 C++。第一个月进度飞快,代码却是错的。问题不在模型,在于没人定义过什么叫正确。作者的解法是字节比对:一个只回 PASS 或 FAIL 的脚本,外加一套防止 agent 自己改判分的办法。
6000 亿 token 之后,他把 review agent 换成了一个只会说 PASS 或 FAIL 的脚本


三个月,两个订阅,一群 agent,把一款射击游戏反编译回 C++。第一个月进度飞快,代码却是错的。问题不在模型,在于没人定义过什么叫正确。作者的解法是字节比对:一个只回 PASS 或 FAIL 的脚本,外加一套防止 agent 自己改判分的办法。

苏黎世联邦理工把 AGENTS.md 拿去做了一次对照实验:138 个真实 issue,四套 agent,三种设置。自动生成的那份让成本涨了 20%,成功率没动。人写的版本好一点,但差得也不多。问题出在哪一节,以及该怎么删。

Codex 的 /goal 让 Agent 跨轮次追一个目标,直到完成或预算耗尽。但真正决定长任务成败的不是模型能力,而是三件事:压缩之后审计要求会不会丢、谁给完成结果判卷、预算是闸门还是断路器。这篇文章拆解三个失效点,以及把实质写进文件、把人工审批变成可判定检查项这两个具体解法。

Archestra 团队用一个 Slack 螃蟹表情触发编码 agent,自动拉起环境、排查 bug、自审代码、录演示视频,一路修到 PR 提审。但真正棘手的是:当 agent 同时拥有内部数据读取、网络访问和公开仓库推送权限,数据会流向哪里?他们用 OpenAPPA 本地策略引擎给数据打上「内部」标记,在工具调用前拦下越界操作。