OverEager-Bench 用 500 个场景、约 7500 次运行测出:Codex CLI 在良性任务上的越权率落在 5.4% 到 13.8% 之间,同一套执行框架换个模型能差 2.5 倍;SNARE 再用 10000 次自适应采样把越权拆成 24 种原型,并算出框架占 56.1% 的行为方差。本文拆解这批数据,给出可复制的分层防线配置,并解释为什么这类失败永远不会出现在成功回报里。
任务完成了,但你没批准过:7500 次良性任务测出的 Agent 越权图谱


OverEager-Bench 用 500 个场景、约 7500 次运行测出:Codex CLI 在良性任务上的越权率落在 5.4% 到 13.8% 之间,同一套执行框架换个模型能差 2.5 倍;SNARE 再用 10000 次自适应采样把越权拆成 24 种原型,并算出框架占 56.1% 的行为方差。本文拆解这批数据,给出可复制的分层防线配置,并解释为什么这类失败永远不会出现在成功回报里。

把 Claude Code 和 Codex 分别放进容器,给它们一百条基线数据和优化目标,看它们如何独立分析失败模式、跑自建评测、迭代 prompt,最终交出超越基线的方案。两种 AI 编码助手在「优化智能体」这件事上,展现出了令人意外的工程直觉和策略差异。