https://codexer.com/tags/%E5%8F%AF%E9%9D%A0%E6%80%A7/Recent content in 可靠性 on CodexerHugozh-cnSat, 10 Oct 2026 07:40:00 +0800https://codexer.com/posts/2026-10-10-codex-bug-study-orchestration-layer/Sat, 10 Oct 2026 07:40:00 +0800https://codexer.com/posts/2026-10-10-codex-bug-study-orchestration-layer/<p>先讲个场景。</p> <p>你在 Codex 里让它改一个文件。它想了两分钟，输出一段正确的补丁，然后什么都没发生，文件还是老样子。你换个说法再问一遍，还是没改。第三次你有点火了，在群里丢一句：「这模型今天又降智了。」</p> <p>问题是，模型没做错。补丁它写对了，没干活的是那个负责把补丁落到磁盘上的工具。</p> <p>这种误判有多常见？约克大学和康考迪亚大学的一篇实证研究给了个量化答案。他们手工把三个 AI 编程工具仓库里 3864 个公开上报的 bug 全部标注了一遍：Codex CLI 1192 个，Claude Code 2343 个，Gemini CLI 329 个。逐条读描述、读讨论、读开发者的回复，再按类型、位置、根因和症状归类。这是目前针对这类工具做的第一份系统性 bug 研究。</p> <p>结论不太符合直觉：这些工具身上的毛病，绝大多数不在那个「AI」上。</p> <h2 id="六成七的-bug是功能本身没工作">六成七的 bug，是功能本身没工作</h2> <p>按 bug 类型分，67% 落在「功能性」这一类，也就是工具没做到它该做的事。往后是 UI 易用性 17.9%，兼容性 7.6%，性能 5.9%，安全只占 1.7%。</p> <p>功能性占大头不奇怪，真正值得看的是根因落在哪。</p> <table> <thead> <tr> <th>根因分类</th> <th style="text-align: right">占比</th> </tr> </thead> <tbody> <tr> <td>API 与集成错误</td> <td style="text-align: right">21.4%</td> </tr> <tr> <td>配置与安装</td> <td style="text-align: right">15.9%</td> </tr> <tr> <td>用户交互与界面</td> <td style="text-align: right">11.1%</td> </tr> <tr> <td>环境与平台兼容</td> <td style="text-align: right">10.5%</td> </tr> <tr> <td>AI 逻辑与行为</td> <td style="text-align: right">10.0%</td> </tr> <tr> <td>性能与资源</td> <td style="text-align: right">8.1%</td> </tr> <tr> <td>命令执行</td> <td style="text-align: right">6.8%</td> </tr> <tr> <td>状态与上下文管理</td> <td style="text-align: right">6.5%</td> </tr> </tbody> </table> <p>头号根因是 API 与集成错误，21.4%。把它和配置、安装合并计算，占比 36.9%。而模型自己的「AI 逻辑与行为」只有 10%。</p> <p>换成一句人话：能追到模型身上的 bug 大约只有 12%（推理加提示工程），剩下 88% 都是常规软件工程问题，集成契约、平台兼容、状态管理，只不过恰好发生在一个 AI 工具里。</p>