https://codexer.com/tags/%E8%87%AA%E5%8A%A8%E5%8C%96%E4%BC%98%E5%8C%96/Recent content in 自动化优化 on CodexerHugozh-cnMon, 22 Jun 2026 09:00:00 +0800https://codexer.com/posts/2026-06-22-codex-self-optimizing-agents/Mon, 22 Jun 2026 09:00:00 +0800https://codexer.com/posts/2026-06-22-codex-self-optimizing-agents/<p>想象这样一个场景：你有一个 AI 客服代理，它对 100 个用户问题给出了回复，其中 35 个回复被用户标记为不满意。你面前摆着两样东西，一份是包含所有对话记录的 JSONL 日志，另一份是一个简洁的任务描述：「请分析失败原因，修改提示词或切换模型，让代理的表现更好」。</p> <p>你会怎么做？大概率是先翻日志找规律，尝试改几版提示词，跑几个例子看效果，不行再调。</p> <p>现在，把这个任务交给一个 AI 编程代理，比如 Codex 或 Claude Code，它会怎么做？</p> <p>研究员 Andrew Jesson 在 2026 年 4 月做了一组实验，结果既在意料之中，又让人重新思考一个问题：当 AI 代理开始优化 AI 代理时，那些「专业工具」还有存在的必要吗？</p> <h2 id="实验设计100-条记录一个指标零专业工具">实验设计：100 条记录，一个指标，零专业工具</h2> <p>Jesson 的实验设计简单直接。他准备了五个不同的 AI 代理应用场景：</p> <table> <thead> <tr> <th>应用</th> <th>描述</th> <th>评价指标</th> </tr> </thead> <tbody> <tr> <td>软件工程</td> <td>Linux 终端代理，执行命令解决编码任务</td> <td>验证器打分 (0–1)</td> </tr> <tr> <td>商业管理</td> <td>多轮 CEO 代理，驱动商业模拟</td> <td>按时完成任务数</td> </tr> <tr> <td>命名实体识别 (NER)</td> <td>从句子中提取组织名、人名等</td> <td>精确匹配</td> </tr> <tr> <td>NDA 条款提取</td> <td>从 OCR 合同中提取生效日期、管辖地等</td> <td>字段级匹配</td> </tr> <tr> <td>科学研究复现</td> <td>代理从沙盒数据和遮罩 PDF 中复现天体物理论文</td> <td>数值二元匹配</td> </tr> </tbody> </table> <p>每个应用先跑一轮 baseline：用初始提示词加上 <code>gpt-5.4-mini</code> 模型执行 100 个不同任务，记录下每次推理的内容和对应的反馈分数。</p> <p>然后，把这份数据连同一个 Markdown 技能文件丢进一个隔离容器，告诉 Codex（搭载 GPT-5.5）或 Claude Code（搭载 Claude Sonnet 4）：分析这些失败案例，创建新的提示词变体或更换模型，让指标更好。</p>