你的 Codex Skill 真的靠谱吗？用 Caliper 量化 Agent 的可靠性

Fri, 03 Jul 2026 10:00:00 +0800

你花了一个下午，写了个 Codex Skill。

它的任务很简单：每次 git add 之后，自动读一遍 diff，生成一条符合 Conventional Commits 规范的 commit message。你测了三遍，每次都完美通过。你很满意，把它塞进了项目仓库。

第二天早上，你打开终端，git add 了几个文件，然后让 Skill 跑。结果它输出了一行不知所云的英文，连 type: 前缀都没带。

你检查了 Skill 文件，没改过。检查了 prompt，没变。唯一的区别是：Codex 昨晚自动更新到了新版本。

这种事，每一个认真用过 Agent Skills 的人都遇到过。

问题：Agent Skills 是「薛定谔的靠谱」

传统的软件测试，逻辑很清晰：你写了一个函数 add(a, b)，你写了一个测试 assert add(2, 3) == 5。只要代码没改，这个测试明天跑、下个月跑、明年跑，结果都一样。

但 Agent Skills 不是这样。

Skills 本质上是一段自然语言指令加上一些工具调用规则。它的行为取决于 LLM 对它「理解」的程度。而 LLM 的理解能力，会随着模型版本、上下文窗口大小、甚至 prompt 里多一个逗号而产生微妙的变化。

更麻烦的是，很多 Skill 的「正确性」本身就是模糊的。什么是「好的 commit message」？什么算「正确的代码重构」？这些问题没有唯一正确答案，人看着觉得「差不多对」就行了。

这就造成了一个很尴尬的局面：你无法确定你的 Skill 是真的有用，还是碰巧在那个 prompt 上跑对了。

开源项目 Caliper 就是为解决这个问题而生的。它的核心理念简单直接：用统计学方法来衡量 Agent Skills 的可靠性。

Caliper 是一个专门为 AI Agent Skills 设计的功能测试框架。目前支持 Claude Code、Codex 和 Pi 三种 Agent 后端。