没有 API 的软件，让 Agent 自己点鼠标：Codex 计算机使用跨过的那个转折点

Sat, 26 Sep 2026 07:50:00 +0800

一个我一直在回避的问题

过去几年做自动化，我的默认路径基本固定：先找接口。有官方 API 就用 API，没有就看有没有 MCP，没有就翻 SDK 和 webhook，一个都没有，就退到自己写爬虫，或者干脆放弃，把它列进「暂时自动化不了」的清单。

清单一直在变长。政府办事门户、保险理赔材料、供应商后台、还在用传真的诊所表单，这些东西的共同点是：它们不会有接口，而且不是「暂时没有」，是永远不会有。

MindStudio 在 9 月 23 日发布的一篇访谈里，OpenAI 负责 Codex 桌面应用的工程师给了一个不同的答案：这类工作不需要接口，让 Agent 自己看屏幕、移动指针、点按钮就行。他们把这项能力称作 universal connector，通用连接器。

这个说法值得认真对待，因为说它的人不是在做概念营销，而是在解释一个已经跨过临界点的产品能力。

先把定义说清楚，避免和「写代码」混在一起。

计算机使用指的是 Agent 像一个真人那样操作软件：移动光标、点击按钮、滚动页面、在真实的应用和网站里填表，而不是在背后调用某个接口。它和 MCP、和传统的 API 集成，回答的是两类不同的问题。

在 Codex 里，这件事的起点是开发者工具。早期版本会把 Agent 实际执行的脚本、选择器、点击坐标直接铺在屏幕上，工程师可以盯着看、可以调试。透明度对调试自动化的人来说是优点，一旦受众换成只想要结果的普通人，这套呈现方式就不成立了。

Codex 从命令行工具长成桌面应用之后，设计跟着变了。屏幕上不再显示代码，只有一个指针在点来点去，有时配一个画中画的预览窗口，让你能看到动作发生在哪里。

关键的一点是：底下干活的模型基本没换，还是编码 Agent 那套架构。换掉的只是呈现方式。机制看得更少了，对结果正确的信任要求更高了。

如果只看能力清单，计算机使用很多年前就能演示。工程师的原话是，有很长一段时间它只是一个 impressive party trick，令人印象深刻的派对把戏：能跑通，但慢到你不会想在日常工作里用第二次。

过去一年左右跨过了临界点。这里有一个我觉得比速度本身更有意思的细节：快到一个程度之后，人们开始不再注意到 Agent 什么时候从直连接口悄悄切换成了点界面。任务完成了，用什么方法完成的，没人再关心。

这是自动化真正被接纳的标志。不是它能做，而是它做的时候你不再盯着看。

对做 Agent 产品的人来说，这条观察有一个不太舒服的推论：可见性在调试期是资产，在规模期是负担。同一个特性，在验证阶段是卖点，在交付阶段是干扰。什么时候把机制藏起来，比把它做出来更难判断。

MCP 和直连接口的优势很实在：更快，更省 token，契约稳定。但这些优势有一个前提，那就是集成已经存在。

现实中大多数人每天要打交道的系统，是不会有集成的。文章里举的例子很具体：政府门户、保险材料、还在走传真的儿科诊所表单、老企业内部系统。这些系统不会有人专门为它们写 connector，写的人既没有动机，也没有权限。

那位工程师说他最初低估了「计算机使用的 scaling law 潜力」，他原本以为机器可读的接口总会赢。等到计算机使用变得够快够可靠，它就成了一个对任何有屏幕的东西都成立的兜底方案：不用管有没有人做过集成。

对今天在 Agent 上做东西的人，这条推论可以直接落地：不要等厂商发 API。只要一个任务能通过浏览器或桌面应用完成，Agent 就有可能被直接指过去做。

要写。这不是我的判断，是 OpenAI 自己的做法。