https://codexer.com/tags/pomdp/Recent content in POMDP on CodexerHugozh-cnTue, 07 Jul 2026 10:00:00 +0800https://codexer.com/posts/2026-07-07-aletheia-uncertainty-loop/Tue, 07 Jul 2026 10:00:00 +0800https://codexer.com/posts/2026-07-07-aletheia-uncertainty-loop/<p>想象一个场景：你让 AI 调查一家公司的真实营收。它搜索了几篇新闻报道，找到 CEO 在采访中说「我们年收入 1000 万美元」，然后自信满满地告诉你：没错，就是 1000 万。</p> <p>你信了。</p> <p>但真相是，那家公司只有一个 20 万美元的种子轮融资记录，LinkedIn 上的员工不到 15 人，第三方平台的付费用户评论寥寥无几。AI 没有主动去验证这些矛盾信号，因为它根本不知道自己「不知道」什么。</p> <p>这，就是大多数 AI 研究助手真正的问题。</p> <h2 id="问题不在答案在自信的幻觉">问题不在答案，在「自信的幻觉」</h2> <p>最近在 GitHub 上看到一个项目叫 <a href="https://github.com/nsankar/Aletheia">Aletheia</a>，名字来自希腊语，意思是「揭示的真理」。它的作者 Sankar 提出了一个直击要害的观点：<strong>现有 AI 助手最危险的地方，不是它们会犯错，而是它们在犯错的时候最自信。</strong></p> <p>为什么会这样？因为传统 AI Agent 的循环是「思考 → 行动 → 重复」。它搜索，它总结，它把搜索结果里最响亮的声音当成答案。结果就是：得到的证据越多（或者只是重复性的噪音越多），信心越足，哪怕这些「证据」指向了错误的方向。</p> <p>这让我想起一个认知心理学概念：「确认偏误」（confirmation bias）。人类倾向于寻找支持自己已有观点的信息，忽略矛盾的证据。而传统的 AI Agent 继承了同样的毛病，只不过跑得更快。</p> <h2 id="aletheia-的答案把不知道当作一等公民">Aletheia 的答案：把「不知道」当作一等公民</h2> <p>Aletheia 的设计哲学完全不同。它把每个问题都看作一个「隐藏真相」：真实答案就在那里，但你能看到的只是带有噪声的线索。然后它运行一个特殊的循环：</p> <pre tabindex="0"><code>信念 → 行动 → 观察 → 更新 </code></pre><p>这个循环的本质是什么？是一个 <strong>POMDP</strong>（部分可观察马尔可夫决策过程）。简单来说，它承认自己永远看不到「完整真相」，只能通过每一次搜索逐步逼近。而每次获得新信息后，它必须「更新信念」，如果新证据和之前的猜想矛盾，<strong>信心应该下降，而不是上升</strong>。</p> <p>这听起来很合理，但很少有 AI 系统真的这么做。原因很简单：做加法容易，做减法难。往上堆证据谁都会，但承认「我之前的判断可能错了」需要一种结构性的谦逊。</p> <h2 id="三个工程决策让不确定性被认真对待">三个工程决策，让不确定性被认真对待</h2> <p>光有理念不够。Aletheia 有三个具体的工程选择让它不仅仅是一个漂亮的概念图：</p> <p><strong>第一，按「信息价值」搜索，而不是广度搜索。</strong> 传统 Agent 的做法是搜尽可能多的来源，然后汇总。Aletheia 的做法是：每次搜索前都问自己：「哪一次查找，最有可能改变我的判断？」然后只做那一次。这有点像贝叶斯实验设计，用最少的查询获取最大的信息增益。结果不是更多搜索，而是更精准的搜索。</p> <p><strong>第二，用「两个条件」来终止，而不是一个。</strong> 大多数 Agent 只有一个停止条件：信心够了。但 Aletheia 有两个：信心够高 <strong>且</strong> 不确定性已经收敛。这意味着，即使某个搜索结果让信心飙到 95%，如果还有未解决的矛盾信号，循环会继续。曾有实验显示，这个双条件机制同时「挽救」了一个被错误否定的结论，又「确认」了一个被正确质疑的结论，用的是同一套逻辑。</p>