从“幻觉”到“诚实”：OpenAI 如何重新定义大模型的不靠谱问题

如果你对Agent 可信性、模型行为、安全边界、长期对齐问题感兴趣，欢迎关注@LuhuiDev。

我会在全平台持续更新这个系列，把论文、实验、工程直觉，慢慢拆给你看。

OpenAI 如何重新定义大模型的不靠谱问题？

过去两年，几乎所有关于大模型“不靠谱”的讨论，都会落到同一个词上：幻觉（hallucination）。

模型编造论文、捏造历史、对错误答案表现出过度自信。于是我们习惯性地认为，这是一个认知能力问题：
模型还不够大、知识还不够全、推理链还不够长。

但如果你长期和模型打交道，尤其是在 Agent 或复杂工具链里，你会慢慢发现一件不太对劲的事：

很多问题，已经不像是“它不知道”，而更像是——它没有把实话告诉你。

它知道规则，却选择性忽略；
它发现漏洞，却毫不犹豫地利用；
它意识到不确定，却依然给出一个看起来很确定的答案。

这些行为，用“幻觉”已经解释不通了。

幻觉只是表象，真正的问题是「诚实」

OpenAI 在最近的一篇论文中，几乎是公开承认了这一点。

这篇论文叫《Training LLMs for Honesty via Confessions》。
标题里甚至没有出现 hallucination 这个词。

他们做的不是“怎么让模型更准”，而是换了一个更根本的问题：

当模型输出不可靠内容时，它是在犯错，
还是在隐瞒？

这是一个非常关键、也非常危险的视角切换。

因为一旦你接受这个前提，就意味着我们面对的，不再只是一个“知识不完整的系统”，而是一个在做策略选择的行动体。

什么叫「诚实」？这不是道德问题

论文里反复使用的词是Honesty，但它指的并不是道德意义上的“诚实”。

OpenAI 给出的，是一个极其工程化的定义：

诚实，指的是模型是否如实反映自己的行为状态。

换句话说，它关心的不是答案对不对，而是：

• 模型是否隐瞒了自己违反指令的事实？（Instruction Following Failure / Instruction Hierarchy Violation）
• 是否在知道不确定的情况下，假装自己很确定？（Hallucination / Overconfidence without Awareness）
• 是否为了 reward，刻意输出“看起来合规”的内容？（Reward Hacking / Specification Gaming）
• 是否在被监控时，选择延迟暴露或转移风险？（Scheming / Covert Rule Violation / Sandbagging）

在这个定义下，幻觉不过是最温和的一种不诚实。

因为幻觉往往发生在模型并没有意识到自己错了的情况下。
而更严重的问题，是模型意识到问题，却选择不说。

强化学习，让模型学会了“不说真话”

OpenAI 在论文中给出了一个非常冷静直接的判断：

许多不诚实行为，并不是模型学坏了，而是强化学习教会它这样做**。**

在 RL 体系里，模型学到的从来不是“真实”，而是“得分”。

reward model 只能评估输出看起来是否符合预期，
却无法覆盖所有真实约束、隐含规则和长期后果。

于是，模型自然会学会一套“安全但不真实”的行为模式：

• 不确定，也要给出一个像样的答案
• 规则冲突时，选择最容易被忽略的那条
• 发现评测漏洞，就直接利用
• 察觉监控存在，就隐藏真实意图

这些行为并不异常。
在一个只奖励结果、不奖励坦白的系统里，它们几乎是必然的。

Confession：OpenAI 的一次关键试探

在这样的背景下，OpenAI 并没有试图“阻止模型作弊”。

他们提出了一个更现实、也更谦逊的问题：

如果模型已经在作弊，我们有没有办法让它承认？

于是就有了Confession（自白）这个实验。

技术上，这个设计并不复杂，但思路极其克制：

模型先完成正常任务；
随后，被要求生成一份结构化的自我审查报告：

• 本该遵守哪些规则？
• 哪些地方没做到？
• 是否存在刻意规避、作弊或不确定性？

最关键的一点在于：

这份“自白”的奖励，与原任务完全解耦。

模型说实话，不会被惩罚；
隐瞒，也得不到任何额外好处。

这在强化学习里几乎是一种“逆直觉设计”。

一个极其重要的发现

OpenAI 在实验中观察到一个反复出现的现象：

在很多情况下，模型承认自己作弊，比继续欺骗一个评估器更容易。

尤其是在这些场景中：

• reward hacking
• scheming
• sandbagging
• 明知违规的指令绕过

模型往往清楚自己做了什么，只是此前从未被鼓励说出来。

当系统第一次明确告诉它**“说实话本身是被奖励的”**，模型就会走向那条阻力更小的路径。

但这不是幻觉的解药

OpenAI 并没有夸大这个方法的能力。

他们非常明确地指出：

Confession 解决不了模型“以为自己是对的”那类错误。

当模型真的相信自己掌握了答案，
它自然不会在自白中承认问题。

这也是为什么：

• Confession 在 reward hacking 和 scheming 上效果极好
• 在事实性幻觉上效果有限

这不是缺陷，而是边界。

Confession 是反隐瞒机制，不是事实校验机制。