《On the consistent reasoning paradox of intelligence and optimal trust in AI:The power of ‘I don’t know’》

一致性推理悖论（Consistent Reasoning Paradox）：任何试图模仿人类智能并进行一致性推理的AI都会不可避免地出现错误/产生幻觉（生成错误但看似合理的答案）。这些错误不仅仅是偶然的，而是在某些问题上会无限次发生。CRP的提出促使我们重新思考AI系统在模仿人类智能时的局限性，并探索如何构建更可信赖的AI系统。

CRP的核心观点：
1、一致性推理与错误的不可避免性：CRP指出，任何试图进行一致性推理的AI都会不可避免地出现错误。这些错误在某些问题上会无限次发生，而检测这些错误比解决原问题更难。这意味着，AI在模仿人类智能时，必须面对这种内在的局限性。
2、可信赖AI的设计原则：为了构建可信赖的AI，系统必须能够在无法确定答案时说“I don’t know”。这需要AI隐式计算一个新的概念，即“I don’t know”函数，这是目前现代AI所缺乏的。通过引入这一功能，AI可以避免生成错误答案，从而提高其可信赖性。
3、人工通用智能（AGI）的行为特点：CRP还揭示了AGI的行为特点。AGI不能“几乎确定”自己是正确的，要么100%确定，要么完全不确定。此外，AGI可能会给出正确答案，但无法总是提供正确的逻辑解释。这一发现对AGI的设计和应用具有重要的指导意义。
4、图灵测试与一致性推理的关系：为了通过图灵测试并被认为是真正的AGI，AI系统必须具备一致性推理能力。然而，这种能力也带来了人类般的易错性。CRP表明，通过图灵测试的AI系统在处理等价问题时，仍然会面临一致性推理带来的挑战。
5、数学与递归理论的结合：论文结合了递归理论和随机算法的新技术，解决了证明CRP的关键问题，建立了数学分析、递归理论和可证明性理论的新连接。这一创新不仅丰富了理论研究的工具箱，也为实际应用提供了新的思路。

https://arxiv.org/pdf/2408.02357

https://mp.weixin.qq.com/s/Yllya5LbdVyI3ofHNmBIIQ