《On the consistent reasoning paradox of intelligence and optimal trust in AI:The power of ‘I don’t know’》

一致性推理悖论（Consistent Reasoning Paradox）：任何试图模仿人类智能并进行一致性推理的AI都会不可避免地出现错误/产生幻觉（生成错误但看似合理的答案）。这些错误不仅仅是偶然的，而是在某些问题上会无限次发生。CRP的提出促使我们重新思考AI系统在模仿人类智能时的局限性，并探索如何构建更可信赖的AI系统。

CRP的核心观点：
1、一致性推理与错误的不可避免性：CRP指出，任何试图进行一致性推理的AI都会不可避免地出现错误。这些错误在某些问题上会无限次发生，而检测这些错误比解决原问题更难。这意味着，AI在模仿人类智能时，必须面对这种内在的局限性。
2、可信赖AI的设计原则：为了构建可信赖的AI，系统必须能够在无法确定答案时说“I don’t know”。这需要AI隐式计算一个新的概念，即“I don’t know”函数，这是目前现代AI所缺乏的。通过引入这一功能，AI可以避免生成错误答案，从而提高其可信赖性。
3、人工通用智能（AGI）的行为特点：CRP还揭示了AGI的行为特点。AGI不能“几乎确定”自己是正确的，要么100%确定，要么完全不确定。此外，AGI可能会给出正确答案，但无法总是提供正确的逻辑解释。这一发现对AGI的设计和应用具有重要的指导意义。
4、图灵测试与一致性推理的关系：为了通过图灵测试并被认为是真正的AGI，AI系统必须具备一致性推理能力。然而，这种能力也带来了人类般的易错性。CRP表明，通过图灵测试的AI系统在处理等价问题时，仍然会面临一致性推理带来的挑战。
5、数学与递归理论的结合：论文结合了递归理论和随机算法的新技术，解决了证明CRP的关键问题，建立了数学分析、递归理论和可证明性理论的新连接。这一创新不仅丰富了理论研究的工具箱，也为实际应用提供了新的思路。

https://arxiv.org/pdf/2408.02357

https://mp.weixin.qq.com/s/Yllya5LbdVyI3ofHNmBIIQ

1、概念定义
《技术之外：社会联结中的人工智能》凯特·克劳福德
第五章 情感
情感：从面相学到摄影
一组稳定的、离散的、有限的标签，人类可以使用它对面部照片进行分类，以及一个用于生成测量值的系统，该系统声称，能够将展现内心世界的艰巨任务，从艺术家和小说家的凌乱视野中解放出来，并将它们置于一个可被实验室、公司以及政府使用的理性的、可知的和可衡量的规则中。
对埃克曼理论的诸多批评
埃克曼方法的基本循环递归路径：首先，他假设在实验中使用的照片中的面部表情一定没有文化污点，因为它们得到了普遍认可。同时，他的结论是这些面部表情是普遍认可的，因为它们没有文化污点。
在情绪研究领域，研究人员对情绪究竟是什么还没有达成共识。什么是情绪，它们如何在我们体内形成和表达，它们的生理或神经生物学功能可能是什么，它们与刺激的关系如何，甚至如何定义它们，所有这一切都仍然是尚未解决的科学问题。

“1.3.4 定义/语言的变化/模糊性/局限”

2、数据
“所有形式的数据充满了各种潜在的意义、无法解决的问题和矛盾”
1）数据中的偏见
第四章 分类
循环逻辑系统
“认知机制”​：需要观察历史上的不平等模式是如何影响资源和机会的获取，进而对数据产生影响的。这些数据随后被提取，并被用于可进行分类和模式识别的技术系统，从而产生被认为是客观的结果。结果是产生了一种统计学上的循环形态：一种自我强化的歧视机器，以技术中立为幌子，放大了社会不平等。
偏见的多重定义
用于训练机器学习系统的每个数据集，无论是在有监督还是无监督机器学习的背景下，无论是否在技术上被视为“有偏见”​，都包含一种特定的世界观。创建训练集，即是将一个几乎无限复杂和多变的世界，固定为一个由被谨慎分类的数据点组成的分类体系，这个过程包含了内生性的政治、文化与社会选择。通过关注这些分类，我们可以窥见内置于AI世界架构中的各种形式的权力。
2）测量工具及方法的有限性

3、模型
统计学家博克斯(George Box)：“所有模型都是错的，但是有一些是有用的（All models arewrong, some are useful）。”

4、预测
未来是无法预测的，只能给出可能发生结果的概率。使用AI会在一定程度上提高预测可能发生结果概率的准确性。由于以上1、2、3的限制，AI的提升也是有限度的。
问题：随着AI的广泛使用，会不会带来 “1.1.2.4 进化中的创新” 的减少（限制了搜索空间）？

1、复制 + 变异 + 选择

《点燃理性的火焰》克里斯特·斯图马克
第十章　人类起源之争：进化论、神创论和反科学
智能设计
同时掷出20个骰子，它们都是6点的概率是（1/6）^20：1/3,656,158,440,062,976。但进化的原理并非如此。想象你每次扔的时候，可以把所有得到6点的骰子放在一边。第一次也许得到了3个6点，现在抛出剩下的17个骰子，也许只得到一个6点，把它放在一边，然后抛出剩下的16个骰子，如此往复。大概只要花几分钟就能得到20个6点，而这其实就是进化的过程：每次进步一点点，利用每一点进步的优势。微小的变化发生了，有利的变化被选择保留。

2、涌现、共生、自组织、自催化、自适应

《从热力学第二定律到第四定律：关于物理、生命、信息、认知的大统一理论》Rod Swenson
https://mp.weixin.qq.com/s/8iZILEjALp5Yd_jAHaqqFg
自催化：贝纳德对流是“自催化动力” (autocatakinetic，ACK) 系统的一个成员，这个术语比历史上常用来指代同一类系统的“自组织系统”（self-organizing system）或“耗散结构”（dissipative structure）术语定义得更精确。自催化动力系统是这样一种实体，其在经验上源于一组非线性（循环因果）关系（称作构成关系（constitutive relations）），并由这组关系所构成，该实体的组成成分在持续的协同运动中不断耗散或分解环境中的势能 (资源)，并以之维持“自身”的存在。

最大熵产生定律（law of maximum entropy production，LMEP），也称热力学第四定律：一个系统（世界）将在满足约束的条件下选择所有可选路径中使势能最小化或熵最大化的速度最快的路径或路径组合。
第四定律本身并没有直接谈到自发秩序构建，但结合第二定律的平衡方程，很容易推导出普遍的秩序构建原理，即：

• 如果 热力学第四定律或LMEP成立（世界会选择……速度最快的路径）
• 并且如果 有序流能比无序流更快地产生熵（第二定律的平衡方程）
• 那么 只要有机会，世界就将从无序中选择有序
  

自适应层级组织
《穿越小径分岔的花园：赫伯特·西蒙和他的科学迷宫》第十三章 人工的科学家
“复杂性的结构” (The Architecture of Complexity) 赫伯特·西蒙 1962年
如果进化是自然的基本机制，那么层级就是它的启发式。
自适应系统能够把行为单元组装成“稳定的二级组件”​，这是一个因式分解成子问题的分析过程的反向过程。这个组装过程对于在一切环境下从简单到复杂的生成都是基础性的。如果承认这种稳定的二级组件存在，那么复杂生命和复杂行为的进化几乎不可避免。
科学知识按照层级来组织，不是因为简化为原则是不可能的，而是因为大自然是按层级来组织的，每一层级的模式可以从对下面很多层的细节的抽象中最清楚地辨别出来。世界几乎可以被分拆，就是我们能够在系统周围画出边界的原因。如果系统内部元素与系统外部元素的相互作用持续得与系统内部元素之间的相互作用一样长，那么它们就是同一个系统的组成部分。
世界的层级结构的一个重要结果就是，尽管关于世界的完整知识是不可能得到的，但让我们成功地适应环境的知识是可得的。当然，这种知识不易取得，因为甚至有限的相关子系统集合都可能复杂到惊人的程度，尤其当子系统本身就是自适应的，并因而能够改变自己的行为以应对观察者的行动。完美的知识是不必要的。知识就算是局部的也很有价值。
所感觉的世界与所作用的世界之间的区别，决定了自适应有机体生存的基本条件。有机体必须在所感觉的世界中的目标和所作用的世界中的行动之间发展出相关性​。有机体可以理解世界，因为复杂系统的层级结构让简洁描述当前状态和目标状态成为可能。与此同时，有机体的行为程序（模拟自然的选择性搜寻过程的启发式程序）使它能够让现有的手段适应其目的的实现过程。
状态描述和过程描述之间的相关性是所有自适应有机体机能的基础，也是有目的地作用于环境的能力的基础。​
​

传统教育体系的目标是快速培养大量的、满足标准工作质量的熟练社会人：
1、学习/记忆知识。
2、重复练习形成学习方法。

《从拔尖的陷阱到掌控的反噬》
https://mp.weixin.qq.com/s/nggJT46jUfXNgEZyZVc8hQ
优绩主义、泰勒教学模式、抢跑——过程（评价系统）成了目标本身，做题家总是在揣摩出题人的心思；固化/僵化了学习的方法，失去了“确立目标的能力”。“人的真正成长需要一种否定性的力量”。

AI时代需要新的教育体系：
1、建立、保持兴趣的能力，以保持不断建立新的阶段性目标的动力。
2、确立目标的能力：阶段性目标的建立与创新的能力。
3、实现目标的能力：复杂环境下的学习/分析新问题的能力（创新能力）、使用工具（建立创新的基础层次）的能力、团队协作能力。