《On the consistent reasoning paradox of intelligence and optimal trust in AI:The power of ‘I don’t know’》

一致性推理悖论（Consistent Reasoning Paradox）：任何试图模仿人类智能并进行一致性推理的AI都会不可避免地出现错误/产生幻觉（生成错误但看似合理的答案）。这些错误不仅仅是偶然的，而是在某些问题上会无限次发生。CRP的提出促使我们重新思考AI系统在模仿人类智能时的局限性，并探索如何构建更可信赖的AI系统。

CRP的核心观点：
1、一致性推理与错误的不可避免性：CRP指出，任何试图进行一致性推理的AI都会不可避免地出现错误。这些错误在某些问题上会无限次发生，而检测这些错误比解决原问题更难。这意味着，AI在模仿人类智能时，必须面对这种内在的局限性。
2、可信赖AI的设计原则：为了构建可信赖的AI，系统必须能够在无法确定答案时说“I don’t know”。这需要AI隐式计算一个新的概念，即“I don’t know”函数，这是目前现代AI所缺乏的。通过引入这一功能，AI可以避免生成错误答案，从而提高其可信赖性。
3、人工通用智能（AGI）的行为特点：CRP还揭示了AGI的行为特点。AGI不能“几乎确定”自己是正确的，要么100%确定，要么完全不确定。此外，AGI可能会给出正确答案，但无法总是提供正确的逻辑解释。这一发现对AGI的设计和应用具有重要的指导意义。
4、图灵测试与一致性推理的关系：为了通过图灵测试并被认为是真正的AGI，AI系统必须具备一致性推理能力。然而，这种能力也带来了人类般的易错性。CRP表明，通过图灵测试的AI系统在处理等价问题时，仍然会面临一致性推理带来的挑战。
5、数学与递归理论的结合：论文结合了递归理论和随机算法的新技术，解决了证明CRP的关键问题，建立了数学分析、递归理论和可证明性理论的新连接。这一创新不仅丰富了理论研究的工具箱，也为实际应用提供了新的思路。

https://arxiv.org/pdf/2408.02357

https://mp.weixin.qq.com/s/Yllya5LbdVyI3ofHNmBIIQ

1、概念定义
《技术之外：社会联结中的人工智能》凯特·克劳福德
第五章 情感
情感：从面相学到摄影
一组稳定的、离散的、有限的标签，人类可以使用它对面部照片进行分类，以及一个用于生成测量值的系统，该系统声称，能够将展现内心世界的艰巨任务，从艺术家和小说家的凌乱视野中解放出来，并将它们置于一个可被实验室、公司以及政府使用的理性的、可知的和可衡量的规则中。
对埃克曼理论的诸多批评
埃克曼方法的基本循环递归路径：首先，他假设在实验中使用的照片中的面部表情一定没有文化污点，因为它们得到了普遍认可。同时，他的结论是这些面部表情是普遍认可的，因为它们没有文化污点。
在情绪研究领域，研究人员对情绪究竟是什么还没有达成共识。什么是情绪，它们如何在我们体内形成和表达，它们的生理或神经生物学功能可能是什么，它们与刺激的关系如何，甚至如何定义它们，所有这一切都仍然是尚未解决的科学问题。

“1.3.4 定义/语言的变化/模糊性/局限”

2、数据
“所有形式的数据充满了各种潜在的意义、无法解决的问题和矛盾”
1）数据中的偏见
第四章 分类
循环逻辑系统
“认知机制”​：需要观察历史上的不平等模式是如何影响资源和机会的获取，进而对数据产生影响的。这些数据随后被提取，并被用于可进行分类和模式识别的技术系统，从而产生被认为是客观的结果。结果是产生了一种统计学上的循环形态：一种自我强化的歧视机器，以技术中立为幌子，放大了社会不平等。
偏见的多重定义
用于训练机器学习系统的每个数据集，无论是在有监督还是无监督机器学习的背景下，无论是否在技术上被视为“有偏见”​，都包含一种特定的世界观。创建训练集，即是将一个几乎无限复杂和多变的世界，固定为一个由被谨慎分类的数据点组成的分类体系，这个过程包含了内生性的政治、文化与社会选择。通过关注这些分类，我们可以窥见内置于AI世界架构中的各种形式的权力。
2）测量工具及方法的有限性

3、模型
统计学家博克斯(George Box)：“所有模型都是错的，但是有一些是有用的（All models arewrong, some are useful）。”

4、预测
未来是无法预测的，只能给出可能发生结果的概率。使用AI会在一定程度上提高预测可能发生结果概率的准确性。由于以上1、2、3的限制，AI的提升也是有限度的。
问题：随着AI的广泛使用，会不会带来 “1.1.2.4 进化中的创新” 的减少（限制了搜索空间）？

1、复制 + 变异 + 选择

《点燃理性的火焰》克里斯特·斯图马克
第十章　人类起源之争：进化论、神创论和反科学
智能设计
同时掷出20个骰子，它们都是6点的概率是（1/6）^20：1/3,656,158,440,062,976。但进化的原理并非如此。想象你每次扔的时候，可以把所有得到6点的骰子放在一边。第一次也许得到了3个6点，现在抛出剩下的17个骰子，也许只得到一个6点，把它放在一边，然后抛出剩下的16个骰子，如此往复。大概只要花几分钟就能得到20个6点，而这其实就是进化的过程：每次进步一点点，利用每一点进步的优势。微小的变化发生了，有利的变化被选择保留。

2、涌现、共生、自组织、自催化、自适应

《从热力学第二定律到第四定律：关于物理、生命、信息、认知的大统一理论》Rod Swenson
https://mp.weixin.qq.com/s/8iZILEjALp5Yd_jAHaqqFg
自催化：贝纳德对流是“自催化动力” (autocatakinetic，ACK) 系统的一个成员，这个术语比历史上常用来指代同一类系统的“自组织系统”（self-organizing system）或“耗散结构”（dissipative structure）术语定义得更精确。自催化动力系统是这样一种实体，其在经验上源于一组非线性（循环因果）关系（称作构成关系（constitutive relations）），并由这组关系所构成，该实体的组成成分在持续的协同运动中不断耗散或分解环境中的势能 (资源)，并以之维持“自身”的存在。

最大熵产生定律（law of maximum entropy production，LMEP），也称热力学第四定律：一个系统（世界）将在满足约束的条件下选择所有可选路径中使势能最小化或熵最大化的速度最快的路径或路径组合。
第四定律本身并没有直接谈到自发秩序构建，但结合第二定律的平衡方程，很容易推导出普遍的秩序构建原理，即：

• 如果 热力学第四定律或LMEP成立（世界会选择……速度最快的路径）
• 并且如果 有序流能比无序流更快地产生熵（第二定律的平衡方程）
• 那么 只要有机会，世界就将从无序中选择有序
  

自适应层级组织
《穿越小径分岔的花园：赫伯特·西蒙和他的科学迷宫》第十三章 人工的科学家
“复杂性的结构” (The Architecture of Complexity) 赫伯特·西蒙 1962年
如果进化是自然的基本机制，那么层级就是它的启发式。
自适应系统能够把行为单元组装成“稳定的二级组件”​，这是一个因式分解成子问题的分析过程的反向过程。这个组装过程对于在一切环境下从简单到复杂的生成都是基础性的。如果承认这种稳定的二级组件存在，那么复杂生命和复杂行为的进化几乎不可避免。
科学知识按照层级来组织，不是因为简化为原则是不可能的，而是因为大自然是按层级来组织的，每一层级的模式可以从对下面很多层的细节的抽象中最清楚地辨别出来。世界几乎可以被分拆，就是我们能够在系统周围画出边界的原因。如果系统内部元素与系统外部元素的相互作用持续得与系统内部元素之间的相互作用一样长，那么它们就是同一个系统的组成部分。
世界的层级结构的一个重要结果就是，尽管关于世界的完整知识是不可能得到的，但让我们成功地适应环境的知识是可得的。当然，这种知识不易取得，因为甚至有限的相关子系统集合都可能复杂到惊人的程度，尤其当子系统本身就是自适应的，并因而能够改变自己的行为以应对观察者的行动。完美的知识是不必要的。知识就算是局部的也很有价值。
所感觉的世界与所作用的世界之间的区别，决定了自适应有机体生存的基本条件。有机体必须在所感觉的世界中的目标和所作用的世界中的行动之间发展出相关性​。有机体可以理解世界，因为复杂系统的层级结构让简洁描述当前状态和目标状态成为可能。与此同时，有机体的行为程序（模拟自然的选择性搜寻过程的启发式程序）使它能够让现有的手段适应其目的的实现过程。
状态描述和过程描述之间的相关性是所有自适应有机体机能的基础，也是有目的地作用于环境的能力的基础。​
​

传统教育体系的目标是快速培养大量的、满足标准工作质量的熟练社会人：
1、学习/记忆知识。
2、重复练习形成学习方法。

《从拔尖的陷阱到掌控的反噬》
https://mp.weixin.qq.com/s/nggJT46jUfXNgEZyZVc8hQ
优绩主义、泰勒教学模式、抢跑——过程（评价系统）成了目标本身，做题家总是在揣摩出题人的心思；固化/僵化了学习的方法，失去了“确立目标的能力”。“人的真正成长需要一种否定性的力量”。

AI时代需要新的教育体系：
1、建立、保持兴趣的能力，以保持不断建立新的阶段性目标的动力。
2、确立目标的能力：阶段性目标的建立与创新的能力。
3、实现目标的能力：复杂环境下的学习/分析新问题的能力（创新能力）、使用工具（建立创新的基础层次）的能力、团队协作能力。

人在进化过程中，逐步形成不同层次的目标/目的：
1、基因——复制、变异（发展)
2、载体——生存（基本生存能力 + 逐渐增长的预测判断能力）且健康长寿、对多模态IO的满足
3、意识/智能——学习、创新
前两个层次的目标是被动的，是经过长期进化积累形成的。随着载体的预测能力的增长，逐步形成第三层次。

这些层次的目的与马斯洛的需求层次的关系；与双因素模型的关系；供给与需求的有限性（物质约束）/无限性（无成本复制）。

“Theories of consciousness” Anil K. Seth & Tim Bayne
https://www.nature.com/articles/s41583-022-00587-4
中文： https://swarma.org/?p=35967

“An integrative, multiscale view on neural theories of consciousness.” Storm, Johan F., et al.
https://doi.org/10.1016/j.neuron.2024.02.004
中文： https://mp.weixin.qq.com/s/OM-_-yjfHuUug2OXcZEv4w

“A Review of Findings from Neuroscience and Cognitive Psychology as Possible Inspiration for the Path to Artificial General Intelligence”
神经科学和认知心理学的发现回顾：作为通往人工通用智能之路的可能启示
https://arxiv.org/abs/2401.10904
全译上 https://mp.weixin.qq.com/s/vTn-haVWeXvLhI5O1MVpeQ
全译下 https://mp.weixin.qq.com/s/FnxGJBaa0qPWM3w8EAkTZQ

Is the Emergence of Life an Expected Phase Transition in the Evolving Universe?
《生命的出现是宇宙演化中预期必然出现的相变吗？》
Stuart Kauffman and Andrea Roli
https://osf.io/6rvjs 
https://doi.org/10.31219/osf.io/6rvjs
https://arxiv.org/abs/2401.09514v1

1.1.1.3.1 生命的定义
一个非平衡的、自我复制的化学反应系统。具有以下三个特征：
1.集体自催化（催化闭合 Catalytic Closure）：一个具体例子是模板复制双链RNA序列，每条链都是合成另一条链的模板催化剂。
2.约束闭合（Constraint Closure）：系统通过构建自己的边界条件约束来构建自身，从而构建相同的边界条件的能量释放。细胞自我构建边界，计算机、汽车不会自行构建边界。细胞在释放能量时构建了非常边界条件，而能量构建了完全相同的边界条件。
3.空间闭合（Spatial Closure）：对应在通用构造函数中。物理体现的指令扮演着的双重角色：生命体用于构造通用构造函数的副本，其中构造物理指令的物理副本被构造，然后指令被插入其中。物理指令的双重作用恰恰构成了软件和硬件之间的区别。与此形成鲜明对比的是，活细胞通过自催化和约束闭合，专门构建自身。细胞不是需要单独指令的通用构造函数。元胞自动机模拟了一个可以无限进化的数字世界，具有自我催化和空间闭合的特征，却不具备约束闭合的特征。在元胞自动机中，即使在那些能够不断重复自身的规则中，如果在复制过程中，如果规则发生了改变，那系统由于缺少约束封闭，也会难以出现预适应的现象。

康德式整体（Kantian Wholes）：一个有组织的存在者具有部分为整体而存在，并通过整体而存在的属性。所有生物都是康德式的整体，它们为它们的部分而存在，并通过它们的部分而存在。生物体已经进化成嵌套的康德整体。原核生物是一阶康德整体。真核细胞是线粒体和叶绿体的共生体 是包含一级康德整体的二级康德整体。多细胞生物是包含二阶和一阶康德整体的三阶康德整体。

1.1.1.3.2 生命出现的必然性
根据生命的定义，生命是宇宙演化中预期必然出现的相变现象。
设N为节点数，连接节点的线数为L，比率L/N增加到 0.5 时，一个巨大的连接组件或网络出现了。增加系统中分子的数量和原子复杂度，反应与分子的比率增加，在系统中分子的某种复杂性和比率下，将出现一个集体自催化集，是一个一阶相变，其概率接近 1.0。通过该相变可以产生自我复制的分子系统，由此论证生命涌现的必然性。

1.1.1.3.3 进化的不可演绎性
进化生物圈持续创造了无法提前推断或确定的新相空间。
不同于牛顿范式下的无生命物理学，生命体诉诸功能是必要的。一旦我们定义了一个康德整体，其组件的“功能”是明确的。组件的功能是其因果关系的子集，是对维持整体带来的影响。因为零件的功能是其因果属性的子集，它维持整体，同一部分的功能可以改变。一些新的，未使用的，同一部分的因果属性的子集可以维持整体。这些被称为预适应。预适应不能被事先预测，是生物圈功能新颖性和开放式进化的源泉。生物圈的演化是一种不可演绎的结构，而不是必然的演绎。生物圈的进化没有任何规律。因此，我们不能使用集合论或任何基于集合论的数学：集合论的第一公理是扩展公理-“当且仅当两个集合包含相同成员的集合时，它们才相等”。此外，选择公理也失败了。我们不能使用基于集合论的数学——基本上是所有的数学——来推断生物圈的未来演化。我们不能仅仅用物理学来解释生物圈的演变。可遗传变异的自然选择作用于康德的整体，而不是直接作用于其部分。这种选择是向下的因果关系。在这里，解释性箭头指向上方。

《生命的出现是宇宙演化中预期必然出现的相变吗？》
https://mp.weixin.qq.com/s/py9OIu0sgTtj2d0G9xIUxw

《生命相变必然涌现，而演化则不可预期》
https://mp.weixin.qq.com/s/BPNonKtKFAeE4PEKgJppnQ
集体自催化集（Collectively Autocatalytic Sets）和相邻可能理论（Theory of the Adjacent Possible）

《纳瓦尔宝典》埃里克·乔根森
第五章　哲学
生命的意义和目的是什么？这个问题很大，我会给你三个答案。

第一个答案：生命的意义是一个私人问题。每个人都必须找到自己生命的意义。其他人（无论是佛陀还是我）给你的任何智慧听起来都像是胡说八道。从根本上说，每个人都必须自己去寻找答案，所以重要的不是答案，而是问题。你得坐下来深入思考，努力探究这个问题。寻找人生的意义可能需要几年甚至几十年。一旦找到令自己满意的答案，这个答案就会成为你生活的根基。

第二个答案：生命没有意义，生活没有目的。有人说：“人生如水上写字或以沙建房。”宇宙已经存在了100亿年，未来可能会继续存在700亿年。与宇宙的历史相比，你的生命相当于不存在——在过去的100亿年中并不存在，在未来的700亿年中也将不复存在。宇宙终将归于热寂。你做的任何事情都将烟消云散，你存在的一切痕迹都将无处可寻。人类终将灭亡，地球也会荡然无存。即使是移民火星的群体也会消失。无论你是艺术家、诗人、征服者、贫民，还是其他任何人，几代人过后，都不会有人记得你。总之，生命没有任何意义。归根到底，一个人必须创造自己人生的意义。
你必须想清楚：“生命只是一场戏，而我只是一个观众？”
“我做的事情是为了自我实现吗？”
“我对某种东西的渴望是因为其本身吗？”
所有这些都是你编造出来的意义。对宇宙来说，没有什么基本的内在目的或意义。如果有，在得知了这一意义之后，你就会接着问：“为什么这就是生命的意义？”正如物理学家理查德·费曼所说：“就好像一个东西被一只乌龟驮在背上，这只乌龟下面是一只更大的乌龟，再下面都是乌龟。一个问题总会带来另一个问题，‘为什么’会不断累积。任何一个答案都会引出另一个‘为什么’。”我不相信“永恒的来世”这类回答。仅仅因为在这个星球上生活了70年，你就能获得永恒的来世——我觉得这个说法毫无依据，荒谬至极。我觉得“来世”跟“前世”差不多。你还记得自己的“前世”吗？不记得了吧。“来世”也一样。在你出生之前，这个世界上并不存在一个“你”，你不关心任何事和任何人，包括你所爱的人，包括你自己，包括人类，包括人类是要移民火星还是留在地球上，包括是否有人工智能，等等。在你死后，这个世界上的“你”就消失了，你也不会在乎这些了。

第三个答案：这个答案有点儿复杂。根据我所阅读的科学领域的书籍（我的朋友写过相关主题的书），我拼凑出一些理论。也许人生有意义也有目的，但我要说的这个目的或许并不能令你满意。说白了，在物理学中，时间之箭来自熵。根据热力学第二定律，随着时间的推移，熵只会增加，不会减少，这意味着宇宙中的无序状态只会增加，集中的自由能只会减少。如果把人类或植物等任何一种生物或人类文明视为一个系统，这些系统就是在局部熵减。人类在局部熵减，因为我们有行动力。而在人类局部熵减的同时，整个地球在整体熵增，直到宇宙归于热寂。在宇宙热寂理论之下，你可以提出一些很有意思的解释，我也非常乐于看到。在热寂状态里，能量不再集中，万物都处于同等的能量水平。此时，万物归一，毫无二致。作为生命系统，我们所做的一切都是在推动宇宙加速达到热寂。创作艺术、研究数学、组建家庭、发明计算机、创建文明等等——所有这些更复杂的系统都在使宇宙加速达到热寂。你正在把我们推向“万物一体”的终极境界。

《科学之路：人、机器与未来》Yann LeCun（杨立昆）
意识属于“冗余”的AI特质，非但无益且可能有害，因此不是“造物者”（即人类）所重视的特质。如果从目的论的角度来说，人工智能永远都不会被人类主动赋予意识。没有人工意识，就没有必要有机器人三定律。
一个小魔法师控制不了自己创造出来的小怪兽。所有这些假设都是极不可能的。我们怎么会如此聪明地设计出一个超人类的智能机器，同时又如此愚蠢地赋予它荒谬至极的目标呢？我们会轻率到不采取一些保障措施吗？例如，为何不设计另一台超级智能机器，使其唯一目的就是阻止第一台机器呢？
没有社会结构，就没有统治体系。没有统治欲望也可以很聪明。统治的意愿与智力无关，更多的是睾丸素分泌的问题。只有当我们在智能机器中明确地建立了这种欲望时，它们才会渴望统治人类。我们为什么要这样做呢？

《别害怕终结者》杨立昆和托尼·泽特尔
AI系统试图统治人类的情景是不现实的，要实现统治，你需要有统治的动机。这种动机在人类以及一些其他社会性物种中存在，但在非社会性物种中并不存在，因此我们设计的AI系统也不会有这种动机。我们可以设计AI系统的目标，使它们非支配性、顺从或者遵循与人类整体最佳利益一致的规则。

1、《大语言模型无法实现具身智能的根本原因》Generating meaning: active inference and the scope and limits of passive AI
https://mp.weixin.qq.com/s/brSGlBFfDXIhmHtXydK3hQ
https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(23)00260-7?dgcid=raven_jbs_etoc_email

我们对语言符号含义的掌握并非源于我们处理自然语言的能力，而是源于我们通过采样和互动而积累的对生活世界的更基础的理解。想象一种外星生命形式，它与某些潜在现实的唯一联系是通过大量的文字：与隐藏的现实（我们的人类世界充满了猫、牧师、经济萧条、LLMs、选举等等）有着真实但复杂且有时不精确关系的物品。将这个存在对文字流的访问本身视为一种形态，一种感觉通道。外星人发现自己被迫尝试预测感官流中的下一个项目，推断出使其能够出色地完成这项工作的潜在模式。

对感知行为的著名描述将大脑描述为有机体与世界相互作用的生成模型，这与生成人工智能的当前进展表现出有趣的相似之处。然而，由于它们与有目的的、维持生命的感觉运动相互作用的控制作斗争，生物体的生成模型与身体和世界密不可分。与生成式人工智能学习的被动模型不同，它们必须捕捉并控制行动的感官后果。这使得实体主体能够以不断测试其最佳模型的方式干预他们的世界；这提供了坚实的基石，对于发展真正的理解至关重要。
• 我们通过将生成式人工智能与我们目前对生物体（被视为主动推理系统）的理解进行比较来讨论生成式人工智能的基础。
• 生成式人工智能和主动推理都基于生成模型，但它们以根本不同的方式获取和使用它们。生物体和主动推理主体通过与环境进行有目的的交互并通过预测这些交互来学习它们的生成模型。这为他们提供了核心理解和重要感，这是他们后续知识的基础。
• 生成人工智能领域越来越多地朝着多模态和具身化的方向发展。虽然可以通过预测视频以及耦合控制和语言输入来学习很多东西，但其后的智能体将无法控制他们的感觉运动体验，也无法与环境进行有目的的交流，无法进行有用的干预来支撑我们对事物的因果理解。未来的生成式人工智能可能会遵循相同的（仿生）方法，并在被动训练之前（或代替被动训练）学习与世界的具体接触中隐含的可供性。

“新生儿要做的第一件也是最基本的事情是什么？如果一个人认同自由能原理，那么它唯一要做的就是解决其外感受、本体感受和内感受的原因的不确定性。对沉浸在环境中的有知觉生物的感觉的解释必须区分自我（生物）和非自我（环境）。结构学习的首要任务是区分可以归因于自我的感觉的原因和那些不能归因于自我的感觉的原因。”——Karl Friston

2、《为什么用当前的数学构建不了真实的世界模型》
https://mp.weixin.qq.com/s/r0RRMZ_NZnRghHFHgEVILw
一个真实的世界模型应该是一个完整而准确的描述现实世界的模型，它应该包括了所有基本的组成部分和相互作用，能够准确地反映真实世界的各种现象和规律。这样的世界模型应该是基于大量的观察、实验和数据分析而建立的，能够预测和解释真实世界中的各种现象和事件。一个真实的世界模型应该是动态的，能够随着新的观察和实验数据的不断积累而不断完善和修正。它也应该是综合的，能够充分考虑不同领域和学科的知识和观点，以便更全面地理解和解释现实世界的复杂性。最重要的是，一个真实的世界模型应该是可靠和可验证的，它的预测和解释应该能够得到经验证实验的支持，能够被多个独立的研究团队不断重复和证实。
真实的世界模型应该包括：
– 物质实体
– 空间
– 时间
– 功能和行为
– 社会关系
– 观点和信念

当前的数学是一种抽象的工具，用于描述和解决各种现实世界中的问题。然而，由于现实世界是非常复杂和多变的，数学模型往往只能提供一种理想化的简化描述，而无法完全还原真实世界的复杂性和多样性。另外，数学模型的构建也受到数据的限制和误差的影响，因此无法完全准确地捕捉真实世界中的各种因素和变化。此外，真实世界还包括了许多非线性、非确定性、不可预测的因素，这些因素在数学模型中往往难以准确描述和模拟。因此，尽管数学在建立模型和解决问题方面具有强大的能力，但对于真实世界的复杂性和多样性，目前的数学工具还无法完全捕捉和表达。

3、《世界模型的基础：抽象与客体永恒性》 Above and beyond the concrete: The diverse representational substrates of the predictive brain
https://mp.weixin.qq.com/s/jhoGiEeaqos8Ar66cTVCpQ
https://cuhigginslab.com/wp-content/papercite-data/pdf/rossignac-milonetal2020a.pdf