https://stonetoss.com/

落榜维也纳艺术学院是在1907年10月，欧洲二战开始在1939年9月，之间有32年。

2015年Edge年度问题：“你如何看待会思考的机器？”
演化心理学创始人之一，人类学家约翰·图比（John Tooby）
https://mp.weixin.qq.com/s/9lKvySUE5kIyXfwVg3aJnw

像人类一样思考的机器是可能的，人自己就是一台会思考的机器。制造类人智能需要理解现有的类人智能，即我们需要探明构成大脑计算架构的演化程序特征。对这种架构的研究让我们意识到存在一个无形的，阻碍我们向真正人工智能迈进的壁垒：智能的铁律。

一种错觉似乎是不言而喻的：量变产生质变。我们会认为智能是任何存在或多或少都拥有的、某种特殊物质，存在者越是智能，它们所知道的也就越多。增强智能的王道就是不断增加这种明显同质（但难以弄明白）的智能物质——更多的神经元、晶体管、神经形态芯片等等。智能的铁律指出，让你在某事上显得聪明的程序，会让你在其他事情上变得愚蠢。铁律带来的坏消息是，不可能有什么通用智能的主算法等着被发现——换句话说，当晶体管数量、神经形态芯片或网络化贝叶斯服务器足够多时，智能就会出现。好消息则是，它告诉了我们智能是如何被设计出来的：用“白痴专家”（idiot savants，指在某方面是专家、天才，但其他方面一塌糊涂的人），智力的增长是通过将性质不同的程序加到一起，形成一种更大的神经生物多样性。每个程序都会提供它在其专有领域的独特天赋 [空间关系、情绪表达、传染性（contagion）、物体力学、时间序列分析] 。通过以半互补的方式将不同的白痴专家捆绑在一起，集体智慧的区域就会扩张，同时集体愚蠢的区域则会缩小（尽管从未消失）。宇宙浩瀚无垠，充满无限层级的丰富结构；大脑（或计算机）相比之下微不足道。为了调和这种尺度上的差异，演化筛选出了一些小到足以适合大脑，但又能产生巨大归纳回报的方法——超高效压缩算法（不可避免是有损的，因为有效压缩的关键之一就是舍去几乎所有东西）。

人工智能和生物智能的铁律揭示了一系列不同的工程问题。例如，架构需要汇集的是聪明才智，而不是愚蠢；因此，对于每个白痴专家（以及每组白痴专家的组合），架构都需要确定激活程序（或组合）所能解决的问题范围，这样才能让你更好，而不是更糟。由于不同的程序通常都有自己专有的数据结构，因此整合来自不同白痴专家的信息，需要构建通用的格式、接口和通讯协定。此外，程序抢占的相容规则（mutually consistent rules of program pre-emption）并不总是容易设计，因为只爬到悬崖半山腰的人只能经历到由视觉引起的坠落恐惧，和安全到达目的地这一需求间的冲突。

演化破解了这些难题，因为神经程序被自然选择不断地评估为控制系统——正如数学家科尔莫戈罗夫（Kolmogorov）所说的，“能够接收、存储和处理信息，从而利用信息进行控制的系统”。自然智能是为了控制行为而出现的，这对于理解自然智能的本质、理解它们与人工智能的区别至关重要。神经程序是在特定的任务环境中为特定目的而演化的；它们被评估为集成包，被捆绑在调节行为以产生后代的范围中。为了生存，它们不必演化出能够解决所有假设上可能计算问题的方法——而这就像是诱人却又不可能实现的塞壬，至今仍然引诱着那些人工智能实验室触礁。这意味着，演化只是探索了所有可能程序中的一个微小而特殊的子集；在这个子集之外，还有无穷无尽的新白痴专家，等待着被构想和创造。我们正生活在一个关键的时代，处于一个精心设计的智能正不断扩张的浪潮伊始——如果我们努力增加专家智能的数量，并将它们联网，使之成为能发挥作用的、相互理解的集体。我们也能和非人类的白痴专家集体配合，利用交织着演化的天才和盲目的思想，令人兴奋地解决智能问题。

人工智能想要什么？它们危险吗？像我们这样的动物是能够采取行动的动机性智能（motivated intelligences capable of taking action, MICTAs）。幸运的是，人工智能目前还不是MICTA。它们最多只有微不足道的动机；它们的动机与全面的世界图景无关；它们只能采取一系列有限的行动。我们在演化过程中遇到了某些适应性问题，于是我们的想象力将由灵长类动物支配的戏剧投射到人工智能身上，而这些与人工智能的本质格格不入。我们可以把它们从佛陀——无欲无求、被动沉思的智慧导师——转变为“MICTA”，充满欲望，能够行动，但那将是疯狂的。可以预见的危险并不是来自人工智能，而是来自那些已经触发了掠夺性支配程序的人类，他们正在部署越来越多的军用技术工具，通过造成破坏来赢得冲突。

《Consciousness in Artificial Intelligence: Insights from the Science of Consciousness》2023.08.22

https://arxiv.org/pdf/2308.08708.pdf

基于神经科学的理论，通过脑电图或磁共振成像检测到的人类大脑内部工作信号，可以得到“人具备意识”的结论。但这套成熟的方法无法用在算法上。于是他们基于认知神经科学的理论和认知，首先从当前的人类意识理论中提取有关有意识状态的核心特征，然后在AI的基础架构中寻找这些特征，以此寻求线索。
研究团队从当前多种意识相关的理论中提取了具体特征，包括：
1、循环加工理论 (Recurrent Processing Theory, RPT)：该理论认为，意识源于大脑通过“反馈循环”将经验传递，利用先前知识和连接来理解当前经验；
2、全局工作空间理论（Global Neuronal Workspace，GNW）：理论解释我们的大脑如何协调和处理同时发生的众多信息流。在这一理论中，意识被定义为类似于心理舞台上的聚光灯，决定我们关注什么和忽略什么；
3、高阶理论（Higher Order Thought theory, HOT）：这是一组理论，认为意识是对我们的思想和感觉进行实时感知的结果。在这里，意识被定义为能够“思考”；
4、注意图式理论（Attention Schema Theory, AST）：该理论解释意识是大脑引导我们的注意力到特定对象、思想、记忆和其他刺激的结果，同时过滤掉其他刺激。这一理论的关键元素是意识到我们的注意力是如何以及在何处被引导的能力；
5、预测加工理论（Predictive Processing, PP）：大脑基于过去经验准确预测和解释周围世界的能力。这对于设计能生成创意内容或解决复杂问题的AI模型来说尤为重要；
6、研究团队还制定了根据代理性评估AI的标准（Agency and embodiment），即做出有意识决策的能力，以及根据实体性在物理空间或相对于其他虚拟系统的具体化程度。

基于上述核心意识理论，研究团队制定了14个标准和具体的测量方法，然后按照这个清单评估人工智能模型。一个AI架构能够达到的指标越多，具备意识的可能性就越大。此研究的初衷是引发更多问题和讨论，并为探讨AI模型的意识问题提供一个起点。Robert Long（作者之一，joint first authors）：“这项工作为评估越来越具有人类特征的AI提供了一个框架。我们正在引入一种之前缺失的系统性方法。”

测试结果发现，市面上非常多模型在“循环加工理论”这个指标上完成较为出色，而ChatGPT则在“全局工作空间”方面表现突出。但总体来说，纳入测试范围的所有AI模型都只能完成少数几个指标，由此得出没有某一个模型能够形成自我意识。一方面，结果说明了现阶段的AI能力或许还没到能够形成意识的阶段；另一方面，在人为制造、训练AI模型的过程中，开发者并不会有意让AI全方面形成这些认知能力。Eric Elmoznino（作者之一）：“之所以没有人这样做，是因为目前尚不清楚它们对于任务是否有用。”

https://mp.weixin.qq.com/s/VfUM_y7DdShHwhbrdkzoqA

https://mp.weixin.qq.com/s/o30Hm0VlP9_glYf-KkDr8Q

2012年，科学家们发表了《剑桥意识宣言》，指出有足够的证据可以推断“所有哺乳动物和鸟类，以及包括章鱼在内的许多其他生物”都经历过有意识的状态：没有新皮质（neocortex）似乎并不妨碍生物体体验情感状态。综合证据表明，非人类动物具有意识状态的神经解剖学、神经化学和神经生理学基础，并有能力表现出自主行为（intentional behaviours）。《宣言》使用了“意识状态的基础”（substrates of conscious states）一词，这意味着关于意识的来源已经有了确定的发现。《宣言》确定了新的五个意识标志，拥有其中一些标志足以证明意识的存在：同源脑回路（homologous brain circuits）；人工刺激脑区，在人类和其他动物身上引起相似的行为和情感表达；支持注意力、睡眠和决策等行为或电生理（electrophysical）状态的神经回路；镜像自我认知；以及致幻药物对不同物种的类似影响。所有这五个标志都是衍生标志，是对人类和高等哺乳动物进行科学研究的结果。

大多数哲学家接受（或倾向于接受）成人有意识（95.15%）、猫有意识（88.55%）、新生儿有意识（84.34%）和鱼有意识（65.29%）。对苍蝇（34.52%）、蠕虫（24.18%）和植物（7.23%）持怀疑态度的人要多很多。39.19%的受访哲学家认为未来的人工智能系统会有意识。请注意，这项调查是在ChatGPT被介绍给大众之前进行的。

https://mp.weixin.qq.com/s/msm_Giw-qgVLhQ7j2m_ygA

2.1.2.6.1 《何为良好生活：行之于途而应于心》陈嘉映

第一章　伦理与伦理学
4　人该怎样生活
伦理学探讨人生问题，探讨生活的意义何在。我们通常不会凭空去考虑人该怎样生活，我们通常考虑的，是在一件一件具体的事情上该怎样做。但这种具体的考虑有时不仅是在决策论意义上做一个决定，不仅是在特定条件下盘算、权衡，而是要连同我是个什么样的人，即我的整体生活旨趣一起来考虑。这时候，考虑的内容就不再只是在一件具体的事情上我该怎样做，而是连到了我该怎样生活这个更一般的问题上。我在一件具体的事情上考虑自己该怎样做，并不意味别人也该这样做，但我该怎样生活这样一个看似属于我自己的问题则必然联系于人该怎样生活这样的一般的问题。人该怎样生活根本没有一个对人人都有效的或有意义的答案。

第四章　实践中的目的
1　目的—手段
伦理学会谈论人生的总体目的——我们的所有活动都是为这个总体目的服务的。通俗看法常把快乐或幸福视作人生的总目的，前面讲到的功效主义就这样认为。谈论整体人生的目的或人生的意义与谈论做某件事的目的和意义有不同的含义，如果坚持从目的来谈论整体人生，那么，人生的总目的大概应当被理解为各种行为所含诸目的之间的协调一致。

第六章　快乐、幸福、良好生活
7　幸福
亚里士多德：“善好乃万物之所向。”
马斯洛的五个层次里，次高一层的需求是获得尊重的需求。“获得尊重”这话比较庄严，打鱼的、卖杂货的，未见得从这个角度去体会自己的需求。我们倒是体会得到一种需求：被需求的需求。我有时甚至会想，这是人最大的需求。
8　自我实现
海德格尔：“此在总是我的此在”。阿拉斯戴尔·麦金太尔：“我的生活故事始终内嵌在那些我由之获得自身身份的共同体的故事之中”（《追寻美德》）。一个人所做的事情使他充盈，支持他站立，自我由之实现。
从自我实现来看待生活，有助于抵制不断追求狭隘物欲的宣传。近世的道德理论，无论功效主义的最大幸福还是康德的绝对命令，都是从普遍原理出发的，往往全然忽略个人生活旨趣。若我们在反思伦理道德问题时不忘个人生活旨趣，伦理学的整体面貌会变得相当不同。自我实现的思路尤其有助于纠正流俗功效主义的一种看法，仿佛我们凡事所要的只是好的结果。行动不只带来结果，它同时也是自我实现的过程。没有什么快乐比自己努力而获得成就带来的快乐更光彩，更持久。
自我实现的标准千差万别，形形色色的人去实现其形形色色的自我。你的自我不同于我的自我。

2.1.2.6.2 哲学就是认识你自己的活动

新京报文化客厅 陈嘉映
文字：https://www.bjnews.com.cn/culture/2019/06/29/597153.html
视频：https://www.bilibili.com/video/BV1t4411g7RK/?p=1&vd_source=9fba2d004c7cf5c1e26c11619b35e0c1
我们可以说“认识你自己”是哲学的一个主题，甚至夸张一点，也可以说是“哲学的主题”。哲学就是认识你自己的活动。

• 在苏格拉底的意义上，“认识你自己”等于说认识人在世界中的位置。
• 奥古斯丁、卢梭、海德格尔（存在主义）、胡塞尔（现象学）：“从此，自我成为一个问题”。
• “你怎么认识你自己”是你自己的一部分。每一种认识，包括你的真正自我认识都在改变你自己。——复馈
• 我们只能在已知中发现未知。只有问自己要答案，也就是说你只能在你已知的东西中，发现未知的东西（这个挖掘也跟这个世界有关）。只有你知道你到底要什么，但是你现在就困惑了，你在问自己我到底要什么，你问其他任何人都不知道。庄子：“知其已知者”。维特根斯：“科学是在不断地了解未知的世界，而哲学一直是在收集回忆”。

《心智探奇：人类心智的起源与进化》史蒂芬·平克
06心智能力3：情感
情感源于进化

智能是遇到障碍仍能继续追寻目标。如果没有目标，智能的概念就毫无意义。
但最顶端的目标来自哪里，那个其余部分的程序都试图获得的最终目标到底是什么？对有机体来说则是来自自然选择。大脑努力地将它的主人置于促使其祖先繁殖的同样的环境中去。（大脑的目标不是自身的繁殖；动物并不知道生命的事实，而知道生命事实的人类则愉快地用避孕的方式颠覆了这一目标。）预设在智人这个解决问题的社会种群中的目标不仅仅是“4个F”（神经科学家保罗·迈克·利恩Paul Mac Lean的著名但却不正确的三脑一体理论，底层是基底节或爬虫类脑驱动4个F：Feeding、Fighting、Fleeing和Fuck），其目标清单的顶端是了解环境和确保与他人合作。
这就是为什么我们具有情感的原因。动物不能同时追寻所有的目标。如果一个动物又饿又渴，它不会站在浆果丛和湖之间的中间位置，这个动物一定会在一段时间里将身体付诸一个目标，这个目标也必须与实现它们的最佳时刻相匹配。情绪是给大脑确立最高级别目标的机制。一种情绪一旦在恰当的时刻被引发，就会引出大量的子目标和再下一级的子目标，我们将其称为思考和行动。由于这些目标和手段被编织成了一个嵌套了多重子目标网状控制结构，所以思考和感觉之间并没有明确的区分界限，思考也并不必然先于感觉或反之（尽管心理学界对孰先孰后争论了一个世纪）。例如，恐惧是由一种迫在眉睫的伤害信号所引发的，如捕猎者、悬崖或一个口头威胁。它导致了逃跑、克服或改变危险的短期目标，并将此目标优先考虑，令我们产生一种紧迫感。它还引发了未来避免险境和记住我们从中获得教训的长远目标，这是由我们所感受到的压力解除状态引发出来的。许多人工智能研究人员相信，机器人要想做到自由行动（相对于那些拴在装配线上的机器人而言），就需要被设计加入一些类似情绪的程序，使它们在任何时候都知道下一步该怎么做。而这些机器人是否会感知到这些情绪则是另一个问题。
恐惧还触发了一个使我们的身体准备好行动的按钮，它被称之为“战斗或逃走”反应。每种情绪都会调动人的心智和身体，来应对认知生态中生存和繁衍的某个挑战。其中有一些挑战是以有形的方式提出的，情绪的应对也采取了明确的方式，如恶心、恐惧和对自然之美的欣赏。另一些挑战则是由人造成的。对付人的挑战，人们能以其人之道还治其人之身。情绪通过进化来应对其他人的情绪。

幸福跑步机

追求幸福是一项不可剥夺的权利，《独立宣言》将其列入不言自明的真理之列。杰里米·边沁（Jercemy Bentham）写到，最大多数人的最大幸福即是道德的基础。每个人都想快乐几乎是被循环论证过的废话，但它提出了一个关于人之所以为人的深刻问题：人们奋力争取的到底是什么。
起初，幸福对于生物合理性（更确切地说，是使得我们所演化环境合理的状态）来说似乎是锦上添花。当我们健康、衣食无忧、舒适、安全、运气好、博学、受人尊重、有人相伴和被爱时，我们会更幸福。另一方面，这些奋力争取的目标有助于繁衍。幸福的功能将是开动脑筋寻求达尔文式适应的密钥。当我们感到不幸福时，我们为这些会令我们幸福的东西而努力；当我们感到幸福时，我们保持现状。
问题是，多大程度的合理性值得人们去努力奋斗呢？冰川期的人们如果因为缺少野营火炉、青霉素和来福猎枪，或是为这些东西而不是为一个更好的洞穴和长矛努力奋斗的话，那他们就是在浪费光阴。即使对于现代的原始觅食人群而言，在不同的时间和地点也会有差异很大的生活标准。若能避免好高骛远，追求幸福应当根据当前环境中通过合理努力所能获得的回报而加以相应的调整。我们怎么知道什么就是能够被合理获得的呢？一个良好的信息来源就是看他人已经得到了什么。如果他们能得到，那么或许你也能得到。古往今来，许多致力于研究人类处境的观察者都会发现一项人间悲剧：当人们觉得自己比邻居更好时，他们就会觉得快乐；当觉得自己不如邻居时，就感觉不快乐。安布罗斯·比尔斯（Ambrose Bierce）：“幸福，名词。一种缘于注视他人痛苦而产生的愉悦感受。”
关于目标可实现性的另一个重要线索是你现在的幸福程度。你现在所拥有的是可实现的（根据定义），还有可能做得更好一点。演化理论预测，一个人所能做到的应当超过他所掌握的，但不会超过太多。这就有了关于幸福的第二个悲剧：人们适应环境（无论好坏）的方式，就像他们的眼睛适应阳光或黑暗的方式一样。中立地看，改进就是幸福，丧失就是悲惨。一位同事：“有时我希望自己还年轻，然后我就记起来年轻时同样也没什么好的。”迈尔斯和蒂耶纳指出，财富就像健康：没有它会令你觉得悲惨，但拥有它并不保证幸福。
幸福的悲剧还有第三种表现：负面情绪（恐惧、悲伤、焦虑等）的数量通常是正面情绪的两倍，损失比相同程度的获得能被更敏锐地感觉到。这种不对称性已经在实验室中得到了证实，实验显示，人们愿意下更大的赌注来避免一个确定的损失，更甚于改善一个确定的获得，这体现在人们的情绪在想象一项损失（例如，在课程成绩上或与异性的关系上）时跌落的幅度，要比想象一个等价收获时情绪得到改善的幅度更大。心理学家蒂莫西·凯特勒（Timothy Ketelaar）指出，幸福显示着资源在提升身体健康方面的效果。随着情况变好，健康程度的提升显示出回报递减的效果：更多的食物是好的，但顶多只是好到某一点。但随着情况变糟，健康程度的下降会令你出局：食物不足的话，你就会死。让情况变得无限糟糕的方式有许多种（如感染、饿死、被吃掉、坠落等），却没有很多方式能够显著改善情况。这使得可能的损失比可能的收获更值得关注；令我们不高兴的事情要比令我们高兴的事情更多。
研究快乐心理学的早期演化心理学家唐纳德·坎贝尔（Donald Campbell）将人类描述为处在一个“幸福跑步机”上，福利的改进在长期上并没有令我们更加快乐。确实，对幸福的研究听起来往往只是对传统价值观的布道。有数据显示，快乐的人并不是那些富有的、有特权的、强壮的或相貌好看的，而是那些有配偶、有朋友、有宗教信仰和有一份具有挑战性且有意义的工作的。这一研究结果可能被过分强调了，因为他们只代表平均水平，而不能说明单个个体，况且原因和结果很难被分开：结婚可能会使你快乐，但快乐可能会使你结婚并维持婚姻状态。但坎贝尔在总结这项研究时总结了几千年来充满智慧的男男女女的状况：“对幸福的直接追逐会导致不幸的生活。”

《心智探奇：人类心智的起源与进化》史蒂芬·平克
04心智能力1：视觉感知
光、影、形：景物转图像3法则

任何投映都可能来自无限多个物体，所以没办法只从一个映像来恢复其形状。我们的形状分析器在碰运气，在给定视网膜图像的情况下，令我们看到最有可能的世界的状态：贝叶斯定理（Bayes’ Theorem），也就是一种能由搜集到的证据进而计算出特定假设为真的概率的方法。

我们的三维线性分析器是如何使用贝叶斯定理的呢？要找出某一线段究竟是由哪一物件所产生的，它会先假设特定物件是真的出现在该场景里，再找出最有可能产生所见线段的物体——也就是计算出每个物件产生证据的可能性；此外该物件还得在一般的状况下最有可能出现才行——也就是事前概率够大。我们的三维线性分析器推测，正如爱因斯坦曾这样谈论上帝一样，这个世界是难以捉摸的，但它没有恶意。

因此，形状分析器一定具备了一些有关映像的概率信息（从各个角度物体如何显现）和一些有关世界的概率信息（这个世界有着什么样的物体）。一些关于映像的概率确实是非常好的。从理论上讲，一分硬币能够投映为很细的一条线，但只有从它边上看的时候才会这样。绝大多数视角会使这枚硬币投映出一个椭圆形。形状分析系统假设目前双眼所见的只是一个一般的场景并依此来估测各种假设为真的概率。一幅图像中的一堆线可以进一步缩小概率，例如，一组平行或近乎平行的线不可能是巧合。还有许多其他的经验法则告诉我们，真实世界里的哪些形状会投射出特定的影像标记。小T、Y、角、箭头、鱼尾纹状、平行弯曲线是各种直边、角、直角和对称形状的印记。一个机灵的形状分析器可以运用反向思维，来推测它们在真实世界中是什么。

为什么日常生活中人们似乎常常表现的是“概率盲”呢？
05心智能力2：推理
3个好工具：逻辑、算术和概率

生命每一轮都要掷骰子。结果很难做出预测，特别是对未来的预测。但在一个由所有规律构成的宇宙中，根据过去所做的决策要比随意做出的决策更好些。这一直是对的，所以我们估计有机体，特别是像人类这样偏好信息的物种，会进化出关于概率的敏锐直觉。概率论的创始者们，像逻辑学的创始者们一样，想象他们只是在将常识感觉形式化了而已。
但为什么用马西莫·皮亚泰里·帕尔马里尼（Massimo Piattelli-Palmarini）的话来说，人们似乎常常是“概率盲”呢？许多数学家和科学家总是悲叹，普通人在对风险推理时表现出数学盲。心理学家阿莫斯·特沃斯基和丹尼尔·卡尼曼积累了大量巧妙的事例，来展示人们对机遇的直觉把握似乎蔑视了概率理论的基本规则。人们对飞机的恐惧更甚于汽车，特别是在看（听）到一条残酷的飞机失事新闻之后，尽管统计数字表明，乘飞机要比坐汽车安全得多。人们害怕核能，尽管更多的人因煤炭而残疾或丧命。每年有1000名美国人死于意外触电，但摇滚明星们没有发起活动来降低家居电压。人们鼓噪着要禁止杀虫剂残余和食品添加剂，尽管它们与植物为了阻止虫子吃掉自己而进化出的数千种自然致癌物相比，致癌的风险微乎其微。人们觉得如果轮盘在一排中黑的那里已经停下过6次，它就该在红的那里停了，尽管轮子没有记忆，每次旋转也都是独立的。一大批自封的预言家形成一个产业，在股票市场的随机游走中产生幻觉倾向。许多社会心理学家都得出结论，认为心智并没有被设计为掌握概率法则，尽管这些法则和规律支配着宇宙。大脑能够处理有限量的信息，所以它没有来计算定理，而是使用粗略的经验法则。
一个法则是：一个事件越令人记忆深刻，它就越可能发生（我能记得最近一次恐怖的飞机失事，所以飞机不安全）。另一个是：一个人越类似于一种刻板印象，他就越可能属于那种类别（比较我对于银行出纳员心理意象的符合程度，琳达更符合我对于女权主义银行出纳员的心理意象，所以她就更可能是女权主义银行出纳员）。有着渲染性标题的畅销书籍对坏消息的传播更加推波助澜：《非理性：内心中的敌人》《注定的幻觉：理性的错误如何控制我们的心理》《我们如何知道不是如此：日常生活中人类理性的谬误》。我们作为直觉统计学家的不称职解释了人类愚蠢和偏见的沮丧历史。

在一个概率的世界中，人类心智真的对概率这么不在意吗？人们的理性不像它最初看起来的那么傻。
首先，许多风险选择不过就是选择，这毋庸置疑。心理学家格尔德·吉仁泽（Gerd Gigerenzer）、考斯迈德斯和托比指出，即使当人们对于概率的判断远离事实时，他们的推理也可能是有逻辑的。任何心理能力都不是万能的。以著名的“赌徒谬误”为例：期望硬币正面的连续出现会增加硬币反面出现的机会，仿佛硬币有记忆而且希望公平一样。许多事件有着一段有生命的历史，一个随时间推移而发生的变化着的概率，统计学家们称之为风险函数。一个精明的观察者应当犯赌徒谬误，并尝试根据事件现有的历史来预测它下一次的发生，这种统计被称为时间序列分析。所以在除了赌场之外的任何世界，赌徒谬误都几乎不是一个谬误。如果只是因为我们无法赢过赌博机器，就把我们对事物直觉式的预测能力称作谬误，这显然是一种因果倒置的说法。赌博机根据定义就是设计来击败我们直觉预测的。
其次，“概率”有许多含义。一个是长期的相对频率。表示单个事件概率的数字只是作为主观置信的估计才有意义，但心智或许进化成将概率认为是长期的相对频率，而不是对单个事件置信的数字表示。我们祖先最接近概率的含义是对未知有效性的传闻，再加上像“很可能”这样的粗糙标签。我们祖先可用的概率一定来自他们自身的体验，其意思是指频率：多年以来，长紫斑的人中8个有5个第二天就死掉了。吉仁泽、考斯迈德斯、托比和心理学家克劳斯·费尔德勒（Klans Fiedler）注意到，医疗决策问题和琳达问题询问的是单个事件概率：这个病人患病的可能性有多大，琳达是银行出纳员的可能性有多大。习惯于相对频率的概率本能会觉得这种问题超过它的势力范围了。只有一个琳达，她要么是银行出纳员，她要么不是。“她是银行出纳员的概率”是不可计算的。所以他们交给人们这个难解的问题，但表述方式确是以频率的方式，不是单个事件概率。1000个美国人中有一个患这种疾病；1000个健康人中有50个检验呈阳性；我们收集了1000个美国人；有多少个检验呈阳性的人们患有这种疾病？100个人符合对琳达的描述，有多少人是银行出纳员？有多少是女权主义银行出纳员？
许多概率理论家下结论说，单个事件的概率无法计算，这个过程都是毫无意义的。吉仁泽认为，因为频数是有讨论余地的，而人们在直觉上没有给单个事件赋予数字，它们有可能转换到第三种，非数学的概率定义，“由刚刚提供的信息确保的信念程度”。
概率概念最后一个令人费解的问题是一种认为世界是呈现稳定状态的信念。概率的推导是基于昨天搜集的频率而在今天做出的预测。但那是那时，这是现在。你怎么知道世界在这间歇中没有变化？在一个变化的世界中是否有任何概率的信念是真正理性的，概率哲学家对此进行着辩论。街上的路人更看重一件最近的逸闻，而不是一沓统计数据，这并不一定就是不理性。
一个没有概率本能的物种是学不会这门课程的，更不用说发明它了。当人们得到的信息格式与他们自然思考概率的方式相吻合时，他们可以做到惊人的准确。宣称我们的物种是概率盲的论断，是不大可能真实的。

《AI的理解困境：如何走出数据世界，触达生命的理解？》https://mp.weixin.qq.com/s/SflTQWcS3EcKKggL-bxTkw

大脑的基本功能并非积累知识，而是控制与世界的信息和能量交换。重要的不是知识的真实性，而是与世界交互形成的稳定性。生物系统的另一特征是在与世界进行互动之前，它们能够基于已掌握的关于动态世界的知识，做出行动预测。这种预测是主动推理（active inference）的基石。简单来说，主动推理认为，生命有机体的感觉行为根本上是预测性的，而非随机被动触发，它建立在能够提供可供性的世界模型之上。

成功的生成模型能够从数据中提炼出“潜在变量”，这些变量有助于解释和预测。主动推理的生成模型涉及理解，并将潜在变量作为概念形成的基础。沟通的意义不在于语音和语法，而在于由沟通所预测的社交互动。生成式AI只是继承了人类沟通所得的语言财产，却不会参与到赋予语词意义的互动过程中。生命有机体通过与环境的感觉运动互动来学习，这种互动不仅包括了统计规律的掌握，更重要的是，它们是形成知觉和对世界因果关系理解的基础。生命有机体的注意力涉及到主动选择，其目的是消除不确定性。

生物体在演化的过程中，面对自然选择的压力，发展出了独特的生成模型。例如，我们的情绪，根植于对某物“对我重要”的感觉，这为我们对世界的理解赋予了意义和目的。在主动推理的过程中，我们利用内感受预测（interoceptive prediction）来引导行动和决策，这种方式使我们能够更好地理解行动的原因和后果。这种内感受、外感受和本体感受的预测共同促进了生命体的生存。因此，与生成型AI不同，生物的主动推理模型自然形成，不需要像AI那样不断地学习细粒化的、繁复的任务。

真正的“理解”以能动性理解为基础，建基于有机体通过感觉运动与世界进行的互动，建基于生命有机体对环境的主动探索。更深层次的理解需要分离性表征的能力，即使这种能力仍然基于与世界的互动，但它能够超越当前情境，进行规划、想象和讨论抽象概念。这种理解不仅仅是对统计规律的掌握，而是对世界模型背后的因果结构的深入认识。

更可靠的方式可能是先让AI系统在与现实世界的互动中学习，然后再将这些经验与大型语言模型结合。

Pietro Perona：如果你是一个非实体，你所需要做的就是进行预测，而相关性对于预测来说是非常有用的。但是，如果你需要改变世界，也就是说你需要进行干预，那么你就需要理解事物的原因。因此，因果关系是至关重要的，它使得推理成为可能。

Enlightenment Now: The Case for Reason, Science, Humanism, and Progress
史蒂芬·平克
19　对人类生存的威胁
19.1 高估灾难本身就是一场灾难
一个弊端是，对于灾难风险的错误警报本身就是一种灾难。培植对于假想灾难的恐惧，不仅不能保卫人类的未来，反而更能使人类陷入危险境地。
第二个弊端在于人类的资源、脑力和焦虑是有限度的，我们不能为所有事情担忧。如果两个场景都可以同样地进行想象，它们发生的可能性或许就会被认为是相同的，那么人们对真正危害的担忧就不会高于对科幻情节的担忧。这就会导致最危险的事情发生，“这些残酷的事实会让任何通情达理的人都得出一个结论——人性糟糕透了。”如果人性真的糟糕透了，为何还要做出牺牲来减少潜在的风险呢？

19.4 人工智能是我们的末日吗？
“机器人启示录”（Robopocalypse）建立在对于智能的错误理解上，这种错误理解更多地应归因于“伟大的存在之链”以及尼采主义者的权力意志论，而非现代科学的理解。在该概念中，智能是一副全能的、能够实现各种愿望的药剂，各种生命体拥有的剂量不一。人类拥有的智能比动物多，并且未来的人工智能计算机或机器人（可以说“一个AI”，AI被当作可数名词）拥有的智能比人类多。由于我们人类使用了中等天赋剂量来驯养或铲除天赋剂量不如我们的动物，并且技术先进的社会已经奴役或毁灭了技术处于原始状态的社会，接下来超级聪明的人工智能也会这样对待我们。由于人工智能的思考速度比我们快上百万倍，并且可以使用超级智能来迭代提高自身的超级智能（意志的突然觉醒），从它启动的那一刻起，我们再也无法阻止它。
然而，这个情节就好比我们担心由于喷气飞机超越了鹰的飞行能力，有一天它就会从天上突然冲下来袭击牛羊一样。对人工智能的第一重误解在于混淆了智能与动机，也就是混淆了信仰与欲望、推断与目标、思考与渴望之间的区别。即便我们真的发明了超人类智能机器人，它们为何会想要奴役自己的主人或掌控世界？智能是使用创新手段达成目标的能力。但目标与智能并无关联：聪明不等于欲望。碰巧的是，智能在智人的系统里是达尔文自然选择的产品，是一种天然的竞争过程。在人类的大脑里，智能与统治对手、积累资源这样的目标是结合在一起的（不同人种的程度不同）。将某些灵长类动物边缘脑的回路与智能的特性进行混淆是错误的。
人工智能系统是设计而非进化而来，复杂系统中并没有什么规则认为智能必须转换为无情的征服者。
第二重误解在于将智能当作无穷无尽的能力，当作一种能够解决任何问题的神奇万能药。这个谬误会引发荒谬的问题，比方说人工智能什么时候能够“超越人类的智能”，并且人们还会幻想出一种终极的、拥有神一般全知全能的“通用人工智能”（AGI）。智能是一种奇巧的装置：它拥有在不同领域实现不同目标的知识，或者说拥有用这些知识进行编程的软件模块。
人类具有寻找食物、结交朋友、吸引配偶、养育孩子、去全世界旅行并且追求其他属于人类的爱好和消遣的能力。计算机或许被设计用于解决部分这些问题（例如识别人脸）但并非全部（例如吸引配偶），并且可以用于解决部分人类无法解决的问题（例如模拟气候或对数以百万计的账簿进行分类）。这些问题是不相同的，需要用来解决问题的知识也就不同。
现实生活中的认知者必须通过接触某个领域以获取关于混乱世界里物体和人类的信息。理解力并不遵从摩尔定律，知识是通过阐述解释并在现实中进行测试而得来的，并不是通过越来越快的运算速度就能得到。吸收互联网上的信息也不会获得无限的知识：大数据依然是有限的数据，而世界的知识是无限的。
即便通用人工智能试图锻炼掌控的意志，但若没有人类的合作，它仍将是无能的“缸中之脑”。真实世界不可能让数字天启顺利发生。
由于邪恶机器人的前景过于朦胧而不足以严肃对待，生存卫士们又发现了一个新的数字末日。这个故事情节不是以弗兰肯斯坦这个科学怪人或希伯来传说中的魔像为基础的，而是基于可以让我们许三个愿望的妖怪，第三个愿望必须使前两个失效，并且以迈达斯国王将他所碰触的一切（包括食物和家人）变为金子的故事为基础。这种危险性有时称为价值对齐问题（Value Aligment Problem），是指我们为人工智能设立了目标，然后只能站在一旁看它残酷而专心致志地执行它对目标的理解，而我们的利益可能将被摧毁。如果我们为人工智能设立目标，让它维持水坝后边的水位，它或许会让一个城镇被洪水淹没，却毫不关心溺水的人。如果我们让它完成制造回形针的目标，它或许会把一切触手可及的东西变成回形针，包括我们的财产和身体。如果我们要求它实现人类幸福的最大化，它或许会为我们静脉注射多巴胺，或重设我们的脑回路，让我们带着最幸福的状态坐在缸中；如果它在训练中获得了幸福等于笑脸照片的概念，它会在整个银河系铺上上万亿张纳米级别的笑脸照片。
幸运的是，这些情节是自相矛盾的。它们依赖于几个前提条件：（1）人类拥有极高的天赋，可以设计出全知全能的人工智能，但同时人类又非常白痴，以至于在未经测试的情况下赋予人工智能掌控世界的权力；（2）人工智能聪慧至极，懂得如何转化元素以及如何重设脑回路，但又愚笨到犯下误解的基本错误而造成极大的破坏。要想具备选择最能满足目标行动的能力，并不是工程师加上一个附件就行，这需要智能。根据语境解读说话者意图的能力也是智能。
如果我们能够抛开意识觉醒、数字傲慢、即时全知以及对宇宙间任何一个分子完美掌控的幻想，人工智能可以算作另外一种技术。它历经循序渐进的开发，能够满足多种情境，在应用前要经过测试，并且为了效率和安全性要不断进行调整。用人工智能专家斯图尔特·罗素的话来说，“在民用工程领域，没有人会谈论‘建造永不坍塌的大桥’，他们仅仅会说‘建造大桥’。同样，只有益处而没有危险的人工智能才是人工智能。”

《An Informational Approach to Emergence》
涌现的信息论方法：跨层级涌现与演化的信息存储方式
https://link.springer.com/article/10.1007/s10699-022-09883-9
https://mp.weixin.qq.com/s/xwn1Ak5QeA6W7Lb_8eL1wQ

涌现（emergence）可描述为不同组织层次实体之间的关系，包括空间（不可还原性）和时间（进化论）维度，在物质、生命、认知和文化等主要层次间的转变。每一个主要层次都依赖于较低层次，不仅是其构成要素，而且是以某种更形式的方式。所有这些演化转变（evolutionary transition）都与某种形式记忆的出现有关，包括遗传记忆、神经记忆或语言记忆，这意味着它们具有信息性质。本文提出一种信息系统的一般模型，可理解为是从有限库存中提取的模块组合。有些信息系统是“语义”模型，即再现环境特征。这其中一部分也是“知情的”（informed），即具有从记忆子系统中衍生出来的模式。可以列出知情系统（informed systems）的层次和组成部分，为知识组织提供一个总体框架。

2.2.1.6.1 《人工智能本身并非危险的根源，关键在于掌控它的人》

Kenan Malik Nov 26, 2023

《AI doesn’t cause harm by itself. We should worry about the people who control it》

https://www.theguardian.com/commentisfree/2023/nov/26/artificial-intelligence-harm-worry-about-people-control-openai

为什么人类会持续研发可能威胁到人类生命的机器。但讽刺的是，尽管人们对 AI 的恐惧有些夸张，这种恐惧本身却带来了新的危险。对 AI 的过度警惕源于对其能力的高估。ChatGPT 在预测文字序列的下一个词方面表现得非常出色，以至于我们误以为它能像真人一样进行交流。然而，它并不能像人类那样真正理解这些词汇的含义，对现实世界的了解也微乎其微。我们距离实现“人工通用智能 (AGI)”的梦想还有很长的路要走。“AGI 不会在短期内出现”，IBM 软件工程首席科学家 Grady Booch 指出，即使是在我们的后代子孙的一生中也不太可能实现。

对于那些认为 AGI 即将成为现实的硅谷人士来说，他们认为应通过“对齐”来保护人类，即确保 AI 符合人类的价值观和意图。这看似是一种理性的方式，可以减轻 AI 可能带来的伤害。但当我们开始探讨“人类价值”究竟是什么、谁来定义它们，以及在价值观冲突时该如何应对时，问题就变得复杂了。

社会价值观总是众说纷纭，尤其是在当今这个社会共识标准瓦解、普遍不满情绪高涨的时代。我们与技术的关系本身就引发了热烈的讨论。对一些人来说，限制网络仇恨或保护人们免受网络伤害比维护言论自由或隐私权更为重要。这正是英国最新在线安全法案的出发点。这也是许多人对这项法律可能带来的后果感到担忧的原因。

接下来是虚假信息的问题。几乎没人会质疑虚假信息是一个日益严重的问题，它对民主和信任提出了挑战。但如何应对这一问题，依然存在很大争议。尤其是许多管理虚假信息的尝试，最终增强了科技公司监管公众的能力。

同时，算法偏见这一议题也揭示了对“价值对齐”观点的弱点。算法容易对少数群体产生偏见，原因正是它们过于贴合人类价值观。AI 程序是基于充满歧视的人类世界数据训练而成的。这些偏见也渗透到 AI 软件中，不论是在刑事司法系统、医疗保健、面部识别还是招聘等领域。

我们面临的问题并非机器将来可能对人类行使权力——这种看法基于目前的发展是无依据的猜测。真正的问题在于，我们生活在一个少数人利用权力损害多数人的社会，而技术成为了巩固这种权力的工具。对于掌握社会、政治和经济权力的人来说，将问题描绘为技术问题而非社会问题，把问题推到未来而非现在，似乎更合理。

几乎所有对人类有益的工具也可能造成伤害。但它们很少自行造成伤害，更多是因为被人类，尤其是那些掌权者，错误使用。这才是我们讨论 AI 时应当关注的起点，而非那些关于人类灭绝的虚构恐惧。

2.2.1.6.2 Q*的可能架构

Jim Fan Nov 25, 2023

/twitter.com/DrJimFan/status/1728100123862004105

Q*的可能架构（与AlphaGo的架构类比）

首先，要理解搜索与学习这两大 AI 技术的强大结合，我们得回溯到 2016 年，重新审视 AlphaGo 这一 AI 历史上的辉煌成就。它主要由四大要素构成：

1. 策略神经网络（Policy NN，Learning）：它的任务是选择好的行动，通过估计每个行动带来胜利的可能性。
2. 价值神经网络（Value NN，Learning）：这部分负责评估棋盘 状况，并预测围棋中任何合法位置的胜负。
3. 蒙特卡洛树搜索（MCTS，Search）：它代表着“Monte Carlo Tree Search”。这个过程利用策略神经网络模拟出从当前位置开始的多种可能的移动序列，然后综合这些模拟的结果来决定最有希望的行动。它是一个“慢思考”环节，与大语言模型（LLM）快速采样 Token 的方式形成对比。
4. 真实信号：这是推动整个系统运作的动力源泉。在围棋中，这个信号非常简单，就是一个二元标签“谁获胜”，由固定的游戏规则决定。可以将其视为维持学习进程的能量源泉。

那么，这些组件是如何相互协作的呢？

AlphaGo 通过自我对弈不断进步。在这个过程中，策略神经网络和价值神经网络通过迭代不断优化：随着策略在选择动作方面变得更加高效，价值神经网络从中获取更优质的数据进行学习，并反过来为策略提供更精准的反馈。更强的策略也帮助蒙特卡洛树搜索探索出更优的策略。通过这种方式，AlphaGo 自我提升能力，形成了一个巧妙的“永动机”。仅仅模仿人类的数据，AI 是无法达到超人类水平的。

Q* 的四大组件：

1. 策略神经网络：这将是 OpenAI 最强大的内部大语言模型（GPT），负责实际执行解决数学问题的思维过程。
2. 价值神经网络：另一个 GPT，用于评估每个中间推理步骤的正确性概率。OpenAI 在 2023 年 5 月由 Ilya Sutskever、John Schulman和 Jan Leike发布的论文《Let’s Verify Step by Step》https://arxiv.org/abs/2305.20050提出了“过程监督奖励模型”（PRM），它对思考链中的每一步提供反馈。相比之下，“结果监督奖励模型”（ORM）只在最终对整体输出作出判断。ORM 是强化学习从人类反馈（RLHF）中原始奖励模型的表达，但它太过粗略，无法适当评估长回应的各个子部分。换言之，ORM 不适合分配信用。在强化学习文献中，我们将 ORM 称为“稀疏奖励”（仅在最终给出），而 PRM 则是“密集奖励”，能够平滑地引导大语言模型朝我们期望的行为发展。
3. 搜索：与 AlphaGo 的离散状态和动作不同，大语言模型操作的是“所有合理字符串”的更复杂空间。因此，我们需要新的搜索方法。在思考链（CoT）的基础上，研究社区已经发展了一些非线性 CoT：
   -思考树（Tree of Thought）：实际上是将 CoT 与树搜索结合起来：《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》https://arxiv.org/abs/2305.10601
   – 思考图（Graph of Thought）：将树变成图，就能得到一个更复杂的搜索操作符：《Graph of Thoughts: Solving Elaborate Problems with Large Language Models》https://arxiv.org/abs/2308.09687
4. 真实信号：有几种可能性：
   (a) 每个数学问题都伴随着一个已知答案。OpenAI 可能已经收集了大量来自现有数学考试或竞赛的语料。
   (b) ORM 本身可以作为真实信号，但这样可能会被利用，从而“失去能量”维持学习。
   (c) 形式验证系统，如 Lean 定理证明器，可以将数学问题转化为编码问题，提供编译器反馈：https://lean-lang.org/?continueFlag=27325f54ee7afed8c4c49f19baa03e6c就像 AlphaGo 一样，策略大语言模型和价值大语言模型可以通过迭代相互促进改进，也可以在可能的情况下从人类专家的注释中学习。更优秀的策略大语言模型将帮助思考树搜索探索出更佳策略，反过来为下一轮迭代收集更好的数据。
   Demis Hassabis曾提到 DeepMind 的 Gemini 将使用“AlphaGo 风格的算法”来加强推理能力。即便 Q* 不是我们想象中的那样，谷歌肯定会用自己的方式紧随其后。

需要指出的是，我所描述的仅仅是关于推理的部分。并没有说 Q* 在写诗、讲笑话 Grok（@grok）或角色扮演方面会更有创造力。提升创造力本质上是人类的事情，因此我相信自然数据仍会胜过合成数据。

2.2.1.6.3 《苦涩的教训》

Rich Sutton Mar 13, 2019
http://www.incompleteideas.net/IncIdeas/BitterLesson.html?continueFlag=27325f54ee7afed8c4c49f19baa03e6c

《The Bitter Lesson》

70 年人工智能研究给我们的最大启示是：依赖计算能力的通用方法最终表现最佳，而且优势明显。这背后的主要原因是摩尔定律，也就是计算成本持续以指数级下降。大部分 AI 研究都是在假设计算资源固定的情况下进行的（在这种情况下，利用人类知识几乎是提升性能的唯一途径），但实际上，在稍长于一般研究项目的时间里，可用的计算资源会大幅增加。研究者为了在短期内取得突破，尝试利用自己对特定领域的人类知识，但从长远看，关键在于计算能力的利用。这两者原本不必相互冲突，但在实践中却常常如此。投入其中一个领域的时间，就意味着在另一个上的缺失。此外，人们在一种方法上的投资也会形成心理承诺。而基于人类知识的方法往往会使系统变得复杂，不利于利用计算能力的通用方法。有很多例子显示 AI 研究者是如何迟迟才领悟到这个苦涩的教训，回顾这些案例非常有启发性。

以计算机国际象棋为例，1997 年击败世界冠军卡斯帕罗夫的方法主要是深度搜索。当时，大多数计算机国际象棋研究者对此表示失望，因为他们更倾向于利用对棋局特殊结构的人类理解。然而，当一个简单但基于搜索的方法，结合特殊的硬件和软件展现出巨大效能时，这些基于人类知识的研究者并不愿意接受失败。他们认为，尽管这次“蛮力”搜索获胜，但它并非一种通用策略，也不是人类下棋的方式。这些研究者本希望基于人类理解的方法能够取胜，对实际结果感到失望。

在计算机围棋的发展中，也出现了类似的模式，只是晚了 20 年。最初的努力都在于避免搜索，尽可能利用对游戏的人类理解和特殊特征，但一旦有效地应用了大规模搜索，这些努力都显得微不足道，甚至有害。在这个过程中，通过自我对弈学习价值函数（在很多其他游戏中也是这样，甚至包括国际象棋，尽管在 1997 年首次击败世界冠军的程序中学习的作用并不大）也非常关键。自我对弈学习和一般学习，就像搜索一样，能够充分利用大量计算资源。在计算机围棋和国际象棋中，研究者最初都是试图利用人类的理解来减少搜索的需要，但最终通过接受搜索和学习才取得了巨大的成功。

在语音识别领域，1970 年代由 DARPA 赞助的一场早期比赛就是一个例子。参赛者包括使用了大量人类知识（如对单词、音素、人类声道的理解）的特殊方法，而另一边则是更依赖统计和大量计算的新方法，基于隐马尔可夫模型（HMMs）。最终，基于统计的方法战胜了基于人类知识的方法。这导致了自然语言处理领域的一次重大转变，随着时间的推移，统计和计算开始成为该领域的主导。深度学习在语音识别中的兴起是这一趋势的最新体现。深度学习方法更少依赖人类知识，使用更多的计算资源，并通过在大型训练集上的学习，极大地提升了语音识别系统的性能。与游戏领域相似，研究人员总是试图创建一个按照他们自己的思维方式工作的系统，但这种尝试最终证明是逆向而行，不仅浪费了大量的研究时间，而且在大量计算资源可用并找到有效利用方法的情况下，这种尝试显得更是多余。

计算机视觉领域也经历了相似的发展模式。早期的方法试图通过搜索边缘、广义圆柱体或 SIFT 特征来处理视觉问题。但在今天，这些方法都被淘汰了。现代的深度学习神经网络仅使用卷积和某些类型的不变性概念，取得了更好的表现。

这是一个重要的教训。作为一个领域，我们还没有完全吸取这一教训，仍在重蹈覆辙。为了识别并避免这种错误，我们必须理解其吸引力所在。我们必须领悟到，试图构建一个基于我们认为自己思考方式的系统是行不通的。苦涩的教训源于这样的历史观察：
1) 人工智能研究者经常试图将知识融入他们的代理中；
2) 这在短期内总是有益的，也让研究者感到满足；但
3) 从长远来看，这种做法会导致进步停滞，甚至阻碍进一步的发展；
4) 真正的突破性进展最终是通过一个相反的方法实现的，这个方法基于通过搜索和学习来扩大计算的规模。这种成功带有苦涩，往往消化不良，因为它是在人类中心化方法之上取得的。

从这个苦涩的教训中，我们应该明白通用方法的巨大力量，即那些随着计算能力的增长而持续扩展的方法。在这方面，似乎可以无限扩展的两种方法是搜索和学习。

苦涩教训中的另一个关键点是，人类心灵的实质内容极其复杂，不可能简化；我们应该放弃试图简单化地理解心灵内容，如空间、物体、多重代理或对称性等概念。这些都是外部世界中任意而复杂的部分，不应该成为我们构建的核心；相反，我们应该构建的是那些能够发现并捕捉这种任意复杂性的元方法。这些方法的核心在于它们能够找到良好的近似，但寻找这些近似的过程应该由我们的方法来完成，而不是我们亲自动手。我们希望 AI 代理能像我们一样具有发现能力，而不是仅仅包含我们已有的发现。将我们的发现直接构建进去，只会使我们更难看清如何实现发现的过程。