Enlightenment Now: The Case for Reason, Science, Humanism, and Progress
史蒂芬·平克
19　对人类生存的威胁
19.1 高估灾难本身就是一场灾难
一个弊端是，对于灾难风险的错误警报本身就是一种灾难。培植对于假想灾难的恐惧，不仅不能保卫人类的未来，反而更能使人类陷入危险境地。
第二个弊端在于人类的资源、脑力和焦虑是有限度的，我们不能为所有事情担忧。如果两个场景都可以同样地进行想象，它们发生的可能性或许就会被认为是相同的，那么人们对真正危害的担忧就不会高于对科幻情节的担忧。这就会导致最危险的事情发生，“这些残酷的事实会让任何通情达理的人都得出一个结论——人性糟糕透了。”如果人性真的糟糕透了，为何还要做出牺牲来减少潜在的风险呢？

19.4 人工智能是我们的末日吗？
“机器人启示录”（Robopocalypse）建立在对于智能的错误理解上，这种错误理解更多地应归因于“伟大的存在之链”以及尼采主义者的权力意志论，而非现代科学的理解。在该概念中，智能是一副全能的、能够实现各种愿望的药剂，各种生命体拥有的剂量不一。人类拥有的智能比动物多，并且未来的人工智能计算机或机器人（可以说“一个AI”，AI被当作可数名词）拥有的智能比人类多。由于我们人类使用了中等天赋剂量来驯养或铲除天赋剂量不如我们的动物，并且技术先进的社会已经奴役或毁灭了技术处于原始状态的社会，接下来超级聪明的人工智能也会这样对待我们。由于人工智能的思考速度比我们快上百万倍，并且可以使用超级智能来迭代提高自身的超级智能（意志的突然觉醒），从它启动的那一刻起，我们再也无法阻止它。
然而，这个情节就好比我们担心由于喷气飞机超越了鹰的飞行能力，有一天它就会从天上突然冲下来袭击牛羊一样。对人工智能的第一重误解在于混淆了智能与动机，也就是混淆了信仰与欲望、推断与目标、思考与渴望之间的区别。即便我们真的发明了超人类智能机器人，它们为何会想要奴役自己的主人或掌控世界？智能是使用创新手段达成目标的能力。但目标与智能并无关联：聪明不等于欲望。碰巧的是，智能在智人的系统里是达尔文自然选择的产品，是一种天然的竞争过程。在人类的大脑里，智能与统治对手、积累资源这样的目标是结合在一起的（不同人种的程度不同）。将某些灵长类动物边缘脑的回路与智能的特性进行混淆是错误的。
人工智能系统是设计而非进化而来，复杂系统中并没有什么规则认为智能必须转换为无情的征服者。
第二重误解在于将智能当作无穷无尽的能力，当作一种能够解决任何问题的神奇万能药。这个谬误会引发荒谬的问题，比方说人工智能什么时候能够“超越人类的智能”，并且人们还会幻想出一种终极的、拥有神一般全知全能的“通用人工智能”（AGI）。智能是一种奇巧的装置：它拥有在不同领域实现不同目标的知识，或者说拥有用这些知识进行编程的软件模块。
人类具有寻找食物、结交朋友、吸引配偶、养育孩子、去全世界旅行并且追求其他属于人类的爱好和消遣的能力。计算机或许被设计用于解决部分这些问题（例如识别人脸）但并非全部（例如吸引配偶），并且可以用于解决部分人类无法解决的问题（例如模拟气候或对数以百万计的账簿进行分类）。这些问题是不相同的，需要用来解决问题的知识也就不同。
现实生活中的认知者必须通过接触某个领域以获取关于混乱世界里物体和人类的信息。理解力并不遵从摩尔定律，知识是通过阐述解释并在现实中进行测试而得来的，并不是通过越来越快的运算速度就能得到。吸收互联网上的信息也不会获得无限的知识：大数据依然是有限的数据，而世界的知识是无限的。
即便通用人工智能试图锻炼掌控的意志，但若没有人类的合作，它仍将是无能的“缸中之脑”。真实世界不可能让数字天启顺利发生。
由于邪恶机器人的前景过于朦胧而不足以严肃对待，生存卫士们又发现了一个新的数字末日。这个故事情节不是以弗兰肯斯坦这个科学怪人或希伯来传说中的魔像为基础的，而是基于可以让我们许三个愿望的妖怪，第三个愿望必须使前两个失效，并且以迈达斯国王将他所碰触的一切（包括食物和家人）变为金子的故事为基础。这种危险性有时称为价值对齐问题（Value Aligment Problem），是指我们为人工智能设立了目标，然后只能站在一旁看它残酷而专心致志地执行它对目标的理解，而我们的利益可能将被摧毁。如果我们为人工智能设立目标，让它维持水坝后边的水位，它或许会让一个城镇被洪水淹没，却毫不关心溺水的人。如果我们让它完成制造回形针的目标，它或许会把一切触手可及的东西变成回形针，包括我们的财产和身体。如果我们要求它实现人类幸福的最大化，它或许会为我们静脉注射多巴胺，或重设我们的脑回路，让我们带着最幸福的状态坐在缸中；如果它在训练中获得了幸福等于笑脸照片的概念，它会在整个银河系铺上上万亿张纳米级别的笑脸照片。
幸运的是，这些情节是自相矛盾的。它们依赖于几个前提条件：（1）人类拥有极高的天赋，可以设计出全知全能的人工智能，但同时人类又非常白痴，以至于在未经测试的情况下赋予人工智能掌控世界的权力；（2）人工智能聪慧至极，懂得如何转化元素以及如何重设脑回路，但又愚笨到犯下误解的基本错误而造成极大的破坏。要想具备选择最能满足目标行动的能力，并不是工程师加上一个附件就行，这需要智能。根据语境解读说话者意图的能力也是智能。
如果我们能够抛开意识觉醒、数字傲慢、即时全知以及对宇宙间任何一个分子完美掌控的幻想，人工智能可以算作另外一种技术。它历经循序渐进的开发，能够满足多种情境，在应用前要经过测试，并且为了效率和安全性要不断进行调整。用人工智能专家斯图尔特·罗素的话来说，“在民用工程领域，没有人会谈论‘建造永不坍塌的大桥’，他们仅仅会说‘建造大桥’。同样，只有益处而没有危险的人工智能才是人工智能。”

《An Informational Approach to Emergence》
涌现的信息论方法：跨层级涌现与演化的信息存储方式
https://link.springer.com/article/10.1007/s10699-022-09883-9
https://mp.weixin.qq.com/s/xwn1Ak5QeA6W7Lb_8eL1wQ

涌现（emergence）可描述为不同组织层次实体之间的关系，包括空间（不可还原性）和时间（进化论）维度，在物质、生命、认知和文化等主要层次间的转变。每一个主要层次都依赖于较低层次，不仅是其构成要素，而且是以某种更形式的方式。所有这些演化转变（evolutionary transition）都与某种形式记忆的出现有关，包括遗传记忆、神经记忆或语言记忆，这意味着它们具有信息性质。本文提出一种信息系统的一般模型，可理解为是从有限库存中提取的模块组合。有些信息系统是“语义”模型，即再现环境特征。这其中一部分也是“知情的”（informed），即具有从记忆子系统中衍生出来的模式。可以列出知情系统（informed systems）的层次和组成部分，为知识组织提供一个总体框架。

2.2.1.6.1 《人工智能本身并非危险的根源，关键在于掌控它的人》

Kenan Malik Nov 26, 2023

《AI doesn’t cause harm by itself. We should worry about the people who control it》

https://www.theguardian.com/commentisfree/2023/nov/26/artificial-intelligence-harm-worry-about-people-control-openai

为什么人类会持续研发可能威胁到人类生命的机器。但讽刺的是，尽管人们对 AI 的恐惧有些夸张，这种恐惧本身却带来了新的危险。对 AI 的过度警惕源于对其能力的高估。ChatGPT 在预测文字序列的下一个词方面表现得非常出色，以至于我们误以为它能像真人一样进行交流。然而，它并不能像人类那样真正理解这些词汇的含义，对现实世界的了解也微乎其微。我们距离实现“人工通用智能 (AGI)”的梦想还有很长的路要走。“AGI 不会在短期内出现”，IBM 软件工程首席科学家 Grady Booch 指出，即使是在我们的后代子孙的一生中也不太可能实现。

对于那些认为 AGI 即将成为现实的硅谷人士来说，他们认为应通过“对齐”来保护人类，即确保 AI 符合人类的价值观和意图。这看似是一种理性的方式，可以减轻 AI 可能带来的伤害。但当我们开始探讨“人类价值”究竟是什么、谁来定义它们，以及在价值观冲突时该如何应对时，问题就变得复杂了。

社会价值观总是众说纷纭，尤其是在当今这个社会共识标准瓦解、普遍不满情绪高涨的时代。我们与技术的关系本身就引发了热烈的讨论。对一些人来说，限制网络仇恨或保护人们免受网络伤害比维护言论自由或隐私权更为重要。这正是英国最新在线安全法案的出发点。这也是许多人对这项法律可能带来的后果感到担忧的原因。

接下来是虚假信息的问题。几乎没人会质疑虚假信息是一个日益严重的问题，它对民主和信任提出了挑战。但如何应对这一问题，依然存在很大争议。尤其是许多管理虚假信息的尝试，最终增强了科技公司监管公众的能力。

同时，算法偏见这一议题也揭示了对“价值对齐”观点的弱点。算法容易对少数群体产生偏见，原因正是它们过于贴合人类价值观。AI 程序是基于充满歧视的人类世界数据训练而成的。这些偏见也渗透到 AI 软件中，不论是在刑事司法系统、医疗保健、面部识别还是招聘等领域。

我们面临的问题并非机器将来可能对人类行使权力——这种看法基于目前的发展是无依据的猜测。真正的问题在于，我们生活在一个少数人利用权力损害多数人的社会，而技术成为了巩固这种权力的工具。对于掌握社会、政治和经济权力的人来说，将问题描绘为技术问题而非社会问题，把问题推到未来而非现在，似乎更合理。

几乎所有对人类有益的工具也可能造成伤害。但它们很少自行造成伤害，更多是因为被人类，尤其是那些掌权者，错误使用。这才是我们讨论 AI 时应当关注的起点，而非那些关于人类灭绝的虚构恐惧。

2.2.1.6.2 Q*的可能架构

Jim Fan Nov 25, 2023

/twitter.com/DrJimFan/status/1728100123862004105

Q*的可能架构（与AlphaGo的架构类比）

首先，要理解搜索与学习这两大 AI 技术的强大结合，我们得回溯到 2016 年，重新审视 AlphaGo 这一 AI 历史上的辉煌成就。它主要由四大要素构成：

1. 策略神经网络（Policy NN，Learning）：它的任务是选择好的行动，通过估计每个行动带来胜利的可能性。
2. 价值神经网络（Value NN，Learning）：这部分负责评估棋盘 状况，并预测围棋中任何合法位置的胜负。
3. 蒙特卡洛树搜索（MCTS，Search）：它代表着“Monte Carlo Tree Search”。这个过程利用策略神经网络模拟出从当前位置开始的多种可能的移动序列，然后综合这些模拟的结果来决定最有希望的行动。它是一个“慢思考”环节，与大语言模型（LLM）快速采样 Token 的方式形成对比。
4. 真实信号：这是推动整个系统运作的动力源泉。在围棋中，这个信号非常简单，就是一个二元标签“谁获胜”，由固定的游戏规则决定。可以将其视为维持学习进程的能量源泉。

那么，这些组件是如何相互协作的呢？

AlphaGo 通过自我对弈不断进步。在这个过程中，策略神经网络和价值神经网络通过迭代不断优化：随着策略在选择动作方面变得更加高效，价值神经网络从中获取更优质的数据进行学习，并反过来为策略提供更精准的反馈。更强的策略也帮助蒙特卡洛树搜索探索出更优的策略。通过这种方式，AlphaGo 自我提升能力，形成了一个巧妙的“永动机”。仅仅模仿人类的数据，AI 是无法达到超人类水平的。

Q* 的四大组件：

1. 策略神经网络：这将是 OpenAI 最强大的内部大语言模型（GPT），负责实际执行解决数学问题的思维过程。
2. 价值神经网络：另一个 GPT，用于评估每个中间推理步骤的正确性概率。OpenAI 在 2023 年 5 月由 Ilya Sutskever、John Schulman和 Jan Leike发布的论文《Let’s Verify Step by Step》https://arxiv.org/abs/2305.20050提出了“过程监督奖励模型”（PRM），它对思考链中的每一步提供反馈。相比之下，“结果监督奖励模型”（ORM）只在最终对整体输出作出判断。ORM 是强化学习从人类反馈（RLHF）中原始奖励模型的表达，但它太过粗略，无法适当评估长回应的各个子部分。换言之，ORM 不适合分配信用。在强化学习文献中，我们将 ORM 称为“稀疏奖励”（仅在最终给出），而 PRM 则是“密集奖励”，能够平滑地引导大语言模型朝我们期望的行为发展。
3. 搜索：与 AlphaGo 的离散状态和动作不同，大语言模型操作的是“所有合理字符串”的更复杂空间。因此，我们需要新的搜索方法。在思考链（CoT）的基础上，研究社区已经发展了一些非线性 CoT：
   -思考树（Tree of Thought）：实际上是将 CoT 与树搜索结合起来：《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》https://arxiv.org/abs/2305.10601
   – 思考图（Graph of Thought）：将树变成图，就能得到一个更复杂的搜索操作符：《Graph of Thoughts: Solving Elaborate Problems with Large Language Models》https://arxiv.org/abs/2308.09687
4. 真实信号：有几种可能性：
   (a) 每个数学问题都伴随着一个已知答案。OpenAI 可能已经收集了大量来自现有数学考试或竞赛的语料。
   (b) ORM 本身可以作为真实信号，但这样可能会被利用，从而“失去能量”维持学习。
   (c) 形式验证系统，如 Lean 定理证明器，可以将数学问题转化为编码问题，提供编译器反馈：https://lean-lang.org/?continueFlag=27325f54ee7afed8c4c49f19baa03e6c就像 AlphaGo 一样，策略大语言模型和价值大语言模型可以通过迭代相互促进改进，也可以在可能的情况下从人类专家的注释中学习。更优秀的策略大语言模型将帮助思考树搜索探索出更佳策略，反过来为下一轮迭代收集更好的数据。
   Demis Hassabis曾提到 DeepMind 的 Gemini 将使用“AlphaGo 风格的算法”来加强推理能力。即便 Q* 不是我们想象中的那样，谷歌肯定会用自己的方式紧随其后。

需要指出的是，我所描述的仅仅是关于推理的部分。并没有说 Q* 在写诗、讲笑话 Grok（@grok）或角色扮演方面会更有创造力。提升创造力本质上是人类的事情，因此我相信自然数据仍会胜过合成数据。

2.2.1.6.3 《苦涩的教训》

Rich Sutton Mar 13, 2019
http://www.incompleteideas.net/IncIdeas/BitterLesson.html?continueFlag=27325f54ee7afed8c4c49f19baa03e6c

《The Bitter Lesson》

70 年人工智能研究给我们的最大启示是：依赖计算能力的通用方法最终表现最佳，而且优势明显。这背后的主要原因是摩尔定律，也就是计算成本持续以指数级下降。大部分 AI 研究都是在假设计算资源固定的情况下进行的（在这种情况下，利用人类知识几乎是提升性能的唯一途径），但实际上，在稍长于一般研究项目的时间里，可用的计算资源会大幅增加。研究者为了在短期内取得突破，尝试利用自己对特定领域的人类知识，但从长远看，关键在于计算能力的利用。这两者原本不必相互冲突，但在实践中却常常如此。投入其中一个领域的时间，就意味着在另一个上的缺失。此外，人们在一种方法上的投资也会形成心理承诺。而基于人类知识的方法往往会使系统变得复杂，不利于利用计算能力的通用方法。有很多例子显示 AI 研究者是如何迟迟才领悟到这个苦涩的教训，回顾这些案例非常有启发性。

以计算机国际象棋为例，1997 年击败世界冠军卡斯帕罗夫的方法主要是深度搜索。当时，大多数计算机国际象棋研究者对此表示失望，因为他们更倾向于利用对棋局特殊结构的人类理解。然而，当一个简单但基于搜索的方法，结合特殊的硬件和软件展现出巨大效能时，这些基于人类知识的研究者并不愿意接受失败。他们认为，尽管这次“蛮力”搜索获胜，但它并非一种通用策略，也不是人类下棋的方式。这些研究者本希望基于人类理解的方法能够取胜，对实际结果感到失望。

在计算机围棋的发展中，也出现了类似的模式，只是晚了 20 年。最初的努力都在于避免搜索，尽可能利用对游戏的人类理解和特殊特征，但一旦有效地应用了大规模搜索，这些努力都显得微不足道，甚至有害。在这个过程中，通过自我对弈学习价值函数（在很多其他游戏中也是这样，甚至包括国际象棋，尽管在 1997 年首次击败世界冠军的程序中学习的作用并不大）也非常关键。自我对弈学习和一般学习，就像搜索一样，能够充分利用大量计算资源。在计算机围棋和国际象棋中，研究者最初都是试图利用人类的理解来减少搜索的需要，但最终通过接受搜索和学习才取得了巨大的成功。

在语音识别领域，1970 年代由 DARPA 赞助的一场早期比赛就是一个例子。参赛者包括使用了大量人类知识（如对单词、音素、人类声道的理解）的特殊方法，而另一边则是更依赖统计和大量计算的新方法，基于隐马尔可夫模型（HMMs）。最终，基于统计的方法战胜了基于人类知识的方法。这导致了自然语言处理领域的一次重大转变，随着时间的推移，统计和计算开始成为该领域的主导。深度学习在语音识别中的兴起是这一趋势的最新体现。深度学习方法更少依赖人类知识，使用更多的计算资源，并通过在大型训练集上的学习，极大地提升了语音识别系统的性能。与游戏领域相似，研究人员总是试图创建一个按照他们自己的思维方式工作的系统，但这种尝试最终证明是逆向而行，不仅浪费了大量的研究时间，而且在大量计算资源可用并找到有效利用方法的情况下，这种尝试显得更是多余。

计算机视觉领域也经历了相似的发展模式。早期的方法试图通过搜索边缘、广义圆柱体或 SIFT 特征来处理视觉问题。但在今天，这些方法都被淘汰了。现代的深度学习神经网络仅使用卷积和某些类型的不变性概念，取得了更好的表现。

这是一个重要的教训。作为一个领域，我们还没有完全吸取这一教训，仍在重蹈覆辙。为了识别并避免这种错误，我们必须理解其吸引力所在。我们必须领悟到，试图构建一个基于我们认为自己思考方式的系统是行不通的。苦涩的教训源于这样的历史观察：
1) 人工智能研究者经常试图将知识融入他们的代理中；
2) 这在短期内总是有益的，也让研究者感到满足；但
3) 从长远来看，这种做法会导致进步停滞，甚至阻碍进一步的发展；
4) 真正的突破性进展最终是通过一个相反的方法实现的，这个方法基于通过搜索和学习来扩大计算的规模。这种成功带有苦涩，往往消化不良，因为它是在人类中心化方法之上取得的。

从这个苦涩的教训中，我们应该明白通用方法的巨大力量，即那些随着计算能力的增长而持续扩展的方法。在这方面，似乎可以无限扩展的两种方法是搜索和学习。

苦涩教训中的另一个关键点是，人类心灵的实质内容极其复杂，不可能简化；我们应该放弃试图简单化地理解心灵内容，如空间、物体、多重代理或对称性等概念。这些都是外部世界中任意而复杂的部分，不应该成为我们构建的核心；相反，我们应该构建的是那些能够发现并捕捉这种任意复杂性的元方法。这些方法的核心在于它们能够找到良好的近似，但寻找这些近似的过程应该由我们的方法来完成，而不是我们亲自动手。我们希望 AI 代理能像我们一样具有发现能力，而不是仅仅包含我们已有的发现。将我们的发现直接构建进去，只会使我们更难看清如何实现发现的过程。

“生命中重要的事情发生时总是让人猝不及防，而那些不重要的事情则从来都计划周详。” https://mp.weixin.qq.com/s/Z_1cyTsGSZhJaCRCeu9s-g

1、大事都是自下而上发生的，只有小事可以自上而下。商战的成功也一样：“心里想的是A，嘴里和投资人说的是B，手底下做出来的是C，用户把它当做是D来用，最后在E上终于赚到了钱。”现在的巨头都是不断淘汰进化的幸存者，事后诸葛亮事前…… 《自下而上》马特·里德利

2、人脑的主要功能是预测和解释。自下而上发生的大事只能是解释，不可能预测。
“1.2.2.7 解释器”：http://47.92.147.95/index.php/2022/10/18/229/08/

“1.2.2.14 贝叶斯大脑（Bayesian Brain）”：http://47.92.147.95/index.php/2022/11/28/560/15/

AI的发展和应用也一样。AI 的风险：人类过度依赖AI系统的帮助（为关键事情做选择的责任从人类转嫁到机器上）。由于自下而上、不可预测的特性，过度依赖对整体的发展趋势也不会产生太大的区别（从可预测性而言）。但可能造成的问题：人需要承担的选择的责任发生了转移；大数据推荐算法决定了我们的偏好。

3、人生不如意事十之八九。尽人事听天命其实算得上是一种积极健康的心态，只问自己是否全力付出，并不把付出和结果之间强制绑定。

最近一期《纽约客》的封面：

如果输入的是垃圾（还有一些原材料），AIGC输出的会是整齐有序的垃圾（一点点的创意很可能还是来自它的幻觉）。

约翰·布罗克曼

04 人工智能第三定律 乔治·戴森

第一定律 阿什比（W. Ross Ashby）定律：任何有效的控制系统必须与它控制的系统一样复杂。

第二定律 冯·诺伊曼定律：一个复杂系统的定义特征一定包含对其行为的最简单的描述。生物体最简单的完整模型是生物体本身。试图减少系统行为，达到任何形式化描述的程度，只会使得事情变得更复杂，而不是变得更简单。

第三定律：任何一个简单到可以理解的系统都不会复杂到可以智能化行事，而任何一个复杂到足以智能化行事的系统都会太过于复杂而无法理解。Any system simple enough to be understandable will not be complicated enough to behave intelligently, while any system complicated enough to behave intelligently will be too complicated to understand. （佛曰：第一义皆因言说，言说是世俗，是故若不依世俗，第一义则不可说。禅宗：教外别传，不立文字。直指人心，见性成佛。维特根斯坦：凡于不可言说之物，我们都应保持沉默。）

我们完全有可能在不理解时构建某个东西。无论程序员及其伦理顾问如何监控计算程序，他们都永远无法解决这个漏洞。“好的”人工智能是个神话。我们与真正的人工智能之间的关系将永远是一个信仰问题，而不是证据问题。对那些相信他们能制造机器来控制一切的人，大自然对此的反应将是允许他们建造一台机器，来控制他们。

05 我们将如何应对？丹尼尔·丹尼特

我们不需要有意识的人工主体。我们需要的是智能工具。不让人工主体有意识的原因之一是，不管它们变得多么有自主性（原则上，它们可以像任何人一样有自主性、能自我提高或自我创造），如果没有特殊规定的话，它们不会像我们这些有自然意识的人类一样，有弱点，会死亡。我们创造的不应该是有意识的类人主体，而应是一种全新的实体，更像是圣人，没有良知，没有对死亡的恐惧，没有令其分心的爱和恨，没有个性，但是各种各样的弱点和怪癖毫无疑问会被看成是系统的“个性”：一箱箱的真理（如果我们幸运的话）几乎可以肯定会被零星的谎言所污染。学习与它们共存却不被这些人工智能奴役我们的奇点论所分心，真的很难。人有人的用处将很快改变，再次、永远地改变，但如果我们对自己的行为负责，我们就可以在危险之间掌握主动权。

07 智能的统一 弗兰克·维尔切克

1）激励驱动行动：大卫·休谟在1738年写下了“理性是，并且只应该是，激情的奴隶”这一番引人注目的言论。当然，这番话是指人类的理性和人类的激情。但休谟的逻辑、哲学观点也对人工智能有效。简单地说：驱动行为的是激励，而不是抽象的逻辑。

2）涌现：菲利普·安德森（Philip Anderson）《多就是不同》（More Is Different）：“还原论假设，也就是基于简单部分的已知相互作用的物理解释具有完备性这一假设，可能仍然是哲学家们争论的话题，但对于大多数活跃的科学家，我认为他们会毫无疑问地接受这一假设。对于大而复杂的基本粒子聚集体的行为，不能用几个粒子表现出来的性质进行简单外推。”大小和复杂性每升到一个新级别，都会有新的组织形式出现，其模式以新方式编码信息，其行为以新概念进行描述。

从两个得到有力支持的假设中，我们得出一个简单的结论：

◎ 人类的心智源于物质。弗朗西斯·克里克《惊人的假说》（Astonishing Hypothesis）：“心智只不过是一个巨大的神经细胞组群及其相关分子之间的交互作用”。

◎ 物质是物理学定义的。

◎ 因此，人类的心智是从我们能够理解并可以人工再现的物理过程中涌现出来的。

◎ 因此，自然智能是人工智能的一个特殊情况。

3）人工智能胜过自然智能的优势是永久的，而自然智能胜过人工智能的优势，虽然目前是实质性的，但似乎这只是暂时。The advantages of artificial over natural intelligence appear permanent,while the advantages of natural over artificial intelligence, though substantial at present, appear transient.

我们可以展望在接下来的几代人里，人类通过智能设备变得更强，将与越来越有能力的自主人工智能共存。那时将有一个复杂的、迅速变化的智能生态系统，并因此迅速进化。考虑到工程化设备最终将具有的内在优势，进化的先锋将是机器人和超级头脑，而不是微不足道的智人。我们的不受太阳系、银河系限制的未来，如果没有人工智能的帮助，将永远无法实现。

奥拉夫·斯塔普雷顿（Olaf Stapledon）1935年《怪约翰》（Odd John）小说中的英雄，一个突变超人，将我们智人形容为“精神的始祖鸟”。“始祖鸟是一种高贵的动物，它能进化成更高级的生物。”他充满深情地把这句话说给他的一个普通人类的朋友和传记作家听。

《存在主义心理学的邀请》博·雅各布森

第7章 混乱与意义 生活的目标、意义和价值

2.1.2.3.1 戈登·奥尔波特人格分类理论

奥尔波特把人分为6种类型，每种类型都有其独特的特征和动机驱动力。有些人似乎就是奥尔波特所确定的某个类型，但许多人还代表了多种类型的混合。

1、理论型：活着为了发现和揭示真理。生活中最重要的事情就是寻求知识和理解，或者以某种方式向别人展示通往真理的道路。

2、经济型：以事物的效用为导向，重要的是事物的用途及其经济价值。为了创造利润，最重要的是看到自己业务或存款的增长。

3、审美型：以事物的和谐为导向，美才是最重要的。生活被视为对各种事物的感受和享受。

4、社会型：把友爱和亲近他人作为最重要的生活价值。这类人想要对别人有用并帮助他们。

5、权力型：对权力感兴趣，重要的是能够将自己置于高位，并对他人施加影响。

6、宗教型/传统型：寻求与超越日常世界的事物合一。这种追求的形式可能是坚持某种特定的宗教习俗，也可能是寻求某种不太明确的精神形式。

马斯洛需求层次理论中的高层次需求（如尊重和自我实现）可能与戈登·奥尔波特六种类型理论中的某些类型相关。满足高层次需求可能需要人们发挥自己的个性特征和才能。同时，人们在追求马斯洛需求层次理论中的各种需求时，可能会表现出戈登·奥尔波特六种类型理论中所描述的不同风格和偏好。

2.1.2.3.2 生活目标和价值属于特定的生活阶段？

一些心理学家（布勒、荣格、克尔凯郭尔、弗兰克尔）建立了关于生活目标和价值变化的理论，如弗兰克尔：

1、创造性价值(creative values)是在建设和给予等一系列活动中实现的，是人们在家庭生活和工作领域中追求的。这种价值具有扩张性，倾向于建立和扩大个体的世界。

2、体验性价值(experiential values)实现于个体向世界敞开自己的能力，以及融入自然、欣赏艺术和爱的能力。实现这样的价值，就要过一种体验丰富的生活。这种价值具有接纳性，让个体拥抱整个世界。

3、态度性价值(attitudinal values)体现于个体能够让自己面对受限的环境、痛苦的现实，以及在残酷命运面前的屈服。这种价值在个体面对疾病或死亡时会发挥作用。当我们不得不放弃一些未能实现的目标时，我们也会召唤这种价值。因此，接受我们的命运并在其中寻找意义，本身就成了一项任务。根据弗兰克尔的说法，人的生命直到最后一秒都保留着它的意义。当然，只要有可能，我们会优先实现更积极的价值。与痛苦相关的态度性价值，只有在迫不得已的情况下才会考虑：“因此，一个人承受命运有两方面的含义——在可能的地方创造，在必要的地方忍受”。

通常的模式是，人们在年轻时尝试实现创造性、扩张性的价值，努力通过工作和建立家庭来塑造自己的存在。在后来的生活中，人们更倾向于实现体验性价值，比如享受自然、艺术以及爱的感觉。到了生命的最后阶段，当命运变得不那么友善时，人们面临的任务便是实现态度性价值，在苦难中寻找意义。

2.1.2.3.3 重大事件/环境改变生活的目标和意义？

外部环境的突然冲击可能会以两种方式影响一个人：一方面，一个人的生活方式和活动模式可能会因此停滞不前，仿佛被冻结在时间中；另一方面，个人的发展也可能会发生强化。

2.1.2.3.4 各个阶段是事先安排好的？

如果生命周期在走向人生的结尾时，会通往一个更高级的阶段，那么有意识地努力更早达到这个更高级的阶段，是否是个好主意呢？应该摆脱自己当前的层次，努力达到一个更高的阶段吗？还是应该在较低的层次上充分生活，然后自然地过渡到下一个阶段？荣格的回答可能是，生活应该在人们恰好发现自己的那个层次上进行。每个阶段都必须根据其内在性质而充分地经历。相反的观点可能会建议一种平衡的生活方式，在一生中寻求将工作和家庭生活、智力和艺术兴趣、外向和内向活动结合起来。

《124位科学家批评整合信息论是伪科学：我们该如何探讨意识难题？》https://mp.weixin.qq.com/s/_mqKrEYPd4lR7EmABBqspQ

《The Integrated Information Theory of Consciousness as Pseudoscience》https://psyarxiv.com/zsr78

《心智社会：我们的认识决定了我们的世界》帕斯卡尔·博耶

1、大量决策的基础是经过长期进化形成的c0意识：

• 群体冲突
• 婚姻对象
• 危险意识/阴谋论
• 宗教
• 政治：“政治心理就像我们认知功能的其他部分一样，在很大程度上是由意识无法接触的内隐心理过程构成的。”

2、需求层次（2.1.2 人的需求层次）下层的需求会更多的直接关联c0意识。只有长期符合c0意识的需求，才能够有持续性，即重大决策需要“跟随心的方向”。

3、c0意识可以通过c1、c2意识逐步的调整、转变、固化，如从先天进化形成的嗜糖逐步到厌糖。

2.2.2.2.1 《AI新生》

《AI新生：破解人机共存密码：人类最后一个大问题》 斯图尔特·罗素

一切科学发现都依赖于一层又一层的概念，这些概念可以追溯至历史和人类经验。在科学哲学中，新概念的发现经常归因于三个妙不可言的“I”：直觉（intuition）、洞察力（insight）和灵感（inspiration）。

2.2.2.2.1.1 AGI：以可持续的方式将地球上每个人的生活水平提高到发达国家认为相当体面的水平

通用人工智能是“一切即服务”（Everything-as-a-Service，EaaS）。我们没有必要为了执行一个项目而雇用不同学科的专家队伍，把他们按照承包商和分包商的等级组织起来。通用人工智能的所有化身将会获得人类的所有知识和技能，而且还不只是这样。它们唯一的区别在于实体能力：用于造建筑或做手术的四肢灵巧的机器人，用于大规模货物运输的轮式机器人，用于空中检查的四轴飞行器机器人等。使这一切成为可能的正是通用智能的通用性。

不需要基于进一步的革命性技术，只是基于人工智能系统更有效、更大规模地利用我们现有资源的能力，就可以实现全球人均GDP增长10倍。从1820年到2010年，全球人均GDP增长近10倍花了190年，这需要工厂、机床、自动化、铁路、钢铁、汽车、飞机、电力、石油和天然气生产、电话、广播、电视、计算机、互联网、卫星和许多其他革命性发明的发展。人工智能的成功将催生“一条文明轨迹，实现富有同情心地使用人类被赋予的宇宙资源的文明的进步”。

2.2.2.2.1.2 超级智能的局限

一个常见的错误是人们倾向于认为超级人工智能系统拥有无所不知的神圣力量。

机器还受到现实世界对新知识获取速度的限制。虽然在经验科学中，由机器瞬间产生科学发现是不可能的，但我们可以期待，在机器的帮助下，科学的发展速度将会更快。

它们在试图模拟和预测人类这种特定的对象时存在固有的劣势。

人工智能可以提供的功能是受限的。土地和原材料并不是无限的，骄傲（荣誉感）也是受限的：在给定的所有指标中，只有1%的人可以排在前1%。因此，对我们的文化而言，逐渐淡化骄傲和嫉妒是感知自我价值的重要因素。

我们对心智科学的理解非常有限，我们对幸福和满足的科学理解甚至更有限。我们根本不知道如何以一致的、可预见的方式为彼此的生活增加价值。

2.2.2.2.1.3 目标/目的

05 过于智能的人工智能

1960年，诺伯特·维纳发现了一个核心问题：正确且完整地定义真正的人类目的是不可能的。这反过来又意味着我所说的标准模型——人类试图将自己的目的灌输给机器，注定要失败。价值对齐的失败：我们可能会向机器灌输与我们的目标不完全对齐的目标，这或许是在不经意间完成的。维纳：“过去，对人类目的的片面和不充分的看法相对无害，只是因为当时受到技术上的限制……这只是人类无力保护我们免受人类愚蠢行为的破坏性影响的众多例子之一。”“我们可以谦逊地在机器的帮助下过上好日子，也可以傲慢地死去。”

输入这种机器的“目的”并不是用各种各样的方式接管世界，而更有可能是利润最大化或参与度最大化，抑或是一个其他看似良性的目标，比如在定期的用户幸福度调查中获得更高的分数，或者减少我们的能源使用。现在，如果我们认为自己是“通过行动有望实现我们的目标的实体”，那么有两种方法可以改变我们的行为。第一种是老派的方法：保持我们的期望和目标不变，但要改变我们的环境，例如，通过给我们钱财，用枪指着我们，或者让我们忍饥挨饿而屈服。对计算机而言，这往往既昂贵又困难。第二种方法是改变我们的期望和目标，这对机器来说要容易得多。机器每天与你保持数小时的联系，控制你对信息的访问，并通过游戏、电视、电影和社交互动为你提供大量的娱乐。

能够产生全球影响的超级智能系统并没有模拟器，也没有重来的机会。仅靠人类去预测和排除机器为实现特定目标而选择的所有灾难性方法当然是非常困难的，甚至是不可能的。一般而言，如果你有一个目标，而超级智能机器有一个不同的、与你冲突的目标，那么此时机器会实现它的目标，你却无法实现自己的目标。

06 不那么伟大的人工智能辩论

– 情况很复杂、现在担心还为时过早、你无法控制研究

– 难道我们不能……关闭电源、把它放进盒子里、在人机团队中工作/与机器融合

– 难道我们不能……避免输入人类目标

“避免输入目标”思想的一种常见变体是这样一个概念：一个足够智能的系统必然会由于其智能而自行制定“正确”的目标。

尼克·波斯特洛姆“正交性理论”：智能和最终目标是正交的：原则上，几乎任何水平的智能都能与几乎任何最终目标相结合。即智能程度是定义智能系统的一个轴，而目标是另一个轴，我们可以独立地改变它们。一个通用智能系统可以或多或少地被赋予任意目标，包括最大化回形针的数量或已知圆周率的位数。算法是完全通用的，可以接受任意奖励信号。智能系统可以通过观察世界来获得应该追求的目标，这一想法表明，一个足够智能的系统会自然而然地放弃其最初的目标，转而追求“正确”的目标。

罗德尼·布鲁克斯（Rodney Brooks）断言，一个程序不可能“足够聪明，使它能够发明方法来颠覆人类社会，以此实现人类为其设定的目标，却不了解它这么做会给为其设定目标的同一群人带来问题”。“实现人类设定的目标”的最佳计划正在给人类带来问题。

史蒂芬·平克：“智能是运用创新手段实现目标的能力。目标与智能本身无关。”[“让机器去选择最能满足相互冲突的目标的动作，这种能力不是工程师可能忘记安装和测试的附加功能，这种能力就是智能。在语境中理解语言使用者意图的能力也是智能。”“满足相互冲突的目标”并不是问题所在，这是从决策理论早期就已被内置到标准模型的东西。

我们人类一来关心其他人的偏好，二来知道我们不知道所有人的偏好是什么。

我们面临的难题：如果我们构建机器来优化目标，那么我们输入机器的目标必须符合我们想要的目标，但我们不知道如何完全正确地定义人类目标。

2.2.2.2.1.4 有益的人工智能系统三原则

07 人工智能：一种不同的方法

我们的任务：设计高度智能的机器，让它们帮助我们解决难题，同时确保这些机器的行为永远不会让我们感到非常恼火。这个任务并不是给定你一台高度智能的机器，让你找出控制它的方法。一台被视为黑盒子的、已成现实的机器，没准儿是从外太空来的。我们能控制一个从外太空来的超级智能实体的概率几乎为零。

有益的人工智能系统三原则：

1.机器的唯一目标是最大限度地实现人类的偏好。

2.机器最初不确定这些偏好是什么。

3.关于人类偏好的最终信息来源是人类行为。

10 问题解决了吗？

人工智能有重塑世界的能力，而对重塑的过程，我们必须以某种方式加以管理和引导。

依赖于对外部提供的固定目标进行优化的机器，这种模式存在根本性的缺陷。只有在目标确保完整且正确，或者可以很容易地重置机器的情况下，这种模式才有效。随着人工智能变得越来越强大，这两个条件都将不成立。

有益的机器：其行为预期可以实现我们的目标的机器。因为这些目标在我们心中，而不在它们内部，所以机器需要通过观察我们做出的选择和如何做出选择来更多地了解我们真正想要的是什么。以这种方式设计的机器会顺从人类：它们会征求许可；当指令不明确时，它们会谨慎行事；而且它们会允许自己被关掉。

我们越来越有可能把我们的知识放到机器里，让机器自己来运行我们的文明。把我们的文明传给下一代的实际动机一旦消失，这个过程就很难逆转了，正如电影《机器人总动员》所设想的那样。对任何一个人而言，通过多年艰苦的学习来获得机器已经拥有的知识和技能似乎毫无意义，但如果每个人都这样想，那么人类将会集体失去自主性。这个问题的解决方案似乎是文化上的，而不是技术上的。我们需要一场文化运动来重塑我们的理想以及对自主、能动性和能力的偏好，远离自我放纵和依赖。