《智人之上 ——从石器时代到 AI 时代的信息网络简史》尤瓦尔·赫拉利
第八章 可能出错：谬误百出的网络
一致性问题
当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。
克劳塞维茨《战争论》：“战争无非是政治通过另一种手段的继续。”军事行动必须与背后的某种整体政治目标一致，否则就是完全不理性的行为。整部《战争论》其实就是在警告一件事：确立“尽量得到最大的胜利”这种目标，就和确立“尽量提升用户参与度”一样，太过短视近利。根据克劳塞维茨的模型，必须先确立明确的政治目标，才能让军队据此确立一套可以实现这个目标的军事战略。所谓合乎理性的战术，就是要和战略目标一致；所谓合乎理性的战略，就是要和政治目标一致。所谓的合乎理性，就是目标与行动要有一致性。如果只追求战术或战略上的胜利，却造成与整体政治目标不一致，就不能说是合乎理性的选择。
科西嘉岛的联结
一致性问题该怎么解决？理论上，人类建设计算机网络的时候，就该为这个网络确立一个终极目标，并且永远不允许计算机更改或忽视这个目标。然而，这是个非常危险的幻想。如果我们只有一条黄金法则，就是“所有行动都必须向某个更高的目标看齐，保持一致”，那么就不会有可以用来确立那个终极目标的合乎理性的方式。这样一来，我们又怎么可能为计算机网络确立一个永远不得忽视、永远不得违背的终极目标呢？那些急着想要研发人工智能的技术高管与工程师，如果觉得能有个合乎理性的方法可以告诉人工智能该追求什么终极目标，其实是犯了一个严重的错误。
新神上场？
有些神话为了提防各种错误或过度行为，会坦然承认自己的源头可能有缺陷，并提出自我修正机制，允许人类质疑和改变。可能的一种防范方式是训练计算机时时注意自己是否出错。正如苏格拉底所说，承认“我不知道”是通往智慧的重要一步。人类智能如此，计算机智能亦然。所有算法都该学的第一课，正是自己也可能犯错。
S1D9：
- AI目标“对齐”三原则：
1、没有AI的终极目标；
2、AI需要能够承认“我不知道”、“我可能会犯错”：随时根据环境的变化以及前面的短期目标，来调整下一步的目标；
3、“合乎理性”：行动与目标保持一致，战术目标与战略目标保持一致。
AI时代人的教育的三原则： 2.1.2.7 教育的目的是建立并实现目标 ；
- 人是变化的、AI是变化的：1.3 变化 ；
- 人的目的/意义是变化的：2.1.1.6 踏脚石 ， 2.1.1.8 “我该怎样生活” 。