2.2.2.2.1 《AI新生》
《AI新生：破解人机共存密码：人类最后一个大问题》 斯图尔特·罗素
一切科学发现都依赖于一层又一层的概念，这些概念可以追溯至历史和人类经验。在科学哲学中，新概念的发现经常归因于三个妙不可言的“I”：直觉（intuition）、洞察力（insight）和灵感（inspiration）。
2.2.2.2.1.1 AGI：以可持续的方式将地球上每个人的生活水平提高到发达国家认为相当体面的水平
通用人工智能是“一切即服务”（Everything-as-a-Service，EaaS）。我们没有必要为了执行一个项目而雇用不同学科的专家队伍，把他们按照承包商和分包商的等级组织起来。通用人工智能的所有化身将会获得人类的所有知识和技能，而且还不只是这样。它们唯一的区别在于实体能力：用于造建筑或做手术的四肢灵巧的机器人，用于大规模货物运输的轮式机器人，用于空中检查的四轴飞行器机器人等。使这一切成为可能的正是通用智能的通用性。
不需要基于进一步的革命性技术，只是基于人工智能系统更有效、更大规模地利用我们现有资源的能力，就可以实现全球人均GDP增长10倍。从1820年到2010年，全球人均GDP增长近10倍花了190年，这需要工厂、机床、自动化、铁路、钢铁、汽车、飞机、电力、石油和天然气生产、电话、广播、电视、计算机、互联网、卫星和许多其他革命性发明的发展。人工智能的成功将催生“一条文明轨迹，实现富有同情心地使用人类被赋予的宇宙资源的文明的进步”。
2.2.2.2.1.2 超级智能的局限
一个常见的错误是人们倾向于认为超级人工智能系统拥有无所不知的神圣力量。
机器还受到现实世界对新知识获取速度的限制。虽然在经验科学中，由机器瞬间产生科学发现是不可能的，但我们可以期待，在机器的帮助下，科学的发展速度将会更快。
它们在试图模拟和预测人类这种特定的对象时存在固有的劣势。
人工智能可以提供的功能是受限的。土地和原材料并不是无限的，骄傲（荣誉感）也是受限的：在给定的所有指标中，只有1%的人可以排在前1%。因此，对我们的文化而言，逐渐淡化骄傲和嫉妒是感知自我价值的重要因素。
我们对心智科学的理解非常有限，我们对幸福和满足的科学理解甚至更有限。我们根本不知道如何以一致的、可预见的方式为彼此的生活增加价值。
2.2.2.2.1.3 目标/目的
05 过于智能的人工智能
1960年，诺伯特·维纳发现了一个核心问题：正确且完整地定义真正的人类目的是不可能的。这反过来又意味着我所说的标准模型——人类试图将自己的目的灌输给机器，注定要失败。价值对齐的失败：我们可能会向机器灌输与我们的目标不完全对齐的目标，这或许是在不经意间完成的。维纳：“过去，对人类目的的片面和不充分的看法相对无害，只是因为当时受到技术上的限制……这只是人类无力保护我们免受人类愚蠢行为的破坏性影响的众多例子之一。”“我们可以谦逊地在机器的帮助下过上好日子，也可以傲慢地死去。”
输入这种机器的“目的”并不是用各种各样的方式接管世界，而更有可能是利润最大化或参与度最大化，抑或是一个其他看似良性的目标，比如在定期的用户幸福度调查中获得更高的分数，或者减少我们的能源使用。现在，如果我们认为自己是“通过行动有望实现我们的目标的实体”，那么有两种方法可以改变我们的行为。第一种是老派的方法：保持我们的期望和目标不变，但要改变我们的环境，例如，通过给我们钱财，用枪指着我们，或者让我们忍饥挨饿而屈服。对计算机而言，这往往既昂贵又困难。第二种方法是改变我们的期望和目标，这对机器来说要容易得多。机器每天与你保持数小时的联系，控制你对信息的访问，并通过游戏、电视、电影和社交互动为你提供大量的娱乐。
能够产生全球影响的超级智能系统并没有模拟器，也没有重来的机会。仅靠人类去预测和排除机器为实现特定目标而选择的所有灾难性方法当然是非常困难的，甚至是不可能的。一般而言，如果你有一个目标，而超级智能机器有一个不同的、与你冲突的目标，那么此时机器会实现它的目标，你却无法实现自己的目标。
06 不那么伟大的人工智能辩论
– 情况很复杂、现在担心还为时过早、你无法控制研究
– 难道我们不能……关闭电源、把它放进盒子里、在人机团队中工作/与机器融合
– 难道我们不能……避免输入人类目标
“避免输入目标”思想的一种常见变体是这样一个概念：一个足够智能的系统必然会由于其智能而自行制定“正确”的目标。
尼克·波斯特洛姆“正交性理论”：智能和最终目标是正交的：原则上，几乎任何水平的智能都能与几乎任何最终目标相结合。即智能程度是定义智能系统的一个轴，而目标是另一个轴，我们可以独立地改变它们。一个通用智能系统可以或多或少地被赋予任意目标，包括最大化回形针的数量或已知圆周率的位数。算法是完全通用的，可以接受任意奖励信号。智能系统可以通过观察世界来获得应该追求的目标，这一想法表明，一个足够智能的系统会自然而然地放弃其最初的目标，转而追求“正确”的目标。
罗德尼·布鲁克斯（Rodney Brooks）断言，一个程序不可能“足够聪明，使它能够发明方法来颠覆人类社会，以此实现人类为其设定的目标，却不了解它这么做会给为其设定目标的同一群人带来问题”。“实现人类设定的目标”的最佳计划正在给人类带来问题。
史蒂芬·平克：“智能是运用创新手段实现目标的能力。目标与智能本身无关。”[“让机器去选择最能满足相互冲突的目标的动作，这种能力不是工程师可能忘记安装和测试的附加功能，这种能力就是智能。在语境中理解语言使用者意图的能力也是智能。”“满足相互冲突的目标”并不是问题所在，这是从决策理论早期就已被内置到标准模型的东西。
我们人类一来关心其他人的偏好，二来知道我们不知道所有人的偏好是什么。
我们面临的难题：如果我们构建机器来优化目标，那么我们输入机器的目标必须符合我们想要的目标，但我们不知道如何完全正确地定义人类目标。
2.2.2.2.1.4 有益的人工智能系统三原则
07 人工智能：一种不同的方法
我们的任务：设计高度智能的机器，让它们帮助我们解决难题，同时确保这些机器的行为永远不会让我们感到非常恼火。这个任务并不是给定你一台高度智能的机器，让你找出控制它的方法。一台被视为黑盒子的、已成现实的机器，没准儿是从外太空来的。我们能控制一个从外太空来的超级智能实体的概率几乎为零。
有益的人工智能系统三原则：
1.机器的唯一目标是最大限度地实现人类的偏好。
2.机器最初不确定这些偏好是什么。
3.关于人类偏好的最终信息来源是人类行为。
10 问题解决了吗？
人工智能有重塑世界的能力，而对重塑的过程，我们必须以某种方式加以管理和引导。
依赖于对外部提供的固定目标进行优化的机器，这种模式存在根本性的缺陷。只有在目标确保完整且正确，或者可以很容易地重置机器的情况下，这种模式才有效。随着人工智能变得越来越强大，这两个条件都将不成立。
有益的机器：其行为预期可以实现我们的目标的机器。因为这些目标在我们心中，而不在它们内部，所以机器需要通过观察我们做出的选择和如何做出选择来更多地了解我们真正想要的是什么。以这种方式设计的机器会顺从人类：它们会征求许可；当指令不明确时，它们会谨慎行事；而且它们会允许自己被关掉。
我们越来越有可能把我们的知识放到机器里，让机器自己来运行我们的文明。把我们的文明传给下一代的实际动机一旦消失，这个过程就很难逆转了，正如电影《机器人总动员》所设想的那样。对任何一个人而言，通过多年艰苦的学习来获得机器已经拥有的知识和技能似乎毫无意义，但如果每个人都这样想，那么人类将会集体失去自主性。这个问题的解决方案似乎是文化上的，而不是技术上的。我们需要一场文化运动来重塑我们的理想以及对自主、能动性和能力的偏好，远离自我放纵和依赖。
