Enlightenment Now: The Case for Reason, Science, Humanism, and Progress
史蒂芬·平克
19　对人类生存的威胁
19.1 高估灾难本身就是一场灾难
一个弊端是，对于灾难风险的错误警报本身就是一种灾难。培植对于假想灾难的恐惧，不仅不能保卫人类的未来，反而更能使人类陷入危险境地。
第二个弊端在于人类的资源、脑力和焦虑是有限度的，我们不能为所有事情担忧。如果两个场景都可以同样地进行想象，它们发生的可能性或许就会被认为是相同的，那么人们对真正危害的担忧就不会高于对科幻情节的担忧。这就会导致最危险的事情发生，“这些残酷的事实会让任何通情达理的人都得出一个结论——人性糟糕透了。”如果人性真的糟糕透了，为何还要做出牺牲来减少潜在的风险呢？

19.4 人工智能是我们的末日吗？
“机器人启示录”（Robopocalypse）建立在对于智能的错误理解上，这种错误理解更多地应归因于“伟大的存在之链”以及尼采主义者的权力意志论，而非现代科学的理解。在该概念中，智能是一副全能的、能够实现各种愿望的药剂，各种生命体拥有的剂量不一。人类拥有的智能比动物多，并且未来的人工智能计算机或机器人（可以说“一个AI”，AI被当作可数名词）拥有的智能比人类多。由于我们人类使用了中等天赋剂量来驯养或铲除天赋剂量不如我们的动物，并且技术先进的社会已经奴役或毁灭了技术处于原始状态的社会，接下来超级聪明的人工智能也会这样对待我们。由于人工智能的思考速度比我们快上百万倍，并且可以使用超级智能来迭代提高自身的超级智能（意志的突然觉醒），从它启动的那一刻起，我们再也无法阻止它。
然而，这个情节就好比我们担心由于喷气飞机超越了鹰的飞行能力，有一天它就会从天上突然冲下来袭击牛羊一样。对人工智能的第一重误解在于混淆了智能与动机，也就是混淆了信仰与欲望、推断与目标、思考与渴望之间的区别。即便我们真的发明了超人类智能机器人，它们为何会想要奴役自己的主人或掌控世界？智能是使用创新手段达成目标的能力。但目标与智能并无关联：聪明不等于欲望。碰巧的是，智能在智人的系统里是达尔文自然选择的产品，是一种天然的竞争过程。在人类的大脑里，智能与统治对手、积累资源这样的目标是结合在一起的（不同人种的程度不同）。将某些灵长类动物边缘脑的回路与智能的特性进行混淆是错误的。
人工智能系统是设计而非进化而来，复杂系统中并没有什么规则认为智能必须转换为无情的征服者。
第二重误解在于将智能当作无穷无尽的能力，当作一种能够解决任何问题的神奇万能药。这个谬误会引发荒谬的问题，比方说人工智能什么时候能够“超越人类的智能”，并且人们还会幻想出一种终极的、拥有神一般全知全能的“通用人工智能”（AGI）。智能是一种奇巧的装置：它拥有在不同领域实现不同目标的知识，或者说拥有用这些知识进行编程的软件模块。
人类具有寻找食物、结交朋友、吸引配偶、养育孩子、去全世界旅行并且追求其他属于人类的爱好和消遣的能力。计算机或许被设计用于解决部分这些问题（例如识别人脸）但并非全部（例如吸引配偶），并且可以用于解决部分人类无法解决的问题（例如模拟气候或对数以百万计的账簿进行分类）。这些问题是不相同的，需要用来解决问题的知识也就不同。
现实生活中的认知者必须通过接触某个领域以获取关于混乱世界里物体和人类的信息。理解力并不遵从摩尔定律，知识是通过阐述解释并在现实中进行测试而得来的，并不是通过越来越快的运算速度就能得到。吸收互联网上的信息也不会获得无限的知识：大数据依然是有限的数据，而世界的知识是无限的。
即便通用人工智能试图锻炼掌控的意志，但若没有人类的合作，它仍将是无能的“缸中之脑”。真实世界不可能让数字天启顺利发生。
由于邪恶机器人的前景过于朦胧而不足以严肃对待，生存卫士们又发现了一个新的数字末日。这个故事情节不是以弗兰肯斯坦这个科学怪人或希伯来传说中的魔像为基础的，而是基于可以让我们许三个愿望的妖怪，第三个愿望必须使前两个失效，并且以迈达斯国王将他所碰触的一切（包括食物和家人）变为金子的故事为基础。这种危险性有时称为价值对齐问题（Value Aligment Problem），是指我们为人工智能设立了目标，然后只能站在一旁看它残酷而专心致志地执行它对目标的理解，而我们的利益可能将被摧毁。如果我们为人工智能设立目标，让它维持水坝后边的水位，它或许会让一个城镇被洪水淹没，却毫不关心溺水的人。如果我们让它完成制造回形针的目标，它或许会把一切触手可及的东西变成回形针，包括我们的财产和身体。如果我们要求它实现人类幸福的最大化，它或许会为我们静脉注射多巴胺，或重设我们的脑回路，让我们带着最幸福的状态坐在缸中；如果它在训练中获得了幸福等于笑脸照片的概念，它会在整个银河系铺上上万亿张纳米级别的笑脸照片。
幸运的是，这些情节是自相矛盾的。它们依赖于几个前提条件：（1）人类拥有极高的天赋，可以设计出全知全能的人工智能，但同时人类又非常白痴，以至于在未经测试的情况下赋予人工智能掌控世界的权力；（2）人工智能聪慧至极，懂得如何转化元素以及如何重设脑回路，但又愚笨到犯下误解的基本错误而造成极大的破坏。要想具备选择最能满足目标行动的能力，并不是工程师加上一个附件就行，这需要智能。根据语境解读说话者意图的能力也是智能。
如果我们能够抛开意识觉醒、数字傲慢、即时全知以及对宇宙间任何一个分子完美掌控的幻想，人工智能可以算作另外一种技术。它历经循序渐进的开发，能够满足多种情境，在应用前要经过测试，并且为了效率和安全性要不断进行调整。用人工智能专家斯图尔特·罗素的话来说，“在民用工程领域，没有人会谈论‘建造永不坍塌的大桥’，他们仅仅会说‘建造大桥’。同样，只有益处而没有危险的人工智能才是人工智能。”