2.1.3 AI能否形成自己的目的/意义

这里的“目的”/“意义”不是指通过一个阶段性的项目去实现的明确的、中短期的“目的”/“目标”,而是针对一个智能体的较长期的“目的”/“意义”,或者是“愿景”。
“目的论”致力于探讨事物产生的目的、本源和其归宿。目的论认为自然界的一切事物都有其存在的目的。

《自动化的一些道德和技术后果》诺伯特·维纳(Norbert Wiener)
如果我们为了达到目的而使用一种我们无法有效干预其运行的机器……我们最好确信我们想让机器达成的目标是我们真正想要实现的目标。

《如果人工智能对人类说“不”》 赵汀阳
《信睿周报》 第1期
人工智能在获得自我意识之后,有可能在存在论层面上彻底改变生命、人类和世界的存在性质。
害怕人工智能的能力,其实是一个误区。几乎可以肯定,未来的人工智能将在每一种能力上都远超人类,甚至在综合或整体能力上也远超人类。超越人类能力的机器人正是人工智能的价值所在,并不是威胁所在。
我们可以把自我意识定义为具有理性反思能力的自主性和创造性意识。任何智能的危险性都不在其能力,而在于意识。人类能够控制任何没有自我意识的机器,却难以控制哪怕仅仅有着生物灵活性而远未达到自我意识的生物,比如病毒、蝗虫、蚊子和蟑螂。到目前为止,地球上最具危险性的智能生命就是人类,因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事。如果将来出现比人更危险的智能存在,那只能是获得自由意志和自我意识的人工智能。
我们无法排除人工智能获得自我意识的可能性,尽管它的出现尚有时日,但我们也有理由未雨绸缪。这种未雨绸缪的审慎态度基于一个极端理性的方法论理由:在思考任何问题时,如果没有把最坏可能性考虑在内,就等于没有覆盖所有可能性,那么这种思考必定不充分或有漏洞。从理论上说,要覆盖所有可能性,就必须考虑到最好可能性和最坏可能性之两极,但实际上只需要考虑到最坏可能性就够用了。好事多多益善,不去考虑最好可能性,对思想没有任何危害,就是说,好的可能性是锦上添花,可以无穷开放,但坏的可能性却是必须提前反思的极限。
就人工智能而言,假如人工智能永远不会获得自我意识,那么,人工智能越强,就越有用,然而假如人工智能有一天获得了自我意识,那就可能是人类最大的灾难——尽管并非必然如此,但有可能如此。在存在级别上高于人类的人工智能也许会漠视人类的存在,让人类得以苟活,但问题是,它有可能伤害人类。绝对强者不需要为伤害申请理由。这就是为什么我们必须考虑人工智能的最坏可能性的理由。 人工智能的自我意识何以可能?语言的出现正是形成人类自我意识的奇点。自我意识的关键在于意识的反思能力,而不在于处理数据的能力。

《Universal Intelligence: A Definition of Machine Intelligence》(https://doi.org/10.48550/arXiv.0712.3329)将通用智能定义为“智能体在各种环境中实现目标的能力”,那么AI能否形成自己的目的/意义呢?

2.1.1.6 踏脚石

《为什么伟大不能被计划》肯尼斯·斯坦利 乔尔·雷曼

第四章 目标是错误的指南针
自然界的进化是一个收集踏脚石的过程。收集这些踏脚石,并不是因为它们可能通往某个遥远的重要目标——某个所有生命都指向的、终极的超级有机体,而是因为它们本身具有良好的适应性。
人们依然普遍认为自然进化确实存在一个“高大上”的终极目标,那就是生存和繁衍。但是,当目标的故事围绕着“生存和繁衍”这样的开放式约束条件展开时,我们应该小心对待。因为满足约束条件,与通常意义上的目标驱动获得的成就,有很大的不同。通常情况下,目标应该是一个明确而具体的产物,且在成功实现目标的情况下,你最终确实会生产出它,而非一个模糊的笼统的描述。“生存和繁衍”为目标的进化过程进展的方式,即在起点就已经完成了。也许将生存和繁衍看作对进化的一种约束更符合常理。换句话说,这是所有生物的进化必须满足的最低标准。
把人类的创新作为目标,我们可以尝试另一个思维实验。目标再一次展现了其欺骗性,把人们从正确的线索上引开。提前获得计算机的最好方法,不是强迫伟大的头脑浪费他们的生命去钻研一个遥远的梦想,而是让这些聪明人在他们当前的现实中追求他们个人的兴趣。任何重大发明的先决条件,几乎都是在没有考虑到该发明的情况下发明的。
踏脚石不一定意味着通往最终的目的地,它自身也无关对错,只涉及探索的过程和无限的可能性。
当我们致力于追求梦想时,我们至少应该知道这个梦想是什么,并充满激情和毅力地为之奋斗。但如果我们不假思索地接受了这种说法,它反而会导致荒谬的行为和结果。
我们这里谈论的“目标”都是高层次的远大目标,如果你距离目标只有一块踏脚石的距离,那么设置并遵循目标依然是有意义的。问题是,“高大上”的目标与稀松平常的目标不同,实现这些远大目标的最佳方式就是忽略它们,而这种想法,似乎违背了常规的直觉和传统的智慧。世界上最伟大的指南针(目标),反而有可能导致我们迷失方向,而一种神秘的、未知的方法(非目标探索),却令人惊讶地被证明是通往伟大的正确路径。

第六章 寻宝者万岁
没有任何方法,能够确保我们可靠地实现特定的目标。“没有免费午餐定理”(NFL定理)表明,在所有待优化的问题上,都不存在整体最佳的搜索算法。事实证明,改进搜索过程尽管可以实现某一特定目标,但由此便无法实现其他目标了。
努力追求目标成了一种“诅咒”,而放弃设定目标反而成了一种“福运”。这种奇怪的悖论,为我们能够更现实地理解“什么是可实现的”以及“如何实现”奠定了基础。这就意味着,过分“高大上”的目标永远不可能通过努力追求来实现——除非这些目标距离我们只有一步之遥。在目标遥不可及的情况下,我们唯一能做的就是放弃朝着特定方向的努力。