1、什么是AIGP
“目的”或“意义”通常源于意识、情感、社会关系和对死亡的认知。当前的AI没有这些体验，它的“目的”只能是对人类目的的模仿、延伸或重新组合。在AI系统中，“目的”被简化为一个目标函数或损失函数。AI的一切行为都是为了最小化损失或最大化奖励，是对人类意图的一种数学抽象。
目的（purpose）本质上与意识、体验和内在驱动相关联，由人类开发者明确定义的工具性目的（外部驱动），或AI在训练中可能从海量数据中提炼出某些未被明确编程的“准目的”（数学计算的产物），模拟了目的的“形”，却未必拥有其“神”，可以简称为AI生成目标（AIGG，AI Generated Goal）。AIGG的下一层级是AIGP，它解释了“为什么要有这些目标”。
AI可以成为生成目标的强大引擎，但它不应该成为目的的终极源泉，需要保持人类在意义层面的主导权和反省力。
《AI众神时代》乔治·戴森
06 富尔德楼219室，神秘的MANIAC诞生地
一个存在更高意义的世界
意义从何而来？如果世间万物都被指定为一个数字，这是否会削弱世界的意义？哥德尔和图灵所证明的是，形式系统迟早会产生有意义的语句，其真实性只能在系统本身之外得到证明。这种限制并没有阻碍我们对世界的理解。相反，它证明我们生活在一个存在更高级的意义的世界中。1961年，哥德尔在给母亲的信中写道：“我们存在于尘世的意义非常令人怀疑，它只可能是实现另外一种存在的途径。毕竟，世间万事万物皆有其意义的观点恰似一切果皆有因的原则，后者正是科学的基石。”
07 最普通的电子管，最关键的部件
“排爆者”里的控制论
1943年，朱利安、维纳和神经生理学家阿图罗·罗森布卢特（Arturo Rosenblueth）共同撰写了一篇题为《行为、目的和目的论》（Behavior, Purpose and Teleology）的论文，提出了生物体和机器的目的性行为所基于的统一原理。“过去，人们将目的论解释为：暗示着目的和‘最终目的’的模糊概念。”他们解释说，“我们将‘目的论’这一名称仅用于有目的的反应，这些反应由行为对象在任意时刻的状态以及被解释为目的的最终状态之间的差异控制。如此一来，我们便成功地对目的论行为的内涵做出了限制。”因此，我们认为，目的论与朱利安和维纳提出的负反馈的定义一致：来自目标的信号对输出起限制作用，以避免超出目标范围。”
2、为什么需要AIGP
- 对于创新的无限需求，需要不断的新的环境信息的输入，即无限的超远距离外空间的探索；
- 由于生物体自身固有的物理缺陷，无法实现超远距离外空间探索，需要依靠AI智能体；
- 如果仅通过AIGG，不能胜任超长时间、无法预测环境情况的工作，需要AI智能体实现AIGP。
《超级AI接管世界需要几步？》尼克·博斯特罗姆
https://mp.weixin.qq.com/s/PA0tdVlbtroy1Iq_ugt-7Q
超智能行动主体可以发展技术，发射冯·诺伊曼探测器（vonNeumannprobe，是种可以使用小行星、行星和恒星等资源拷贝本体的星际旅行机器），借此启动开放式的太空殖民流程。可拷贝探测器的后代，以不低于光速太多的高速在太空中旅行，最终将殖民哈勃体积（Hubblevolume，在宇宙学中指的是以观测者为中心、半径约为当前宇宙哈勃常数，即宇宙膨胀速度与距离的比例，所对应的一个球形空间区域。简单来说，这个体积大致是我们目前可以观测到的宇宙部分，也可以理解为光在宇宙年龄内能够到达我们的空间范围。它不仅仅是一个“体积”，还与宇宙的可观测性和结构演化有重要联系）的绝大部分——也就是从我们这里出发，理论上能到达的扩张宇宙范围。接着，这些物质和自由能量会被组织成某种价值结构，来将初始行动主体于宇宙时间（在宇宙还没老化到不适合处理数据之前的上兆年期间）内所集成的功能最大化。
3、可能的实现方式
类似生物进化过程（1.1.4 进化路径猜想），AI通过AIGG逐步进化实现生成Purpose（目的）：
- 通过具身智能引入外部环境信息（“五蕴”中的“色蕴”、“感觉”、“辨识”）；
- 代际传递与环境筛选加入了模拟计算能力：数字模式保证代际复杂性的传递与增长，模拟计算产生感情、直觉（“五蕴”中的“心所”与“意识”）；
- 由“意识”而形成目的。
人类与AI的协作共生（“赛博格” Cyborg，全称Cybernetic Organism）也是一种可能的实现方式。
还有一种需要AIGP的情景：
《DeepMind数据负责人：我们不必证明意识是量子的，但它能给AI制造灵魂》
https://mp.weixin.qq.com/s/XZwh7-HMJvnkdzOYLtfM4A
詹妮弗：你无法完全预测所有后果。举个例子，人们认为只要不输入暴力内容，模型就不会生成暴力信息。但事实并非如此，通过组合两个看似无关的元素，同样可能催生暴力表达。比如生成深度伪造内容（deepfakes）时，即使训练数据本身不含不当信息，仍可能产生非常不当的内容。
无论你在初始流程多么谨慎，都无法阻止模型被以不恰当的方式使用。说到底这只是缓兵之计。我不可能阻止所有坏事发生。它就像网络安全一样。你总是在试图阻止坏事发生，但你处于守势，需要不断排查，因为有人试图突破。你试图阻止坏事发生，而他们则试图混淆视听，让防御失效。总之，我深刻意识到，在某个节点上，你需要让模型获得某种根本性的东西，使得模型能够为自己做出正确的决策。这样才能从根源上预防刚才讨论的这种问题。
保罗：也就是说，既然从外部无法阻止模型生成我们不希望看到的内容，那么就需要让模型的内部“浸透”（inundate）某种内在的价值观。
模拟计算 神经形态计算（neuromorphic computation） 可朽计算（mortal computation）
https://mp.weixin.qq.com/s/bR1Qnf-ifREedWAFI6eygQ
《阿尼尔·塞斯：你对AI的感觉，可能只是个无法摆脱的“缪勒-莱尔错觉”》
直觉2：市面上的其他竞争理论
图灵计算功能强大，但具有局限性——不可计算函数。凡是连续的（无限可分的）或随机的（具有内在不确定性）函数，都不属于图灵计算所能涵盖的范围。（算法确实可以模拟非计算过程，但模拟并不等于生成或实现该过程）
生物系统充斥着连续的或随机的动力学过程，它们深嵌于物理时间之中。认为只有严格意义上的图灵可计算过程才与意识或认知、心灵的某些方面有关，显得非常武断。电磁场、神经递质流以及其他许多过程，都超出了算法的边界，但它们在理解意识方面都可能具有关键作用。
围绕“动力学系统”的认知科学研究、强调心灵之生成性（enactive）、具身性（embodied）、嵌入性（embedded）和延展性（extended）的研究（所谓4E认知科学），都会拒斥完全用算法去解释心灵与大脑。它们都尝试基于研究连续动力学过程的数学——如吸引子、相空间等（文献22，23）——去探索其他可能性。对于意识而言，大脑的这些特征都是必要的，而它们依赖的是非计算性的过程，或者说，一种宽泛意义上的计算（文献24）。