2.2.1.1.2 环境

– “自我”的边界决定了自我,决定了“自我”与“环境”(进化的决定因素)的关系。“自动机是不能同它所处的环境完全分割的,换句话说,如果不先说明自动机所运作的环境,就不能判断它是好是坏、是快是慢、是坚强还是脆弱。

– “自我”的变异+“环境”的选择:产生进化。子系统发展出新的模块/功能,复杂度大于母系统(复杂度下限:千亿)。

第五堂课 复杂自动机的一些考量 ——层次和进化的问题

二、关于复杂度(complication)

复杂度就是指复杂的有效程度,或者说是做事情的潜力。有目的地去做事的时候牵涉到的复杂程度。具有最高复杂度的对象就是那些可以做很困难的,牵涉很多事情的东西。

生命可以复制同自身相似的其他生命。生命是由基本零件构成的非常复杂的组合,从概率论或者热力学的角度看,这种组合的出现是极不可能的。唯一能够使得这个奇迹显得不那么神奇的解释是:生命可以复制自身。因此,如果由于某种特殊原因,一个生命偶然出现了,那么,从此以后,生命就不再被概率法则所束缚,只要环境合适,更多的生命就会跟着出现。然而,从热力学的角度讲,这种“合适的环境”,比起生命本身的存在几率已经要高出很多了(But a reasonable milieu is already a thermodynamically much less improbable thing)。所以,从某种程度上说概率运算在这里存在着一个漏洞(loophole),而自我复制的过程恰恰正是利用了这个漏洞。

生命这种现象是一种“统计的”规律。生命是用一大堆不可靠的原件搭建起来的一台可靠的机器,这台可靠的机器一定会操纵概率法则来“统计地”实现自身的存在。只有那些能够达到一定的复杂性并且突破了某个阈值的系统才有可能成功的利用“概率论中的漏洞”。

比起单纯的自复制,自然界中的生命更胜一筹,因为随着时间的流逝,生命会变得更加精巧。基因这种复杂度比人低一个数量级的东西,是如何蕴含了如此复杂的人类个体的信息的呢?一切生物都来自无生命混沌环境中简单的个体,它们逐渐演化出更复杂的东西,这些生命具有产生比自己更复杂之物的能力。

另一方面,当我们分析人工自动机的时候,却可以得到截然相反的结论。通常一台机器总是比它能够制造出的零件更复杂。如果自动机A 能制造出自动机B的话,那么A一定包含关于B的全部信息,这样A才能按照这些信息把 B 制造出来。自动机的“复杂度”,或者说它的生产潜力,是不断降级的。也就是说,一个系统的复杂度总是比它制造的子系统要高一个数量级。复杂度是不断降低而非升高的,这个分析人工自动机得到的结论,和上面的分析生命本身得到的结论完全相反。

我们的结论是这样的,存在着一个复杂度的阈值,如果系统低于此阈值则它的复杂度就会衰退。虽然我们现在对于什么是复杂度以及如何测量复杂度还不甚了解,但是我认为即使我们用最粗糙的衡量标准,也就是系统中所包含的零部件的数量来衡量系统的复杂度的话,本结论仍然成立。这个阈值的具体大小,就取决于我们该如何定义基本的零件。复杂度阈值是一个决定性的临界点,低于它,组装生成自动机的过程就会走向衰退;而一旦超越了这个临界点,组装进化在适合条件下就会发生爆炸性的突变,每个自动机所制造出来的新自动机都比自己更加复杂,更加具备潜能。”

复杂度如何度量?复杂度的阈值到底是多少?冯诺伊曼也不知道如何来定义这个复杂度的概念,及如何计算出这个阈值。 冯诺伊曼给出了一种定性的描述,“这里的复杂度就是指复杂的有效程度, 或者说是做事情的潜力。这里我说的并不是一个具体对象牵涉到的复杂程度,而是它有目的地去做事的时候牵涉到的复杂程度。从这个意义上说,具有最高复杂度的对象就是那些可以做很困难的,牵涉很多事情的东西。”

75译者注:千亿这个数字很有趣,略作估算,会发现很多大数都处于很接近这个尺度的范围,除了上文提到的神经元激发能量消耗和物理下限之比以外,还包括大脑中的神经元数量、每个神经元在人一生中激发的总次数、每个神经元包括的蛋白质大分子数量、甚至银河系中间恒星的数量。宇宙和大脑有着一种比例关系。

2.2.1.1 《自复制自动机理论》

《自复制自动机理论》冯·诺依曼

书的编者是冯纽曼的助手Arthur W. Burks,遗传算法之父John Holland的博士生导师。

2.2.1.1.1 图灵机

第二堂课 控制与信息理论

五、图灵机

McCulloch & Pitts 自动机的基本结构是神经元,McCulloch & Pitts 得出结论,认为公理化的神经元体系同形式逻辑是等价的。

McCulloch-Pitts 的神经元模型

图灵关于有限自动机的结论:存在通用图灵机AU,具有以下性质:对于任何图灵机A和程序I,存在模拟程序IA,只要提供IA和I给AU,AU就可以模拟A 的运算,输出和A执行I得到的相同结果。AU 具有模拟任何图灵机去执行任何指令的能力,哪怕这个图灵机比AU 本身要复杂得多也没关系。因为通用图灵机本身的复杂性不足,可以由模拟器程序包含的内容来填补。这项研究的深刻之处在于,只要把通用图灵机恰当地制作出来,它就能够完成任意复杂的工作,因为其他的各种需求可以通过编写程序来满足。但是,只有当任意的图灵机 A 具有最起码的复杂度,从而能够实现通用图灵机的时候,它才能有这样的能力。换句话说,没有达到通用图灵机复杂度的系统,不管你给它写什么程序,都是不可能完成某些工作的。但是一旦复杂性超越了某一个确定的阈值,只要给予适当的程序,所有的自动机都能够相互模拟了。人类第一次具有了某种通用的工具,理论上说,只要任何人能够做到的事,这种工具也能复现此过程。

图灵还发现了自动机的极限。也就是说,无法制造这样一种自动机,这台自动机能够预测其他自动机在有限时间内是否能解决某个问题,完成停机。换句话说,虽然你可以制造能够模拟任何图灵机的通用图灵机,你却无法制造可以预测任何图灵机运行结果的“预测机”。做过的事情可以重复,但是没有做过的事情,却没有办法预测。

2.2.1 AI

我认为“人工智能”这个词很棒,但存在两个问题:“人工”和“智能”。拜伦·瑞希《人工智能哲学》06 狭义人工智能

科普类书籍:

《AI3.0》(Artificial Intelligence: A Guide for Thinking Humans) 梅拉妮·米歇尔 Melanie Mitchell

《人工智能全传》 (The Road to Conscious Machines: The Story of Artificial Intelligence) 迈克尔·伍尔德里奇Michael Wooldridge

《生命3.0》迈克斯·泰格马克

《AI新生:破解人机共存密码:人类最后一个大问题》斯图尔特·罗素

教科书:

现代学术界对人工智能的权威介绍、标准参考书《人工智能:现代方法》(Artificial Intelligence: A Modern Approach) 斯图亚特·罗素 Stuart Russell,彼得·诺维格Peter Norvig

其他:

《科学之路:人、机器与未来》(Quand la machine apprend) 杨立昆Yann LeCun

《终极算法:机器学习和人工智能如何重塑世界》佩德罗·多明戈斯

Annotated History of Modern AI and Deep Learning 详解现代AI和深度学习发展史 Jürgen Schmidhuber

人工神经网络的跌宕80年:文章介绍了现代主流人工智能研究范式——深度学习(其工具是深度神经网络DNN deep neural network)的重要发展里程碑

– 1943 人工神经元 皮特斯Pitts 麦卡洛克McCulloch(冯诺依曼《自复制自动机理论》中有相关介绍)

– 1949 赫布式学习理论(Hebbian Learning) 唐纳德·赫布(Donald Hebb)《行为的组织(The Organization of Behavior)》;行为主义——监督学习(supervised learning) 伯勒斯·斯金纳(Burrhus F. Skinner)

– 1957 感知机(Perceptron) 罗森布拉特(Frank Rosenblatt) ,1962 罗森布拉特 《神经动力学原理:感知机与大脑原理》(Principles of Neurodynamics: Perceptrons and the theory of brain mechanisms)

– 1974 反向传播算法(backpropagation) 保罗·韦伯(Paul Werbos)《Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences》, 1985 联结主义(connectionist)并行分布式处理(Parallel Distributed Processing)、多层神经网络(DNN) 大卫·鲁梅尔哈特(David Rumelhart)杰弗里·辛顿(Geoffrey Hinton)罗纳德·威廉姆斯(Ronald Williams)”Learning representations by back-propagating errors”

– 1980 CNN(卷积神经网络ConvNET Convolutional Neural Network:卷积层、池化层、全连接层)福岛邦彦(Kunihiko Fukushima),1989 LeNet-5卷积神经网络模型 杨·立昆(Yann LeCun);1990 RNN(递归神经网络 Recursive Neural Network, )杰弗里·艾尔曼(Jeffrey Elman)艾尔曼网络模型(简化递归网络)

– 2017 Transformer自注意力(self-attention) 阿希瑟·瓦斯瓦尼(Ashish Vaswani)等”Attention is All You Need”

《人工智能全传》后记

作者和一位同事共进午餐。“最近忙着研究什么呢?”她问我。

“我正在写一本关于人工智能的科普书。”

“这世界上的人工智能科普书还不够多?你的核心观念是什么?有什么新颖的角度吗?”

我开了个玩笑:“这是一本关于人工智能发展史上所走过的弯路和失败方向的书。”

她看着我,脸上的笑容消失了:“那么,这本书一定很长。”

人工智能故事的情节模式是“起起落落”。半个多世纪以来,人们对人工智能的研究从未间断,在此期间,研究人员一而再、再而三地发表声明,宣称做出了重大突破,智能机器的宏伟梦想触手可及。结果这一切全都被证明是无可救药的盲目乐观。人工智能就在虚假繁荣和过度萧条之间起起落落,甚至因而臭名昭著——在过去60年里,人工智能领域受到了好几次严重冲击,几乎将它就此毁灭。每一次毁灭以后,它都坚强地再起。

人工智能的故事开始于第二次世界大战之后第一台计算机的诞生,从“黄金年代”开始,那是一段肆无忌惮的乐观年代,那段时间似乎所有的战线都取得了飞快的进步。接下来是“知识时代”,那时候的构想是让机器获取我们人类所拥有的一切知识。然后是“行为时代”,那时候人们坚决主张机器人是人工智能的核心。再往后是现在的“深度学习时代”。每一个时期都有其独特的构想,还有那些贡献非凡想法的人。

《AI3.0》结语

约翰·麦卡锡等人在1956年的建议书中列出了人工智能领域中的许多重大研究课题:自然语言处理、神经网络、机器学习、抽象概念和推理以及创造力。如今,这些问题依然是人工智能领域最核心的研究课题。2015年,微软的研究院主任埃里克·霍维茨打趣道:“甚至可能有人会说,这份1955年的提案,如果经过适当的重新整理,可以再提交给美国国家科学基金会一次,说不定还能获得某个激情满满的项目管理者的资助。”

2.2 从AI到AGI

莱布尼茨(Gottfried Wilhelm Leibniz):“这个世界是最好的可能世界(The world is the best of all possible worlds that could have been chosen)。”

从计算的角度扩展一下:不管计算机/AI发展到何种程度,这个世界里的可计算函数让我们足以预见该如何维持生活,而不可计算函数使生活和数学真理不可预知、留有趣味。