人工智能领域有个“莫拉维克悖论”（Moravec’s Paradox）：难的问题简单，简单的问题难。汉斯·莫拉维克：“与一般的观点相反，要让电脑如成人般地下棋相对容易，但是要让电脑有如一岁小孩般的感知和行动能力却是相当困难甚至是不可能的。”尽管人工智能可以在围棋上战胜最优秀的人类选手、精确地诊断癌症、流利地写文章/程序代码，数据分析师、翻译、经纪人、作家/画家/作曲家、程序员都要小心他们的位置被取代，但是园丁、接待员和厨师近几年不用担心他们的岗位。

假设在莫拉维克预言的智能机器取代人类的2040年，一家酒店雇用了一个加持了GPT-13（具身智能新成果机器人接入大模型），有全面的多模态感官能力（听说、视觉、触觉等）及机械灵巧性，懂200种语言、武力值为99的机器人保安，让我们看看这个机器人可能遇见的情况：一只小狗尖叫着跑进大堂，喝醉的流浪汉骚扰前台，一位顾客突然中暑，蒙面劫匪持枪闯入，旁边是戴面具拿水枪的孩子……它该如何适当的处理这些不同的对象，以确保酒店的安全和客户的满意度？

2.2.1.5.1 AIGCs（AI Generated Commonsense）

AI必须要能够学习、使用背景知识/常识（Commonsense），才能够在这样的复杂环境中知道如何随机应变。下一个AIGC（Artificial Intelligence Generated Content）是AIGCs：AI生成常识。

《测算与判断：人工智能的终极未来》第三章 失败：老派人工智能的根本局限性

现实本身异常丰富。围绕所谓的现实，任何本体论的解析只提供部分信息。通过抽象化或理想化的表征、描述、模型等方式解释、图示和过滤世界，概念性的“画面”会对某些方面进行强调或特别指出，而对其他方面则是暗示或弱化（甚至是扭曲），并忽略或抽离现实世界潜在的无限丰富性。人工智能面临的问题是，为了在现实世界中发挥作用，它需要能够处理实际意义上的现实，而不是我们所认为的现实，准确地讲，不是我们的思想或语言所表征的现实。

人工智能需要解释对象、属性和关系，并以此来解释各种造物发现世界可理解的能力，而不能预设对象、属性和关系。开发适当的注记能力不仅能够“吸收我们感官所感知到的东西”（这远远不够），而且能够发展出一个对存在于这个世界而言负责任且可靠的完整的集成图景。第一代人工智能的本体论假定、对注记的细微差别视而不见，以及对世界丰富程度的认识不足，是常识方面的表现令人失望的主要原因。

2.2.1.5.2 如何学习常识

常知类似于语言，是不能被理性主义的形式化理论所模拟的。人们在使用语言时，既不是通过严格的规则实现语言的运用，也不是通过严格的规则来学习语言（当然也就谈不上对学习语言的智能活动过程形式化了）。人类对语言的使用往往在语言的灵活应用中找到了语言的美感。AI如何能够学习、使用常识，需要参考ChatGPT如何能够学习、使用语言的（应该不是专家系统、知识图谱的逻辑主义技术路线）。

通过语言模型及其训练过程，ChatGPT“发现”了语法规则这些“语言规律”并很擅长遵循它们。同时能够实现“语义运动定律”——输出有意义的文本，定义或至少约束着语言特征空间中的点在保持“有意义性”的同时如何移动。通过查看大型文本语料库可以得到每个单词的常见程度的估计，ChatGPT 根据概率来选择生成下一个词。ChatGPT只是从其积累的“常识统计”中提取出一些“连贯的文本线索”。在ChatGPT内部，任何一段文本实际上都由一组数字表示，可以看作是某种“语言特征空间”中的一系列点的坐标。当ChatGPT继续一段文本时，相当于在语言特征空间中描绘出一条轨迹。

ChatGPT的底层人工神经网络结构最终是基于对大脑的理想化建模的，能够成功地“捕捉到”人类语言及其背后的思维的本质。语言的丰富性和它所能谈论的事物可以被封装在这样一个有限的系统中。很可能当我们学习和使用常识时，会采用非常相似的方法，例如构成Commonsense的向量空间，从其积累的大量“三维活动统计”中提取出一些“连贯的常识线索”。通过LCM（Large Commonsense Model，大型常识模型）及其训练过程，发现常识的规则及内部蕴含的意义。

2.2.1.5.3 什么时间可以实现

对机器人来说，简单的动作都需要极为复杂的机械控制系统来实现。而现实生活中常见的简单任务，把流程分解成每一个动作，并且要做到“不走形”，“容易”问题层层累加，难度是指数级递增的，是类似于从井字棋到围棋的搜索空间能力要求的提升，需要在图像嵌入设计方法、搜索方法（策略矩阵、价值矩阵）、学习方法（工程技术）、数据来源等方面的根本性的进步。

算力的发展、互联网数据的累积带来这一次（AlphaGo、GPT）的AI浪潮，我们可以在不考虑其他的技术、模型发展/要求，只从算力要求这个基本方面估算一下AIGCs出现的时间。

几个一般性假设：

0.1、假设通过物联网能够积累起丰富的、有质量的常识数据（主要是视频及人体生物信息）；

0.2、假设图像/音频/视频嵌入向量空间与文本嵌入向量空间采用相似的算法及模型（视觉大模型的两条出路，向量数据库），且AIGCs的搜索算法没有质的发展/变化（统一智能体的基础模型 Towards A Unified Agent with Foundation Models）；

0.3、假设机器的灵巧性、机械适应性等方面得到大幅度的发展能够支撑AIGCs；

0.4、假设摩尔定律（每1.5到2年的时间计算能力增长一倍）在未来几十年内仍然有效。

关于算力的假设：

1.1、英语大约有5 万个左右的常用词，假设现实中不同品类对象的种类及其属性的数量对计算复杂度提升一个数量级；

1.2、常识是一个在三维空间发生、发展的，有一定时间范围的过程。图像数据的维度和复杂度都比文本数据高，图像嵌入的计算量要远远大于词嵌入的计算量。假设三维空间的精细运动加上时间过程维度，对计算复杂度提升两个数量级；

1.3、其他未知因素（如对大模型幻觉的控制等）对计算复杂度提升一个数量级；

综上，计算复杂度的提升为：10^4 ≈ 2^14。

AIGCs会在未来14×（1.5～2） ≈ 20～30年左右出现。

2.2.2.1 定义

Artificial General Intelligence：AI systems that are generally smarter than humans。OpenAI：“Planning for AGI and beyond”

“Sparks of Artificial General Intelligence: Early experiments with GPT-4”
There is a rich and ongoing literature that attempts to propose more formal and comprehensive definitions of intelligence, artificial intelligence, and artificial general intelligence, but none of them is without problems or controversies. For instance, Legg and Hutter propose a goal-oriented definition of artificial general intelligence: Intelligence measures an agent’s ability to achieve goals in a wide range of environments. However, this definition does not necessarily capture the full spectrum of intelligence, as it excludes passive or reactive systems that can perform complex tasks or answer questions without any intrinsic motivation or goal. One could imagine as an artificial general intelligence, a brilliant oracle, for example, that has no agency or preferences, but can provide accurate and useful information on any topic or domain. Moreover, the definition around achieving goals in a wide range of environments also implies a certain degree of universality or optimality, which may not be realistic (certainly human intelligence is in no way universal or optimal). Another candidate definition of artificial general intelligence from Legg and Hutter is: a system that can do anything a human can do. However, this definition is also problematic, as it assumes that there is a single standard or measure of human intelligence or ability, which is clearly not the case. Humans have different skills, talents, preferences, and limitations, and there is no human that can do everything that any other human can do. Furthermore, this definition also implies a certain anthropocentric bias, which may not be appropriate or relevant for artificial systems.

有大量且正在进行的文献试图提出更正式和全面的智能、人工智能和通用人工智能的定义，但没有一个是没有问题或没有争议的。例如，Legg 和 Hutter 等人提出了一个面向目标的通用人工智能定义：智能代表了一个智能体在广泛环境中实现目标的能力。然而，这一定义并不一定涵盖智力的全部范围，因为它排除了那些可以在没有任何内在动机或目标的情况下执行复杂任务或回答问题的被动或反应性系统。人们可以想象一个人工智能，可以就任何主题或领域提供准确和有用的信息。此外，关于在广泛的环境中实现目标的定义也意味着一定程度的普遍性或最优性，这可能是不现实的（当然，人类智力绝不是普遍或最优的）。Legg 和 Hutter 等人对通用人工智能的另一个候选定义是：一个可以做人类能做的任何事情的系统。然而，这个定义也是有问题的，因为它假设有一个单一的标准能够衡量人类的智力或能力，这显然不是事实。每个人都有不同的技能、天赋、偏好和限制，没有人能做其他人能做的所有事情。此外，这一定义还暗示了某种以人类为中心的偏见，这可能与人工系统不合适或不相关。

《AI新生：破解人机共存密码：人类最后一个大问题》
通用人工智能将是一种适用于所有问题类型的方法，并且在做出很少假设的情况下，它能有效地处理大而难的实例。这就是人工智能研究的终极目标——一个不需要针对具体问题的工程学系统。它会从所有可用的资源中学习它需要学习的东西，在必要时提出问题，并开始制订和执行有效的计划。
Stuart Russell：“通用人工智能可以完成人类能够完成的所有任务。我们希望AGI能够做到人类无法做到的事情。为了研究通用人工智能，我们可以从具体任务的基准 (Benchmarks) 转向任务环境的一般属性，比如部分可观察性、长时程、不可预测性等等，并问自己是否有能力为这些属性提供完整的解决方案。如果我们有这种能力，通用人工智能就应该能够自动地完成人类可以完成的任务，并且还有能力完成更多的任务。”

“Artificial General Intelligence — A gentle introduction” / 中文：“AGI的历史与现状”
“AGI”与“强AI（Strong AI）”、“类人AI（Human-Level AI）”、“完全AI”、“思维机器（Thinking Machine）”、“认知计算（Cognitive Computing）”等概念更加相似。AGI研究包括科学（理论）与工程（技术）两个方面。一个完整的AGI成果通常包括：
1.关于智能的理论
2.该理论的形式化模型
3.该模型的计算机实现

“腾讯研究院：通用人工智能时代科学研究的71个问题”
AI一般可以划分为：
– “狭义人工智能” Artificial Narrow Intelligence(ANI)：也被称为弱人工智能，是擅长于单个方面的人工智能，如图像/语音识别系统、AlphaGO等，是在预定的环境中运行、执行特定任务的系统。
-“通用人工智能” Artificial General Intelligence(AGI)：也被称为强人工智能，在各方面都能和人类比肩的人工智能，是为了执行广泛的智能任务、抽象思考并适应新环境的系统。Linda Gottfredson教授把智能定义为“一种宽泛的心理能力，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作。”强人工智能在进行这些操作时和人类一样得心应手。
– 超人工智能 Artificial Super intelligence(ASI): NickBostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能。”

《哥德尔、埃舍尔、巴赫：集异璧之大成 Gödel, Escher, Bach: An Eternal Golden Braid》
CHAPTER XIX Artificial Intelligence: Prospects
Ten Questions and Speculations
Question: Will Al programs ever become “superintelligent”?
Speculation: I don’t know. It is not clear that we would be able to understand or relate to a “superintelligence”, or that the concept even makes sense. For instance, our own intelligence is tied in with our speed of thought. If our reflexes had been ten times faster or slower, we might have developed an entirely different set of concepts with which to describe the world. A creature with a radically different view of the world may simply not have many points of contact with us. I have often wondered if there could be, for instance, pieces of music which are to Bach as Bach is to folk tunes: “Bach squared”, so to speak. And would I be able to understand them? Maybe there is such music around me already, and I just don’t recognize it, just as dogs don’t understand language. The idea of superintelligence is very strange. In any case, I don’t think of it as the aim of Al research, although if we ever do reach the level of human intelligence, superintelligence will undoubtedly be the next goal-not only for us, but for our Al-program colleagues, too, who will be equally curious about Al and superintelligence. It seems quite likely that Al programs will be extremely curious about Al in general-understandably.

智能一般的定义是指解决问题的能力，而问题又可以按照其因果性及是否可重复来进行分类：
1、因果明确，可以重复：简单问题，推理、归纳均有效；如下棋
2、因果明确，不可重复：一般复杂问题，推理有效；如发射火箭
3、因果不明确，可以重复：复杂问题，归纳有效；如量子力学、混沌
4、因果不明确，不可重复：超复杂问题，推理、归纳均无效；如生命的进化
吴伯凡：把问题分为三类
AlphaGo能够打败棋类世界冠军（简单问题），GPT4能够处理大部分的一般复杂问题，AGI能够解决许多复杂问题，而超复杂问题会涉及大量的不可计算函数，是“使生活和数学真理不可预知，留有趣味”的范畴。

2022/06/21

今年高考Ⅰ卷作文题“本手、妙手、俗手”公布后，一众网红纷纷献上”零分”作文。caoz也在其公众号上发表了《妙手，本手，俗手，背后的逻辑是什么》的文章，提出“在AI面前哪有妙手可言”。

人类从大量的对弈过程中总结经验，形成定式、本手、俗手、妙手等概念。AI通过大量经典对局样本或双手互搏不断复盘的深度学习形成决策网络，计算每一步胜率并选择胜率最高的一手，根本不会考虑这一手是俗手还是妙手。“本手、妙手、俗手”等概念是人类计算能力不足时的临时装置，属于思考方法中的“天钩”。由于围棋的计算空间远远大于人脑的思考范围，所以人类必须要使用天钩来分层锚定思维、决策过程。

丹尼尔·丹尼特在《直觉泵和其他思考工具》中对“天钩”有如下定义：

《牛津英语词典》对“天钩”的解释如下：天钩：源自飞行器驾驶员。一种想象中联结至天空的装置；一种想象中悬停在空中的方式。《牛津英语词典》记录该词最早出现于1915年：“一名飞行员被要求停留在原位置（高空处）一小时，飞行员答道：‘飞机未配备天钩。’”拥有天钩可能会是件美事，因为它非常适合在困难的情况下起吊笨重的物体，用以加快各类项目建设。不过，说来让人失望，它们是不可能的。

“本手、妙手、俗手”式的天钩，广泛存在于人类社会中。宗教、哲学等人文领域，由于难以进行量化研究，大量存在“天钩”式的概念、术语。即使科学领域也需要“天钩”来帮助我们思考，是知识增长、进步的必要过程，天文学的发展就是一个范例。“地心说”是基于早期人类大量朴素的天文观察结果而形成的“天钩”，到哥白尼发展出了“日心说”的天钩，再到开普勒的椭圆轨迹修正，然后是牛顿的万有引力、爱因斯坦的相对论。科学正是在不断证伪（或修正）前人天钩、建立新的天钩的基础上发展的。

AI的出现，在围棋这样目标明确（赢棋——比对手多占地盘）、规则清晰的领域，粉碎了人类长期积累出的天钩。2016年AlphaGo战胜李世石，新出现的许多招法颠覆了人们固有的围棋理解和概念，大量的定式甚至棋理都需要推倒重来。

樊麾是第一位与AlphaGo比赛的职业棋手，AlphaGo 5：0完胜。樊麾说：“跟AlphaGo对弈之后，我内心的围棋世界坍塌了。”其后樊麾参加了一项重要的欧洲比赛，加上被AlphaGo沉重打击的内心，他几乎没有信心参赛。“但非常奇怪的事情发生了，我非常轻易的赢了所有的比赛。我和AlphaGo的比赛使我找到了一个新的视角来看我自己的比赛。……如果你想打败大师，你必须忘记你之前学的所有的东西。因为你学的所有东西都像一个笼子一样，把你关在里面。和AlphaGo比完赛后，我建立起了新的东西，现在我下起棋来完全自由了。” 是不是想起了乔帮主的：“Stay hungry，Stay foolish”？

从樊麾的成长过程可以看出，在目标明确、规则清晰的领域，通过AI给出的近似“标准答案”可以帮助人类重新定义概念，梳理思维、决策的层次，建立起新的“天钩”。这也是人类学习、进步所必须经历的过程，通过AI可以加速这一过程，否则就需要等到下一个吴清源的出现，才能带来一些更高层次天钩的突破与创新。

在目标、规则不明确的领域，AI是否可以复现颠覆人类理念的过程（甚至有些人认为的奇点的到来）？

今年2月，Open AI首席科学家萨茨克维尔在社交媒体上称：“现在大型神经网络可能已经有微弱的自主意识了”。最新一波对AI意识觉醒的讨论，是由一名谷歌员工布雷克·莱莫伊引起的。布雷克在谷歌AI伦理部门工作，6月11日公开了一份《LaMDA是有意识的吗？》的文件，详细记述了近大半年来与LaMDA（谷歌2021年在I/O开发者大会上推出的一款专门用于对话的语言模型，能与人类进行符合逻辑常识的高质量交谈）的聊天记录，认为LaMDA已经产生了意识。

英国物理学家霍金、特斯拉创始人马斯克等人也都认为人工智能可以跟人类一样有情感、思维、跨领域思考能力及创造力，未来将对人类造成威胁。

人工智能不同于人类以生存发展为目标（人类是否是这个目标、是否有目标等问题还在争论探讨中），深度学习是针对某类人为给定的目标和大数据样本，实现最佳化的过程，现阶段的AI本身还没有生存的概念。除了经过一个较长期的，与环境、种群间生存竞争的过程，还看不到其他的使AI能够成为具有自主目标的实体的方式。即使未来某些AI能够通过某次图灵测试，也只是它的经过训练的计算系统对输入的直接反馈。由于AI的深度学习及决策的许多过程、结果都具有黑箱的属性，往往会被解释为呈现出人格、情绪等特点（人们有拟人化解释物体行为的倾向），并不等于AI具有了独立意识。

AI作为智能工具实现人类赋予的任务目标，能够取代大量相对重复性高的工作（即爱迪生说的“99%的汗水”的部分，但那1%的灵感在目标、规则不明确的领域还是需要人类来完成）。AI会在这些领域给人类带来巨大影响，在取得丰富成果的同时，给某些人群的冲击可能会比工业革命还剧烈。

AI成为主脑科学家（AI-masterbrain Research）：AI介导的五阶段科学革命（The Five Stages of AI-involved Scientific Revolution）

论文

中文解读

杨立昆访谈

LeCun：AI将带来人类的新文艺复兴，一种新的启蒙运动，因为AI将放大每个人的智力。这就像每个人都有一群比自己更聪明，对大多数话题都更加熟悉的人在帮助自己。它将赋予我们每个人更大的权力。

抵达人类文明的新高度

ChatGPT不会拥有人类的创造力，没有意识和动机，即使他学会了推理，但AI以他不断进化的能力，帮助人们拓展文明的边界，帮助人们抵达文明新的高度。物理学家大卫·布儒斯特，他在目睹了国际象棋机器人及其引起的科学探索之后，说了一句意味深长的话：“那些本来为了取悦普通人而发明出来的自动化玩具，现在正在用于开拓我们人类的能力并将文明带向更新的境界。”

Stuart Russell：目前的人工智能系统没有通用性，因为电路无法很好地捕捉通用性。我们已经在大型语言模型很难学习算术的基本规则中看到了这一点。尽管有数百万个例子，之前击败人类的人工智能围棋系统还是无法正确理解 “大龙” 和 “死活” 的概念，作为业余围棋选手的研究员开发出了一套策略，战胜了围棋程序（“20230223 绝艺”）。

《Sparks of Artificial General Intelligence: Early experiments with GPT-4》

8.2 Lack of planning in arithmetic/reasoning problems

GPT-4：7 * 4 + 8 * 8 = 88

作者用 100 个随机样本对模型进行了测试，在 0 到 9 之间均匀生成四个数字，得到的准确率只有 58%。这只涉及到个位数的乘法和两位数字的加法，一个具备基本数学知识的小学生就能解决这个问题，当数字在 10 ~ 19 之间和 20 ~ 39 之间均匀选择时，准确度分别下降到 16% 和 12%，当数字在 99 和 199 之间时，准确度下降到零。

《哥德尔、埃舍尔、巴赫：集异璧之大成 Gödel, Escher, Bach: An Eternal Golden Braid》Hofstadter

CHAPTER XIX Artificial Intelligence: Prospects

Ten Questions and Speculations

Question: Will a thinking computer be able to add fast?（智能计算机是否能更快地做加法？）

Speculation: Perhaps not. We ourselves are composed of hardware which does fancy calculations but that doesn’t mean that our symbol level, where “we” are, knows how to carry out the same fancy calculations. Let me put it this way: there’s no way that you can load numbers into your own neurons to add up your grocery bill. Luckily for you, your symbol level (i.e., you) can’t gain access to the neurons which are doing your thinking-otherwise you’d get addle-brained. To paraphrase Descartes again:

“I think; therefore I have no access to the level where I sum.” （我思，故我无法进入我算的层次）

Why should it not be the same for an intelligent program? It mustn’t be allowed to gain access to the circuits which are doing its thinking otherwise it’ll get addle-CPU’d. Quite seriously, a machine that can pass the Turing test may well add as slowly as you or I do, and for similar reasons. It will represent the number 2 not just by the two bits “10”, but as a full-fledged concept the way we do, replete with associations such as its homonyms “too” and “to”, the words “couple” and “deuce”, a host of mental images such as dots on dominos, the shape of the numeral ‘2’, the notions of alternation, evenness,

oddness, and on and on … With all this “extra baggage” to carry around, an intelligent program will become quite slothful in its adding. Of course, we could give it a ‘ pocket calculator , so to speak (or build one in). Then it could answer very fast, but its performance would be just like that of a person with a pocket calculator. There would be two separate parts to the machine: a reliable but mindless part and an intelligent but fallible part. You couldn’t rely on the composite system to be reliable, any more than a composite of person and machine is necessarily reliable. So if it’s right answers you’re after, better stick to the pocket calculator alone-don’t throw in the intelligence!

扩展一下：泛化能力/鲁棒性与出错/幻觉/胡话、原理黑箱是通用智能的一体两面（2.2.1.1.3 容错、自修复、鲁棒性）。

有些场景中，大模型的一些现有缺陷对商用的影响没那么大，甚至可能是助益。如强调个性化和趣味性的聊天应用 character.ai 创始人说：“我并不认为幻觉是需要解决的问题，我甚至很喜欢它，这是模型有趣的特点。” 在  character.ai 做的 “角色扮演” 聊天场景中，幻觉是想象力的源泉。但对另一些容错很低的行业，如医疗诊断、自动驾驶、工业自动化，幻觉却危害显著。

群集模型系统：在凯文·凯利《失控：机器、社会与经济的新生物学》一书中描述了复杂系统的进化、涌现和失控。人类大脑的神经网络、蚁群、蜂群这类系统的动作是从一大堆乱哄哄却又彼此关联的事件中产生的。从群体中涌现出来的不是一系列个体行为，而是众多个体协同完成的整体动作。AI 大模型也符合群集系统的特点。由于缺乏中心控制，群集系统效率相对低，如大模型就存在信息冗余，且不可预测、不可知、不可控。但缺乏中心控制也带来了可适应、可进化、无限性和新颖性的优势，因此大模型能通过涌现自学新技能。

06 延展大问题：如何让数学、编码和逻辑更可靠 我们尚未完全理解GPT-4的能力源于何处

赫伯特·西蒙(Herbert Simon)：“从行为系统的角度来看，人类相当简单。我们随时间表现出的行为复杂性很大程度上源于我们所处环境的复杂性。”

有时，当规模足够大时，复杂行为会从最简单的组成部分中涌现。

08 聪明的科学 从基础研究方面转化为临床实践问题

把基础生物学中的大语言模型（如Alphafold2）与大量包括生物医学知识在内的人类语言表达（如GPT-4）整合在一起。这种回报可能表现为一种全面的大语言模型——我们称之为“全知博士”(Dr.One-With-Everything)，它整合了蛋白质结构、其他基本的生物数据库（如基因调控和人类基因变异）、临床前研究以及临床试验的设计与实施。在21世纪30年代中期，这种包罗万象的模型很可能成为生物医学研究的核心智能工具。过去200年中形成的基础科学研究、药物发现、临床需求评估和临床研究等领域彼此孤立的状态将无法适用于全知博士这种广泛的概念整合者。

结语　欣赏AI的奇迹，人类智慧和无尽雄心的见证  悲伤的阶段

OpenAI对AGI的定义：“在大多数有经济价值的工作中胜过人类”。

拒绝相信大语言模型可能具有“智能”的自然冲动极为强烈：预测下一个词语是什么竟然能导致智能产生！智能一直是智人生存的主要优势，进化可能使人类物种对其赋予了极高的价值，因此，我们可能本能地认为带来智能的机制宏伟且庄严。就我个人而言，我确实天生就相信智能的架构必须具有高度复杂性和异质的结构。我相信，一定存在更高层次的符号结构，而这些结构一定是构成我们认知能力的基础。但是，也许正如我们无论如何都无法通过意志力让大脑看透一种已经被解释得很清楚的错觉一样，我们也可能被迫去相信诸如因果推理、常识推理、数学问题解决、规划、自我激励、目标设定等事务，是基于比大语言模型背后复杂的数字结构更复杂的结构实现的。GPT-4是否会迫使我们面对一个可能性，即智能产生的机制比我们曾经认为可能的情况要简单得多？

塞巴斯蒂安·布贝克的文章，对比了GPT-4对人类认知的冲击与哥白尼发现地球并非宇宙中心，以及沃森和克里克发现所有生命都是由四种碱基序列定义的相似之处。这些科学发现都挑战了我们对人在自然秩序中的地位的自负。

合作伙伴关系

作为一个社会的成员，乃至一个物种，我们需要做出一个选择。我们要想清楚我们是要因为害怕AI带来的风险和明显的危害可能性而限制甚至扼杀它？还是要屈服于AI，任由它自由取代我们，削弱我们的能力和需求？抑或是我们要从今天开始，共同塑造我们的AI未来，以期实现单凭人类或AI无法实现，而人类与AI结合却可以完成的目标，达到更高的成就？这个选择权掌握在我们手中，而且很有可能在未来不到10年的时间里就需要做出决定。

《Sparks of Artificial General Intelligence: Early experiments with GPT-4》

中文

到底发生了什么？What is actually happening?

对 GPT-4 的研究完全是现象学的：研究者们专注于 GPT-4 可以做的令人惊讶的事情，但没有解决它为什么以及如何获得如此惊人的智能这一基本问题。它是如何推理、计划和创造的？当它的核心仅仅是简单的算法组件——梯度下降，和具有极其大量数据的大型 Transformer，为什么它表现出如此普遍而灵活的智能？  它挑战了大家对学习和认知的理解，激发了大家的好奇心，并激发了更深入的研究，而一个关键的研究方向就是对于 LLM 涌现机制的探索。

然而，尽管人们对 LLM 的能力问题产生了浓厚的兴趣，但迄今为止的进展非常有限。一个普遍的假设是大量的数据（特别是内容的多样性）迫使神经网络学习通用的和有用的「神经环路」，而大尺寸的模型为神经环路提供了足够的冗余和多样性，以支持专业化和微调到特定的任务。为大规模模型证明这些假设仍然是一个挑战，而且，几乎可以肯定的是，猜想只是答案的一部分。从另一个角度来看，模型的巨大规模可能会带来其他一些好处，例如通过连接不同的最小值或简单地实现高维数据的平滑拟合，从而使梯度下降更加有效。总的来说，阐明 GPT-4 等人工智能系统的性质和机制是一项艰巨的挑战。

是什么让ChatGPT变得如此聪明？仍然未知的大语言模型“能力涌现”现象

当我们不断加大模型规模时，大语言模型表现出：

1. 大语言模型从海量自由文本中学习了大量知识，并且是在不断积累的。在知识密集型任务上，随着模型规模增长而带来的效果提升，还没有看到尽头，这也意味着只要我们不断扩大，AI处理这类任务的能力还会提升。
2. 涌现出新能力。

第一类：上下文学习ICL（In Context Learning，2022年初正式提出）。ICL的关键思想是不对模型参数进行调整，而是给大模型几个示例，AI就可以从类比中学习。论文：OpenAI《Language Models are Few-Shot Learners》https://arxiv.org/pdf/2005.14165.pdf；华盛顿大学、Meta、Allen Institute for AI《Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?》https://arxiv.org/pdf/2202.12837.pdf

第二类：思维链CoT（Chain of Thought），是大语言模型推理能力的重要来源之一。论文：Google Brain团队《Chain of thought prompting elicits reasoning in large language models》https://arxiv.org/pdf/2201.11903.pdf

目前涌现仍然是黑箱，我们对能力涌现的机制与方向还所知甚少。

针对涌现最核心的论文是以下两篇：

Google+DeepMind+Stanford等《Emergent Abilities of Large Language Models》（大语言模型的涌现能力）https://openreview.net/pdf?id=yzkSU5zdwD

UCLA 3位教授《Emergent Analogical Reasoning in Large Language Models》（类比推理能力在大语言模型中的涌现）https://arxiv.org/pdf/2212.09196.pdf

从 AlphaGo 到 GPT，注定坎坷的通用人工智能之路

OpenAI 推测，涌现也许是一种类似进化的机制。Ilya Sutskever的论文《学习生成评论并发现情感》中提到，当给了足够的模型容量、训练数据和计算时间后，GPT 大模型内部自行产生了一个情感分析功能单元，能准确辨别文字是在表达喜悦、悲伤还是愤怒。（类似于《AI3.0》“机器“观察”到的东西有时与我们截然不同”：网络学会的是将具有模糊背景的图像分到“包含动物”这一类别，无论该图像是否真的包含一只动物。）

论文认为，这有可能是因为能辨别情感色彩，对 GPT 更好完成其目标，即预测下一个词有很大帮助。就像人类为了生存繁衍这个单一目标，进化出了复杂的生理特征和文化习俗，那些更适宜生存、让种群扩大的特点会被保留，涌现可能就是这样一个类似自然选择的进化过程。而进化的另一面是失控，能进化的东西，本身不会是完全可控和可以提前设计的。进化不光创造新技能，也可能创造出幻觉。学会使用一个正在快速进化的黑箱工具，是人类以前没遇到过的课题。我们需要在接受、理解和适应失控的前提下，寻找可控的部分，避免商业风险和更大的风险。

2023冷门歌手：孙燕姿，2023热门歌手：AI孙燕姿。

一夜之间，“AI孙燕姿”火遍全网

关于“AI孙燕姿”，2023-05-22孙燕姿本人在她网站的blog作出回应：“我的 AI”。

英文原文

中文翻译（Translation courtesy of joyapple）

当我正在为自己凸出的肚子和孩子们的日常琐事烦心时，AI孙燕姿已正式“出道”，于是我决定来写一些对它的感想。
我的粉丝们都已跳槽，也同时接受我就是一名冷门歌手的事实，而我的AI角色也成为了目前所谓的顶流。毕竟该怎么跟一个每几分钟就能推出一张新专辑的“人”比呢？
无论是ChatGPT、AI或叫什么名字都无所谓，这个“东西”能够通过处理海量的信息，同时以最连贯的方式拼接组合手头的任务，来模仿和/或创造出独特而复杂的内容。等一下，这不就是人类已经在做的吗？之前我们一直坚信，思想或观点的形成是机器无法复制的任务，这超出了它们的能力范围，但现在它却赫然耸现并将威胁到成千上万个由人类创造的工作，比如法律、医学、会计等行业，以及目前我们正在谈论的，唱歌。
你可能会反对，说自己还是能分辨，它既没有情绪，也没有音调（或任何你能想得到的专业术语）的变化。很抱歉，我怀疑这只会是个非常短暂的反应。
讽刺的是，人类再怎么快也无法超越它。没有人类能够获得如此大量的信息并且在正确的时机做出正确的决策，或者犯下正确的错误（OK，或许我想得有点太远）。这项新技术将能够为每个人提供他们所需要的一切，无论是独立的、扭曲的还是疯狂的，都可能会有一种专门为你创作的独特内容。你并不特别，你已经是可预测的，而且不幸的是，你也是可塑的。
此时此刻，我觉得自己像是一个在吃着爆米花、坐在电影院最好的位置上的观众。（顺便说一句：这种情况下，很可能没有任何技术能预测我本人是什么感受，直到这篇文章出现在网络上）。这就像看那部改变了我们生活的电影《瞬息全宇宙》，有别于电影的是，爱并不是拯救这一切的关键。
在这无边无际的汪洋大海中存在，凡事皆有可能，凡事皆无所谓，我认为思想纯净、做自己，已然足够。

和菜头翻译版本

和菜头点评：孙燕姿作文赏析

河森堡关于AI的一篇微博：https://weibo.com/5992829552/MCeqg2YK5

1、“GPT并行开了12个屏幕的游戏，每个屏幕都以7倍的速度对战，这意味着AI在以近百倍的速度学习反馈”：《黑客帝国》中的学习过程变成真的了。

2、AI高水平地做了大量的重复工作，让人有时间、有能力（AI能够做的底层工作就可以固化封装）在更高层面上去探索。同时AI可以极大地提升人类的学习、创新效率（林亦以前几个月做的工作，现在只需要1周时间）。现在还看不到AI完全自主的创新能力。

“ AI不会淘汰人，只会淘汰不会使用AI的人。”

林亦用GPT玩《街霸2》的视频见：https://weibo.com/tv/show/1034:4890912753647738?from=old_pc_videoshow

生成式预训练大模型表现出了 “随模型规模增长，学会更多新技能” 的规律。这种前所未有的无师自通是大模型更强通用性的主要来源。

随着参数从 80 亿增长到 5400 亿， Google PaLM 大模型学到了多个新技能。

《AI3.0》

10游戏只是手段，通用人工智能才是目标

哈萨比斯：通用人工智能可以根据自身的经验和数据来学习如何做事。

DeepMind对于其在AlphaGo项目上取得的成果的最为重要的声明：“我们的结果全面地证明了一个纯粹的强化学习方法是完全可行的，即便在最具挑战性的领域，不用人类的示例或指导，除基本规则之外不提供任何其他领域的知识，程序也有可能训练到超人类水平。”

在机器学习领域，有一个充满前景的学习方法，那就是“迁移学习”（transfer learning），它是指一个程序将其所学的关于一项任务的知识进行迁移，以帮助其获得执行不同的相关任务的能力。人类从一种任务到另一种任务的能力迁移看起来毫不费劲，我们对所学知识进行泛化的能力正是思考的核心部分。迁移学习的本质就是学习本身。与人类形成鲜明对比的是，当今人工智能领域中的大多数学习算法在相关的任务之间是不可迁移的。

国际象棋或围棋这样的游戏可以教会人们如何更好地思考：如何进行逻辑思考、抽象推理和战略规划。这些都是能够让人受用一生的能力，也是可以在所有事情中使用的通用能力。AlphaGo并没有学会更好地“思考”除围棋之外的其他任何事情。除了围棋之外，它不具备任何思考、推理和规划的能力。它所学到的能力没有一项是通用的，也没有一项可以被迁移到任何其他任务上。

尽管AlphaGo等深度Q学习系统已经在某些细分领域上取得了超人类的表现，但是它们缺乏一些对人类智能而言非常基本的东西，比如抽象能力、“域泛化”（domain generalization）能力，以及迁移学习能力，如何使系统获得这些能力仍然是人工智能领域最重要的开放问题之一。这些系统并未以人类的方式来学习的另一个原因是：与监督学习系统一样，这些深度Q学习系统极易受到对抗样本的攻击。对输入做出某种人类无法察觉的微小改变会严重损害程序的表现。

扩展：AI需要对“通用的学习能力”进行学习（二阶学习）。现阶段AIGC方面取得了一定的通用能力泛化的进展，但还需要有一个“通用的学习能力”方法的质变的过程（类似于Transformer之与NLP）。

AutoML-GPT: Automatic Machine Learning with GPT

https://mp.weixin.qq.com/s/DGrWcoJv2AQXiL_bNM8z0Q

https://papers.labml.ai/paper/35151be0eb2011edb95839eec3084ddd

二阶神经网络的一个例子：ToT（Tree of Thoughts思维树）

论文地址：https://arxiv.org/abs/2305.10601

https://mp.weixin.qq.com/s/1SswD6i6lGxKAvU-pzz-6A

《ChatGPT的前世今生》

《ChatGPT背后的语言模型简史》

用GPT-4解释了GPT-2三十万个神经元 《Language models can explain neurons in language models》

GPT-2 神经元图

LLM主要的超参数有：词表大小（Vocab_Size）、最大位置编码大小（Max_Position_embeddings）、隐层节点数大小（Hidden_Size）、隐层数（Num_Hidden_Layer）、注意力头数（Num_Attention_Heads）。

《ChatGPT 的训练过程解析》
模型+训练（PreTrain）：“人工标注数据+强化学习”（RLHF，Reinforcement Learning from Human Feedback ）。四个人工专家调优/训练的主要阶段：Pretraining 预训练、Supervised Finetuning 有监督微调、Reward Modeling奖励建模、Reinforcement Learning强化学习 

《State of GPT：Andrej揭秘OpenAI大模型原理和训练过程》