2.2.1.3.9.1 大语言模型真能“理解”语言吗

https://mp.weixin.qq.com/s/yKPgi9fkTpaITSvVPuOhnA

对于“智能系统如何进行理解”的问题存在一个有趣分歧:依赖统计相关性的心智模型与依赖因果机制的心智模型。

  • 要理解“挠痒痒”,就是要把一个词映射到一种感受上,而非映射到另一个词上。
  • “类人水平的理解”基于概念——关于外部范畴、情境、事件的内部心理模型,以及关于个体自身内部状态和“自我”的内部心理模型。这些模型使人类得以将自己的知识和经验抽象化,以便进行稳定的预测、概括、类比,组合推理、反事实推理、积极干预世界以验证假设、并向他人解释自己的理解。
  • 人类概念的确切本质究竟是什么:概念究竟是领域特定(domain-specific)且先天决定的,还是更加通用且后天习得的?概念在多大程度上是基于具身的隐喻,在多大程度上是通过动态的、基于情境的刺激在脑中表征,又是在何种条件下以语言、社会学习和文化为基础?
  • 人类理解(无论是个体还是集体的理解)的轨迹是对世界高度压缩的、以因果关系为基础的模型的发展,人类似乎对这种形式的理解有很强的天然驱动力,无论是在科学领域还是在日常生活中。这种形式的理解需要较少的数据、简化的模型、清晰的因果关系,以及对机制的强直觉(mechanistic intuition)。
  • “大语言模型是否有理解能力”这一争论的关键问题如下:
    (1)讨论这些系统能否“理解”是不是犯了范畴错误(category error)——将语言个例(token)之间的联结误认为是物理、社会和心理经验个例之间的联结?简言之,是不是说,这些模型永远不可能具有理解能力?
    或者反之(2)有没有一种可能,这些系统(或它们的后继者)在缺乏物理经验的情况下,实际上已经创造出了某种基于概念的(concept-based)、对人类理解能力而言至关重要的丰富心智模型?如果确实如此,扩展这些已有的模型,或许就能够产生更接近我们期望的概念?
    又或者(3)如果说这些系统目前无法产生这些概念,要是将其规模扩大到难以想象的程度,那么扩大后的超大规模统计相关系统能否产生出相当于人类理解功能的能力?亦或是更进一步,超大规模的系统能产生全新形式的、人类难以通达的高阶逻辑?如果到了这个地步,我们还有理由说这类相关性是“虚假的”,这类解决方案是“捷径”吗?
  • 在某些情况下,大语言模型在心智理论(theory-of-mind)测试中表现出类人的反应,也在推理测试中表现出类人的能力和偏见。如果把为人类设计的测试应用在大语言模型上,那么对结果的诠释就会有赖于对人类认知的预设,而这些预设对大语言模型来说可能完全不成立。若要取得进展,科学家就需要开发能适用于各种不同类型智能和理解机制的新基准和新探测方法。

我们有必要扩展现有智能科学的边界,如此才能容纳更宽泛意义上“理解”的概念,使之既适用于人类,也适用于机器。正如神经科学家特伦斯·赛诺夫斯基所指出的,“专家们对大语言模型智能的不同看法表明,基于自然智能的旧理念已经有所欠缺了”。如果大语言模型和类似模型能以一种前所未有的规模利用统计相关性来工作,那么或许这也能被视为一种新的“理解”形式,一种能带来超人般预测能力的“理解”形式。正如Deepmind的AlphaZero和AlphaFold系统,它们分别在国际象棋和蛋白质结构预测的领域带来了如同“外星人”般的直觉。未来我们需要面对的挑战就在于,开发新的科学方法,以揭示不同形式智能如何理解的具体机制,厘清它们的优势和局限,并学习如何整合这些多样化的认知模式。

发表回复

您的电子邮箱地址不会被公开。