2.2.1.3.7 创新

by admin

AI成为主脑科学家（AI-masterbrain Research）：AI介导的五阶段科学革命（The Five Stages of AI-involved Scientific Revolution）

论文

中文解读


杨立昆访谈

LeCun：AI将带来人类的新文艺复兴，一种新的启蒙运动，因为AI将放大每个人的智力。这就像每个人都有一群比自己更聪明，对大多数话题都更加熟悉的人在帮助自己。它将赋予我们每个人更大的权力。


抵达人类文明的新高度

ChatGPT不会拥有人类的创造力，没有意识和动机，即使他学会了推理，但AI以他不断进化的能力，帮助人们拓展文明的边界，帮助人们抵达文明新的高度。物理学家大卫·布儒斯特，他在目睹了国际象棋机器人及其引起的科学探索之后，说了一句意味深长的话：“那些本来为了取悦普通人而发明出来的自动化玩具，现在正在用于开拓我们人类的能力并将文明带向更新的境界。”

一个有关“2.2.1.3.7 创新”的想法

  3. 《大模型如何改变自然与社会科学》
    https://mp.weixin.qq.com/s/qHF1-_u44ghaGZQNbHWODw
    二、AI + Science 狂飙突进
    第一类：用大模型整理信息
    第二类：用大模型发现因果
    第三类：反事实地产生新知识：《Nature速递：基于大语言模型的自动化学研究》
    https://www.nature.com/articles/s41586-023-06792-0
    https://pattern.swarma.org/paper/a6117a4e-9f8b-11ee-bc79-0242ac17000e
    （5）处理需要同时使用多个硬件模块和整合不同数据源的复杂科学任务；（6）解决需要分析先前收集的实验数据的优化问题。后两项试图回答如果不这样会发生什么的反事实问题。

    回复

  5. 从模仿到创新——LLM的创造过程
    人工智能与人类在协作创造性方面的结合，为未来的工作和生活方式带来了新的可能性。LLMs可以作为人类创造性思维的延伸，帮助人类跳出传统思维定势，激发新的想法和解决方案。同时，人类可以利用自己的直觉、经验和情感理解，指导LLMs进行更加深入和人性化的创造活动。这种人机协作模式不仅能够提高创造性产出的质量和效率，还能够推动人类社会向更加智能和创新的方向发展。
    https://mp.weixin.qq.com/s/ceVbuaQ0qa32ya-pICwE5g
    《Characterising the Creative Process in Humans and Large Language Models》
    https://arxiv.org/pdf/2405.00899

    回复

  6. LLM写的塔勒布对大模型的批评性思考
    1. 常识与创造性思维的对立。LLM质上是保守的工具，生成的是“最有可能的解释”。它们设计的目的是提供共识观点的近似反映，反映了它们所训练数据中固有的偏见、局限和成见。在塔勒布的复杂系统与“反脆弱性”世界观中，最有可能的解释往往是最没用的。市场成功的例子并不是源于保守行事或遵循传统智慧，而是来自于踏足不可预测、未知的领域。这种不可预测性是LLM无法应对的，因为它们依赖于从互联网上已有的大量信息中提取的统计平均值。
    科学和创新依赖于颠覆偏见、局限和成见，进步发生在我们修正和挑战现有信仰时，而不是简单地重复它们。LLM依赖于概率和现有数据，被限制在“最有可能”的领域，而不是“最具创新性”的领域，限制了其提供革命性见解的能力。
    2. 一个递归陷阱：LLM正在消耗和塑造数据
    随着LLM生成越来越多的内容，这些内容越来越多地充斥网络，未来的LLM不可避免地会在其训练中使用其先前生成的输出——“自我舔舐的棒棒糖”。这可能会创造一个递归陷阱，AI模型逐渐依赖于自己重复的信息，逐渐稀释了网络内容的多样性和原创性。随着时间的推移，这种反馈循环可能导致一种思想同质化的形式，使得新颖的、独辟蹊径的想法变得更加稀少。这种输入和输出的混合可能会侵蚀人类知识体验的丰富性，思想的多样性面临更大的风险。
    3. 计算器类比
    LLM可以比作计算器——一种自动化重复性、琐碎任务的工具，从而解放人类思维，进行更具创造性和智力要求的工作。LLM成为人类专家的有力伙伴，让专业人员可以专注于更高阶的任务。
    4. 对塔勒布观点的批评
    塔勒布的批评可能没有完全考虑到LLM的适应性和潜在创造力。LLM在合适的数据输入下能够生成新颖而有见解的内容（如AlphaGO的“神之一手”）。LLM并不是静态工具，未来的迭代版本可能会整合更多的发散思维机制或新颖的创意生成机制。
    对递归学习循环：随着AI的不断发展，过滤掉LLM训练数据集中低质量或重复内容的方法可以减轻这种风险。
    https://xkmato.substack.com/p/are-llms-just-chatty-calculators
    https://mp.weixin.qq.com/s/BMC9vF8MG8A2vKd1TxRZeQ

    回复

    1. LLM会忽略人群的多样性，无法表现出显著性差异，无法复现道德规范网络：
      – 目前流行的大语言模型无法模拟出认知过程的跨文化差异。
      – LLM在回答心理学调查的问题时变化幅度较小。
      – GPT是否真的形成与人类类似的道德体系也是值得怀疑的。
      https://mp.weixin.qq.com/s/2OyEYXa7kf6KuETGldeYIg
      “Perils and opportunities in using large language models in psychological research.” PNAS nexus 3.7 (2024): page245

      回复

  9. 人类的联想、顿悟、发散思维、触类旁通等等形式的创新，也可能就是两组/多组神经元间的RAG（Retrieval-augmented Generation 检索增强生成）。
    《旧时光，新技术》https://mp.weixin.qq.com/s/69yZQWz6njt_bi2t-kqG1w

    回复

  11. https://mp.weixin.qq.com/s/5pAa0orDpQHIYK38QWeJfQ
    Demis Hassabis：
    我认为创造力有三个层次，人工智能能够做到前两个层次。第一个层次是插值：你给它一百万张猫的照片——一个人工智能系统，一百万张猫的照片——然后你说：“给我画一只原型猫。”它只会对它见过的所有一百万张猫的照片取平均值，而那个原型猫不会出现在训练集中，所以它会是一只独一无二的猫，但从创造力的角度来看，这没什么意思，这只是平均数。
    第二点是我所说的外推法。这更像 AlphaGo，它玩过 1000 万盘围棋，也看过几百万盘人类围棋比赛，然后它从已知知识中推断出一个前所未见的新策略，比如“第 37 步”。这已经非常有价值了。我认为这才是真正的创造力。
    但还有第三个层次，我称之为发明或跳出思维定式，也就是说，你不仅能想出“第 37 步”，还能发明 AlphaGo。或者我喜欢用的另一个衡量标准是，如果我们回到 1900 年，也就是 20 世纪初爱因斯坦的时代，一个人工智能系统真的能用爱因斯坦当时掌握的相同信息来推导出广义相对论吗？显然，今天的答案是否定的，它无法发明出像围棋这样伟大的游戏，也无法仅凭爱因斯坦当时掌握的信息就发明广义相对论。所以，我们的系统仍然缺少一些东西来支持真正的突破思维定式。但我认为它终将到来，只是我们目前还没有。

    回复

    1. 《九年前，有两个人替我们提前经历了AI焦虑》
      https://mp.weixin.qq.com/s/nUhUu6VMtY-9flf2YEUsyg
      纪录片里专门给了一个他抽烟的镜头，他不知道AlphaGo马上要下出那步惊天的37手。那个画面特别安静，有一种面对着即将碾压自己的对手时的宿命感。我总觉得那个画面是一种隐喻，事实上，我们每个人都在那个露台上。人抽烟的时候，机器不会等待。黄博士代表AlphaGo落下了著名的“神之一手”——第37手：五路肩冲。

      回复

      1. 今日，在 AlphaGo 击败前人类冠军李世石 10 周年之际，DeepMind 创始人、AlphaGo之父、诺贝尔奖得主 Demis Hassabis 发布了一篇文章，回顾了 10 年来从棋局到生物学及更广阔领域的影响。
        Demis 在 X 上写道：十年前，AlphaGo 在首尔的传奇对决宣告了人工智能现代时代的开启。其著名的“第 37 手”昭示着人工智能技术已准备好应对科学等领域的现实世界难题，而这些方法所启发的理念对构建通用人工智能至关重要。
        https://mp.weixin.qq.com/s/lse7Hn-UfeBwVbfFGvrOtA

        回复

  12. 《无穷的发现：目标从解释世界到创造意义》
    https://mp.weixin.qq.com/s/WViR39SaxFyoqDFF76l_Yw
    https://diffuse.one/p/d2-001
    科学发现本质上是人类撰写、供人类阅读的叙事（ scientific discoveries are fundamentally narratives written by humans, for humans ）。可供我们发现的资源是无限的，而我们将什么提升为”新颖的科学发现”，是一个基于人类偏好的选择（ what we elevate to be a “novel scientific discovery” is a human preference decision ）。科学发现是一种讲故事的活动（ Discoveries are story telling exercises ）。
    如果你将发现定义为预测模型（ discovery as a predictive model ），则存在许多工具（ 如贝叶斯层次模型 ）（ Bayesian hierarchical modelling ）来比较模型。这些方法在特定领域被常规使用，尽管通常它们的重要性次于实证表现（ secondary to empirical performance ）。这些工具在某种受约束的环境下是有用的。例如你只从某个特定分布中采样（ 比如观察一个单一的黑箱函数 ）（ a single black box function ），或者你面对的是一个有限集合的发现、需要对它们进行排序。
    这些都是非常基础、源自”无穷的发现之井”的发现（ These are all basic discoveries very much from the well of infinite discovery ）。它们可能是通往更好地控制 RNA，或更好地设计催化剂的持续路径的一部分，但其效用尚属未知，其重要性的提升来自科学家们基于兴趣的判断，而非其对人类的预期效用（ their utility is unknown and their rise to significance is from judgement of human scientists of interest, not expected utility on humanity ）。
    我相信，发现的速度并没有下降，我们也不会耗尽发现，但单个发现的平均效用正在下降（ the utility of an average discovery is declining ）。也许这只是因为我们仍然试图把发现塞进“一篇论文一个发现”的框架中；也许只是我过于犬儒和虚无（ cynical and nihilistic ），而每一代科学家都会觉得事情正在走向衰落。
    随着发现过程被机器人技术和 AI 自动化，人类科学家的角色将转向 “科学策展人”（ the role of a scientist will move towards a “science curator” ）。我们的职责是决定什么足够有趣，值得作为发现被报道（ Our role is to decide what is interesting enough to report as a discovery ）。

    回复

  13. 《结构不是存在的原因，而是认识得以稳定的结果》
    https://mp.weixin.qq.com/s/jwj6egHaqEKjnTL_kxiJCQ
    结构不是存在的原因，而是认识得以稳定的结果。所谓“结构”，从来不是被观察到的对象，而是被构造出来的解释框架。它是对现象的组织方式，而非现象本身的组成部分。结构的“真实性”，并不来源于其可见性，而来源于其稳定性与可重复性。科学认识并不是从“本质”出发的演绎过程，而是一条从不稳定走向稳定的路径。
    结构的功能在于约束我们的理解，而非生成世界本身。结构通过限定可能性空间，使世界变得可计算、可预测、可讨论。它并不告诉“世界为什么如此”，而是告诉：在什么条件下，可以合理地期待某种结果。
    科学危机并不源于“事实被否定”，而源于结构失去稳定性。当新现象无法被既有结构有效压缩，当预测能力显著下降，当调整代价超过可接受范围，结构便开始松动。范式转换，并不是对旧结构的否定，而是对其稳定区间的超越。这也解释了为什么在复杂系统、意识研究、社会科学等领域，结构始终呈现为多样、暂时且争议不断的状态。并非研究不严谨，而是因为在这些领域中，稳定性本身极难维持。结构并非静止的对象，而是认识在时间中不断形成与瓦解的过程性产物。每一种结构，都对应着一个特定历史阶段中的问题设置、技术条件与认知需求。当这些条件发生变化，结构的有效性也随之变化。
    科学不是通往终极实在的直线，而是一场在变化中不断寻找稳定的过程。结构，正是这一过程留下的痕迹。

    回复

  14. 当写作、创作与理解被高度程序化之后，人类如何重新界定自身的位置

    https://mp.weixin.qq.com/s/I8X_7gRhEQhaCUu0n1spPQ
    《生产劣质作品本就是人类的顽疾，AI只是把它放大了10000倍》

    菲利普·西德尼爵士（Sir Philip Sidney）在《诗辩》（An Apology for Poetry）中试图提炼卓越创意写作的本质。他的结论是，当写作真正奏效时，它既能教化读者，也能带来愉悦。相比神学、历史或哲学，文学以一种更易接近的形式，为“如何过好一生”提供指引。在这一意义上，创意写作确实是独特的。正因为这种独特性，至今仍无人能够将英语文学系长期积累的洞见，也就是“文学何以成立”，拆解为足够细致、可操作的规则，从而重新编码为大语言模型可以执行的指令，或供创意写作学生直接套用。其他艺术门类在这一方向上的探索，同样难言令人振奋。
    《书商》（The Bookseller）：“人工智能‘很可能’在2030年前创作出畅销书”。大语言模型很可能会率先进入类型文学（genre writing）领域，例如刑侦小说、间谍惊悚片和言情作品。这些写作类型本就依赖高度可识别、且已经被市场反复验证的叙事公式。LLM能够毫无心理负担地持续生产高度衍生的作品，而真正拥有这一优势的人类作家其实并不多。人工智能那种几乎无穷无尽、以规则为导向、以解决问题为目标的叙事生产能力，反而带来了一个意想不到的益处。它正在成为一种有力的工具，用来提醒我们，并非所有写作都具有同等的价值。

    至少在艺术领域，原创性（originality）始终被视为一种值得珍视的价值。人工智能的运作，本质上是概率性的。大语言模型所做的，是计算出“最可能出现”的词语序列。但恰恰是这种最可能的路径，最不可能通向真正伟大的写作。任何不满足于统计概率、而是在更深层的情感投入中真正创造新作品的人，无论这种共鸣最终以何种形式呈现，都更有可能与读者建立联系。
    我并不怀疑，大语言模型可以被要求去模仿所谓的“离经叛道”（transgression）。德尼·狄德罗（Denis Diderot）提出的“鹦鹉逻辑”：只要对理解的模拟足够令人信服，它就可以被视为理解本身。从这个意义上说，这些机器只是在不断伪装，直到有一天真的抵达。

    语言模型擅长给出最可能、最符合期待的回应，而这恰恰映照出一个长期存在于人类社会中的事实：大量表达本就建立在模仿、共识与惯性之上。真正难以被替代的，不是形式上的复杂，而是源于具体生活的感受、选择与承担。

    https://aeon.co/essays/sure-ai-can-do-writing-but-memoir-not-so-much

    回复

回复 admin 取消回复

您的电子邮箱地址不会被公开。