AI成为主脑科学家（AI-masterbrain Research）：AI介导的五阶段科学革命（The Five Stages of AI-involved Scientific Revolution）
LeCun：AI将带来人类的新文艺复兴，一种新的启蒙运动，因为AI将放大每个人的智力。这就像每个人都有一群比自己更聪明，对大多数话题都更加熟悉的人在帮助自己。它将赋予我们每个人更大的权力。
ChatGPT不会拥有人类的创造力，没有意识和动机，即使他学会了推理，但AI以他不断进化的能力，帮助人们拓展文明的边界，帮助人们抵达文明新的高度。物理学家大卫·布儒斯特，他在目睹了国际象棋机器人及其引起的科学探索之后，说了一句意味深长的话：“那些本来为了取悦普通人而发明出来的自动化玩具，现在正在用于开拓我们人类的能力并将文明带向更新的境界。”
《AI 为什么会有创造力？范畴论刻画大模型创造力的来源》
https://mp.weixin.qq.com/s/CcEH7b0lyBci-GxhzJ08jA
「AI 科学家」
https://mp.weixin.qq.com/s/r5UVcMPFwAxKO9FRmnCaEQ
《大模型如何改变自然与社会科学》
https://mp.weixin.qq.com/s/qHF1-_u44ghaGZQNbHWODw
二、AI + Science 狂飙突进
第一类：用大模型整理信息
第二类：用大模型发现因果
第三类：反事实地产生新知识：《Nature速递：基于大语言模型的自动化学研究》
https://www.nature.com/articles/s41586-023-06792-0
https://pattern.swarma.org/paper/a6117a4e-9f8b-11ee-bc79-0242ac17000e
（5）处理需要同时使用多个硬件模块和整合不同数据源的复杂科学任务；（6）解决需要分析先前收集的实验数据的优化问题。后两项试图回答如果不这样会发生什么的反事实问题。
从CoT（Chain-of-Thought，链式思考）到CLoT
https://mp.weixin.qq.com/s/k8iH1ZM8sUc_B8gK-MKYDw
Think outside the box：非顺序、创造性思维范式——跳跃思维Leap-of-Thought（LoT）
从模仿到创新——LLM的创造过程
人工智能与人类在协作创造性方面的结合，为未来的工作和生活方式带来了新的可能性。LLMs可以作为人类创造性思维的延伸，帮助人类跳出传统思维定势，激发新的想法和解决方案。同时，人类可以利用自己的直觉、经验和情感理解，指导LLMs进行更加深入和人性化的创造活动。这种人机协作模式不仅能够提高创造性产出的质量和效率，还能够推动人类社会向更加智能和创新的方向发展。
https://mp.weixin.qq.com/s/ceVbuaQ0qa32ya-pICwE5g
《Characterising the Creative Process in Humans and Large Language Models》
https://arxiv.org/pdf/2405.00899
LLM写的塔勒布对大模型的批评性思考
1. 常识与创造性思维的对立。LLM质上是保守的工具，生成的是“最有可能的解释”。它们设计的目的是提供共识观点的近似反映，反映了它们所训练数据中固有的偏见、局限和成见。在塔勒布的复杂系统与“反脆弱性”世界观中，最有可能的解释往往是最没用的。市场成功的例子并不是源于保守行事或遵循传统智慧，而是来自于踏足不可预测、未知的领域。这种不可预测性是LLM无法应对的，因为它们依赖于从互联网上已有的大量信息中提取的统计平均值。
科学和创新依赖于颠覆偏见、局限和成见，进步发生在我们修正和挑战现有信仰时，而不是简单地重复它们。LLM依赖于概率和现有数据，被限制在“最有可能”的领域，而不是“最具创新性”的领域，限制了其提供革命性见解的能力。
2. 一个递归陷阱：LLM正在消耗和塑造数据
随着LLM生成越来越多的内容，这些内容越来越多地充斥网络，未来的LLM不可避免地会在其训练中使用其先前生成的输出——“自我舔舐的棒棒糖”。这可能会创造一个递归陷阱，AI模型逐渐依赖于自己重复的信息，逐渐稀释了网络内容的多样性和原创性。随着时间的推移，这种反馈循环可能导致一种思想同质化的形式，使得新颖的、独辟蹊径的想法变得更加稀少。这种输入和输出的混合可能会侵蚀人类知识体验的丰富性，思想的多样性面临更大的风险。
3. 计算器类比
LLM可以比作计算器——一种自动化重复性、琐碎任务的工具，从而解放人类思维，进行更具创造性和智力要求的工作。LLM成为人类专家的有力伙伴，让专业人员可以专注于更高阶的任务。
4. 对塔勒布观点的批评
塔勒布的批评可能没有完全考虑到LLM的适应性和潜在创造力。LLM在合适的数据输入下能够生成新颖而有见解的内容（如AlphaGO的“神之一手”）。LLM并不是静态工具，未来的迭代版本可能会整合更多的发散思维机制或新颖的创意生成机制。
对递归学习循环：随着AI的不断发展，过滤掉LLM训练数据集中低质量或重复内容的方法可以减轻这种风险。
https://xkmato.substack.com/p/are-llms-just-chatty-calculators
https://mp.weixin.qq.com/s/BMC9vF8MG8A2vKd1TxRZeQ
LLM会忽略人群的多样性，无法表现出显著性差异，无法复现道德规范网络：
– 目前流行的大语言模型无法模拟出认知过程的跨文化差异。
– LLM在回答心理学调查的问题时变化幅度较小。
– GPT是否真的形成与人类类似的道德体系也是值得怀疑的。
https://mp.weixin.qq.com/s/2OyEYXa7kf6KuETGldeYIg
“Perils and opportunities in using large language models in psychological research.” PNAS nexus 3.7 (2024): page245
LLM生成的idea新颖性优于人类
「LLM在研究创意生成」能力的统计显著结论：LLM生成的想法在新颖性方面优于人类专家的想法（p < 0.05），但在可行性方面略逊一筹。 https://arxiv.org/pdf/2409.04109
https://mp.weixin.qq.com/s/_5ob8m_LUni1YbOaEGncaA
ChatGPT o1方法性能无上限
OpenAI用o1推理算力Scaling Law能走多远？数学证明：没有上限。斯隆奖得主马腾宇以及Google Brain推理团队创建者Denny Zhou联手证明，只要思维链足够长，Transformer就可以解决任何问题。
https://arxiv.org/abs/2402.12875
https://mp.weixin.qq.com/s/4sK6NzCiYEjIamC7CHN3GA
人类的联想、顿悟、发散思维、触类旁通等等形式的创新，也可能就是两组/多组神经元间的RAG（Retrieval-augmented Generation 检索增强生成）。
《旧时光，新技术》https://mp.weixin.qq.com/s/69yZQWz6njt_bi2t-kqG1w
“AI的终极创造力不在于生成答案，而在于重构人类提问的语法——它将科学发现从“假说验证”的有限维度解放，进入“可能性涌现”的无限游戏，从而重写知识生产的底层代码。”
https://weibo.com/1915548291/PipcmCB1y
https://mp.weixin.qq.com/s/5pAa0orDpQHIYK38QWeJfQ
Demis Hassabis：
我认为创造力有三个层次，人工智能能够做到前两个层次。第一个层次是插值：你给它一百万张猫的照片——一个人工智能系统，一百万张猫的照片——然后你说：“给我画一只原型猫。”它只会对它见过的所有一百万张猫的照片取平均值，而那个原型猫不会出现在训练集中，所以它会是一只独一无二的猫，但从创造力的角度来看，这没什么意思，这只是平均数。
第二点是我所说的外推法。这更像 AlphaGo，它玩过 1000 万盘围棋，也看过几百万盘人类围棋比赛，然后它从已知知识中推断出一个前所未见的新策略，比如“第 37 步”。这已经非常有价值了。我认为这才是真正的创造力。
但还有第三个层次，我称之为发明或跳出思维定式，也就是说，你不仅能想出“第 37 步”，还能发明 AlphaGo。或者我喜欢用的另一个衡量标准是，如果我们回到 1900 年，也就是 20 世纪初爱因斯坦的时代，一个人工智能系统真的能用爱因斯坦当时掌握的相同信息来推导出广义相对论吗？显然，今天的答案是否定的，它无法发明出像围棋这样伟大的游戏，也无法仅凭爱因斯坦当时掌握的信息就发明广义相对论。所以，我们的系统仍然缺少一些东西来支持真正的突破思维定式。但我认为它终将到来，只是我们目前还没有。