2.2.1.6.4 智能体版《苦涩的教训》:从人类数据时代到经验时代

《Welcome to the Era of Experience》David Silver,Richard Sutton

https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf

https://mp.weixin.qq.com/s/Rl-YUOIMxmpw_Ca6vf2YxA

人类数据正在见顶,经验是下一个超级数据源,真正能推动AI跃升的数据,必须随模型变强而自动增长。唯一的解法是经验本身:
✔️ 经验是无限的
✔️ 经验能突破人类知识边界
✔️ 经验流才是智能体的本地语言
未来AI不是“提示词+知识库”,而是“行动+反馈”的循环体。我们正从“人类数据时代”跨入“经验时代”,这不是模型升级,不是RL算法迭代,而是一种更根本的范式转折:
→ 从模仿人类到超越人类
→ 从静态数据到动态经验
→ 从监督学习到主动试错
经验才是通往真正智能的钥匙。

学习常识的基础也应该是经验《2.2.1.5 下一个AIGC:AIGCs》

2.2.1.10 复杂目标与新时代图灵测试

《浪潮将至》穆斯塔法·苏莱曼,迈克尔·巴斯卡尔
第二部分 下一场浪潮
第四章 智能技术
能力:新时代的图灵测试

我们真正想知道的是,我们能否给人工智能一个模糊、开放且复杂的目标,这个目标需要理解力、判断力、创造力、决策力以及横跨多个领域的行动力。人工智能能否实现这样的目标?

简言之,新时代的图灵测试可能会考察人工智能能否独立完成这样的任务:在几个月内,用10万美元的投资赚取100万美元。为了达成这个目标,人工智能需要自行研究互联网市场趋势,掌握亚马逊等电商平台上的热门和冷门商品信息;生成一系列潜在产品的图像和设计方案;把这些产品设计资料交给它在电商平台上找到的代发货制造商;通过电子邮件与制造商进行沟通,细化要求并商定合同;设计销售界面;根据买家的反馈不断更新营销材料和产品设计。除了作为商家需要在市场和银行开户的法律要求之外,上述所有这些步骤完全由人工智能完成。

目前的主要挑战在于如何推进人工智能开发者所称的“分层规划”​,即将多个目标、子目标和能力整合到一个无缝的流程中,服务于一个单一的目标。一旦分层规划得以实现,人工智能的能力将进一步获得显著提升,它将能够被嵌入一个企业或组织及其所有的历史数据和实际需求中,从而能够执行诸如游说、销售、制造、招聘、计划等任务。简言之,公司能做的所有事情,人工智能都能胜任,只需要少数的人类管理者来负责监督、复核。

因此,我们不应过分纠结于人工智能的意识问题,而应重新将讨论焦点集中在人工智能的近期能力发展及其未来几年的演变趋势上:人工智能逐渐能够独立完成复杂的、多步骤的端到端任务。可以称那样的时刻为“人工能力智能”​,即人工智能可以在最低程度的监督下完成复杂的目标和任务。这样的系统能利用其他数据来源(如第三方的知识、产品或供应链组件数据库等资源),把多个行动安排整合成长期的计划和方案,以追求更为复杂和开放的目标,比如设立并运营一个电商市场商店。所有这一切都将极大地扩展人工智能工具的使用,提升其执行一系列广泛的复杂实用任务的能力。这便是真正具备能力的人工智能。