强化学习之父Sutton创立Oak Lab：打破大模型瓶颈直通AGI

type

status

date

slug

summary

category

icon

password

网址

年近 70 岁的图灵奖得主、强化学习之父理查德・萨顿（Richard Sutton），宣布创业了。

本周一，Richard Sutton 宣布与 Khurram Javed 共同创立新公司 Oak Lab，要打破当前深度学习方式，用全新的理念构建 AGI。

Oak Lab 致力于开发能够通过自身第一人称经验独立、持续学习的 AI 智能体。这意味着 AI 不再依赖人类喂养的庞大数据集或静态训练，而是能像生物一样，在与环境交互的运行过程中（Run-time）实时试错、进化并自我完善。

之所以另辟蹊径，是因为当前的大语言模型（LLM）的扩展可能存在天花板。Richard Sutton 指出，当前大模型主要依赖海量的静态数据进行预训练，它们非常擅长模仿人类，但无法评估自身的输出结果，也不具备真正探索和发现的能力。

为此，Oak Lab 的核心方向就是推进萨顿提出的新架构OaK（Options and Knowledge，选项与知识）。Oak Lab 的终极目标是打造一个拥有万亿参数、并且能够在仅 20 瓦极低能耗下进行实时学习和规划的智能体，从而通过纯粹的经验累积通向超级智能（AGI）。

去年 8 月在 AGI-25 大会上，Richard Sutton 亲自阐述 OaK 架构的设计理念以及他对于如何通过经验实现超级智能的愿景。

作为《苦涩的教训》（The Bitter Lesson）的作者，近年来 Richard Sutton 时常对大语言模型持批评态度，认为大模型 Scaling Laws 并未完全贯彻他的思想，这背后是顶尖学者对于 AI 路线的根本理念之争。

Sutton 认为当前的大模型没有真正贯彻「通用计算 + 自主经验学习」的核心精神。真正的智能需要发现新知识，就像 AlphaGo 最初学习人类棋谱，但真正击败李世石并进化为 AlphaZero 的，是它通过强化学习在无数次自我对弈中探索出了人类从未见过的招法。Sutton 认为，AGI 必须具备通过试错（Trial and Error）产生增量知识的能力，而不仅仅是咀嚼已有数据。

其实在今年 1 月，DeepMind 的 AlphaGo 之父、Sutton 的学生 David Silver 已经宣布创业，Silver 的理念与他的导师类似，也是希望通过强化学习让 AI 学会通过与环境互动、自我博弈和纯粹的经验来生成新知识。

LLM 的本质是序列预测，它并不真正理解物理世界的因果关系。Sutton 提出的 OaK 架构追求的是运行时（Run-time）的持续学习。AI 应该像生物一样，在与世界交互的每一秒都在更新自己的内部模型，而不是依赖人类定期喂给它的数据集。

它的核心是让智能体建立关于环境的内部「世界模型」，并利用这些模型去预测自己行为的长期后果。这种基于选项（Options, 即在时间上延伸的动作）的长期规划能力，是目前基于注意力机制的 Transformer 架构极难内生实现的。

Richard Sutton 目前担任加拿大阿尔伯塔大学（University of Alberta）的计算机科学教授。他曾与安德鲁・巴托 (Andrew Barto) 共同荣获 2024 年 ACM 图灵奖。作为现代强化学习的奠基者之一，数十年来始终围绕「机器如何持续学习」展开研究。

自早期的时序差分学习和 Dyna 架构开始，他不断尝试减少学习对固定训练流程和人工设定的依赖。

近年来，他与 Khurram Javed 密切合作，将注意力转向在线学习中的稳定性与适应性问题。他们共同开展的 SwiftTD、Swift-Sarsa 等工作，尝试让系统自主调节学习速度，并从大量不断变化的输入中识别真正有用的信息。

如今，Oak Lab 可以被看做他将学术主张进一步推向实践的大胆尝试。

文章来自于"机器之心"，作者 "泽南、山辉"。