AGI前夜的冷思考:为什么自进化大模型无法替代人类判断力?

type
status
date
slug
summary
tags
category
icon
password
网址
穿透技术狂热,追问机器如何重写文明的底层代码。本期是《沸腾之下》系列第02期
到 2026 年年中,AI 「研发自动化」的进度表,已经相当激进了。
在 Anthropic 6 月披露的报告中,Claude 已经接管了内部超过 80% 的代码编写。Mythos 模型在一段训练代码的优化任务上实现了 52 倍的加速,远超人类熟练研究员耗时数小时勉强做到 4 倍的水平。
在国内,MiniMax 的 M3 模型仅用 12 小时,就无人类干预地跑通了「数据合成、训练、评测到迭代」的全流程。面壁智能的 MiniCPM5 甚至借助 Agent 闭环,让模型自己写出了算力利用率比原生 Megatron 高 10% 的预训练框架。
这些都证明,行业在确确实实地推进递归式自我改进(RSI)的边界。
RSI,即模型实质性地介入「让自身变强」的完整研发链条。由其自己去定义目标、构建环境、编写代码、运行实验,并将验证成功的改进反哺给底层模型。
早在 1965 年,数学家 I.J. Good 就提出了「智能爆炸」的构想。我们上期的嘉宾当代最具影响力的哲学家之一尼克·博斯特罗姆(Nick Bostrom)等学者后续对超级智能演进路径的系统性推演中,RSI 始终是通向终极智能最核心的一环。
但过去十年,这仅仅是个思想实验,因为底层的模型能力根本无法支撑起这样一个进化的闭环。
但现在,随着模型的成熟,技术的底座已经快要合拢。
如果 AI 真的跨过自进化门槛,那么研究本身将如何变化?人的能力结构将如何转型?组织为什么还需要存在?
站在RSI的门槛上,这些问题都亟待需要被回答。
而田渊栋博士,可能是回答这些问题最适合的人之一。
他曾经长期在 Meta  FAIR 进行前沿 AI 研究,提出过对Grokking(模型突然变强)的阶梯解释。同时也产出了如强化学习、Self-Play自博弈、模型自优化和开放式探索等方向。
在2026年,他作为联合创始人加入了 Recursive AI 公司,这家公司正如其名,正是意图建立一套自进化的AI系统。
他既是自进化的专家、也是硅谷浪潮中组织变化的亲历者。
在这场变革的前夜,我们与他进行了一场长谈。我们试图拨开AI 自动化的迷雾,直击自进化系统当前的真实卡点。也试图探讨,当职场的成功路径从「带领一个百人团队」变成「驾驭一群 Coding Agent」时,个人与组织该如何重新确立自己的坐标。
站在新旧范式交替的悬崖边,他给出的答案,出人意料地带有某种存在主义的底色。
在田渊栋看来,试图在参数调优和执行效率上与机器赛跑,注定是一场必败的战役。当 RSI 彻底重塑智力分工的明天,人类最后的护城河,是那些无法被结构化外化的「深层理解」。
这包括对问题方向的敏锐嗅觉,是决定超级智能该往何处去的判断力(Taste),以及面对真实复杂境遇时,作为主体的不可替代性。
以下是我们的对话。
01
自进化 AI 的门槛是什么?
沸腾之下:现在自进化 AI 是很火的技术前沿问题。但很多公司其实已经在做自动化 AI R&D,尤其是后训练部分,agent 主导的数据合成、训练、评估、迭代都已经比较成熟。Recursive AI 想做的自进化 AI,和这些已经落地的自动化 AI R&D,核心区别是什么?
田渊栋:这些自动化 R&D 都是第一步。我们之后希望 AI 能发现新的算法、新的模式、新的架构、新的 data mix,甚至找到和现在 Transformer 架构很不一样的架构,通过这种方式找到下一代训练范式。
这是我们最高的目标。
沸腾之下:所以这是一个更 open 的过程?
田渊栋:对。最简单的 recursive 形式是调超参,但超参空间并不大。现在大模型很强,我们可以使用更大的搜索空间。
注:这里的“自动化 AI R&D”更多指把已有研发流程中的数据生成、训练、评估、调参等环节交给 agent 执行;而“自进化 AI”更强调系统能否发现新的算法、架构或训练范式,并将结果反馈到模型自身的改进中。二者的差别不在自动化程度,而在是否形成“改进自身”的闭环。
沸腾之下:我有一个不太成熟的理解:能不能把 AI 自进化理解成一个自动科学发现流程?先发现问题,再定义目标和 reward,再探索解决方法,再构造环境和所需数据,最后验证结果,并把改进保留下来。这个改进可以是外部形式,也可以是参数形式。你觉得这个理解对吗?
田渊栋:高层理解差不多。它相当于把研究员做研究的过程自动化。自动化之后,AI 找到新的洞察和想法,再放回原来的 AI 里,让 AI 变得更强。AI 变强之后,又可以继续自动化。大概就是这个逻辑。
它和 AI Scientist 的区别在于,AI Scientist 的目标可能是 AI 之外的东西,比如材料设计、药物设计。这些任务本身不涉及把 AI 改回去,没有自制、自我增强的路径。
我们更愿意找一些自制的应用做。如果我们发现新的预训练架构,就可以放回预训练,让模型变得更强。这是很多 AI Scientist 方向不具备的。
注:AI Scientist 通常指用 AI 自动化科学研究流程,例如提出假设、设计实验、写论文或解决材料、药物等外部科学问题。Recursive AI 关注的是更递归的版本:研究对象不是外部科学问题,而是 AI 自身如何继续变强。
沸腾之下:现在已经工业落地的自动化系统,大概覆盖了哪些部分?Recursive AI 想推进的是哪一部分?比如预训练有一部分自动化,调参也有自动化流程。哪些部分相对成熟,哪些还不成熟?
田渊栋:很难说哪些成熟、哪些不成熟。就算是调参,也可以调出很好的结果。如果你对参数空间理解得更深,模型或调参 AI 也许能发现一些更好的参数组合。
所以不是说调参永远是最低等的,最重要的是模型对问题有没有更好的理解。理解更好,调参也会有更深刻的意义。
具体行动空间不是衡量自进化强不强的唯一原因。
沸腾之下:更重要的是探索空间到底强不强?
田渊栋:对,探索空间,以及能不能在探索空间里找到惊人的发现。
很多大模型老师傅做研究时,看了很多信号之后,会形成对问题非常重要的洞察。这个洞察写下来,可能极大提高效率。洞察可以很简单,可以是调参数,也可以是改两行代码。
具体行动不重要,重要的是对问题有多深的理解。
注:“探索空间”可以理解为系统允许自己尝试的方案范围。调参、改代码、改数据配比、改架构都只是不同层级的行动空间;真正决定自进化能力的,是系统能否在这些空间里形成有效洞察,而不是动作本身看起来是否高级。
沸腾之下:AI 是一个很好的 pattern learner,它能总结已有内容中的概率和 pattern。包括自然科学发现,某种程度上也是递归式、归纳式的。
老师傅看了很多例子以后发现规律,再总结出来、做改进,照理说这应该是 AI 擅长的。但您在其他访谈里也提到,AI 自己的创新能力仍然有限。这里是不是有矛盾?
田渊栋:创新分层次。比较简单的创新,AI 已经很强了,甚至超过人。
比如把概念迁移过去,应用已有概念做重复工作,这些 AI 已经做得很好。
但在更复杂、更抽象的创新层次上,AI 还达不到人的水平。
这两者不一样。
沸腾之下:更复杂的创新大概是什么模式?比如有一种发现是递归性的,也有一种可能是偶然性的。AI 是不是不太能掌握这种偶然性,或者更高级的新发现?
田渊栋:可以看一些例子,比如伽罗华如何发现群论,爱因斯坦如何发现相对论甚至广义相对论。这些是在大量实验基础上形成的概念突破。
概念突破能解决很多之前无法解决的问题。有了这个概念之后,你问问题的角度、对问题的理解都会耳目一新。
现在 AI 还做不了这样的研究。
沸腾之下:是因为它还没有比较好的概念归纳和总结能力吗?
田渊栋:对,或者说它缺乏对新式结构的即时理解。它更多还是从过去的派生中做匹配。
当然,即使只是模式匹配,AI 在实用上已经很有用了。很多地方用简单模式匹配也能达到很好的效果。
如果最高方向暂时做不了,仍然会有很多应用落地场景。
沸腾之下:那以现在 AI 的自回归架构,它是否可能涌现出更高级的语义总结,或者更新 pattern 的理解?
田渊栋:以现在的大模型和训练算法,我觉得不太容易(做到对新结构的理解)。但如果找到新的算法,也许可以做到。
现在还在探索中。
注:“概念突破”不是在已有模式中做更好的匹配,而是改变问题本身的表达方式。田渊栋用群论和相对论作为例子,是为了说明真正高级的科学发现往往来自新的抽象框架,而不仅是从大量样本中归纳出局部规律。
02
如何跨过自进化 AI 的门槛?
如果说第一部分讨论的是“什么才算自进化”,那么这一部分讨论的是更工程化的问题,即怎样让系统真正跨过这道门槛?这里的瓶颈不只是算力,也不只是模型本身,而是一系列具体的工程步骤。
其中包括验证信号、人的 insight、反馈速度,以及系统如何把不同进化路径组织成一个可持续的闭环。
沸腾之下:一个比较现实的问题是,frontier-scale 模型一次训练可能以周或月为单位,非常贵。在这种情况下,研究团队到底如何判断一条训练路线是对的?
田渊栋:现在还是要靠老师傅看具体数字。一个模型从预训练开始,到RL,再做 RLHF,最后出厂。我们希望最终模型的指标很好,但最终参数指标和一开始预训练决策之间有什么关系,现在还不是很清楚。
所以还是要靠经验,靠过去的知识,找到好的方案,找到中间矩阵去衡量这个过程。
这样大家才有信心说之前的判断是对的。如果这个过程能够自动化,后面会更好。
沸腾之下:现在推动 AI 研究的主要瓶颈,是 GPU、集群稳定性,还是奖励信号、验证信号这些东西跟不上?
田渊栋:我觉得奖励信号和人的 Insight 更重要。
集群当然也重要,你需要一个最小集群规模才能入场,卡太少很难做事。但卡大到一定程度之后,最大的问题是怎样让每个人最大程度展现他的知识,发现新的 Insight。
注:reward signal 指训练或搜索过程中用来判断“做得好不好”的反馈信号。在编程题、数学题这类任务里,反馈往往比较清晰;但在研究路线、组织决策、长期产品判断中,反馈慢且模糊,自进化系统也就更难闭环。
沸腾之下:您之前在自优化上的研究,很多时候会让模型自己产生反馈信号,比如 self-play(自博弈)、Agent as a judge(Agent作为裁判)、meta-rewarding(元奖励)。你觉得模型或 Agent 自己能否成为一种跨任务的通用奖励(Reward)信号源?
田渊栋:模型可以提供一些信号。因为生成永远比判断难,判断比生成简单。
一个模型花很多力气生成很多数据,但判断起来会更简单一些。通过这种不对称性,总能在生成结果里找到一些问题,再让模型去改进。
但主要问题是,模型可能只能发现比较粗浅的信号。对于一些更高级、更复杂的大问题,模型不一定能发现。这就需要人。人有比较高的鉴赏能力,能找到模型找不到的重要信号。
沸腾之下:所以通用奖励(universal reward)或者通用验证器( universal verifier),当下还是两条路径:一条是基于模型自己作为验证器,另一条是靠人去写规则(Rubic)的模式?
田渊栋:对,这两个最后会结合。整个 loop 往往是一个对抗训练的过程:先跑,跑完发现问题,再加补丁,补丁之后再跑。
注:verifier 是“验证器”,用于判断一个结果是否正确或足够好;rubric 是人写的评分标准。模型自评可以覆盖大量样本,但容易停留在粗浅层面;人类 rubric 更能注入高层判断,但成本高、覆盖面有限。
沸腾之下:我看 Recursive AI 团队之前有很多关于自进化的研究,比如 Jeff Clune 参与的 Darwin Goedel Machine,是达尔文式进化加元学习;AI Scientist 更偏 tree search;你自己的研究偏 self-play;另外还有双层 agent、元学习等路径。它们看起来并不完全统一。
这些自进化方法背后有没有更统一的逻辑?
田渊栋:最后肯定会是综合性的模式。进化这条路上没有特别清楚的数学理论,也没有一个方案一定比另一个方案好。
我总可以举出一些例子,说明一个方案在某些情况下更好,在另一些情况下更差。现在很多时候还是在探索过程中。
沸腾之下:自进化现在可能有两条路径。一条是更偏参数的自进化;另一条是传统 RL,通过环境学习新知识,再积累,包括外部化积累,比如 skill evolve。你怎么看这两种模式?
田渊栋:强化学习不一定是唯一道路。强化学习只是训练模型、通过某种方式修改权重的一种方案。它现在依照马卡洛夫决策流程来建模整个过程,最终修改权重,得到更好的模型。
但所有进化方式最终还是要落实到权重修改上。权重修改本身有很多事情可以做,我们不会卡死在一个方法上,会比较灵活地做很多事情。
沸腾之下:multi-agent 训练逻辑和传统 Markov 逻辑也不太一样。后续多 agent 训练会有什么变化?
田渊栋:现在很多并不是多 AI,而是单 agent 多 context,这是一个比较标准的路径。
它可以拓展成多 model:某些模型在某些方面强,就用它做这件事;另一些模型在别的方面强,就换一个模型。
没有特别清楚的准则,最终还是看效果。
多一点 agent 或 model,视角不同,可能获得更一般化、更丰富的结果,这在某些方面是有利的。
注:这里提到的 self-play、tree search、强化学习、元学习、进化搜索,都是让系统在某种反馈下持续改进的路径。田渊栋强调的不是哪一种路线会胜出,而是最终都要落实到“如何让模型或系统状态发生有效更新”。
沸腾之下:在 AI 迭代任务的进化中,你认为整体系统设计更重要,还是基础模型能力更重要?如果基础模型受限,提不出太多创新内容,依赖系统和人工先验注入,可行吗?
田渊栋:一定会有人类先验注入。现在看起来,不可能做到 100% 由 AI 设计系统、100% AI 自进化,那还是比较遥远的将来。
现在能做的是,让人在里面花的时间越来越少,特别是在一些简单工作上。
沸腾之下:多智能体的智能性确实可能比单次大模型调用更高,但成本也很大。你觉得这种范式会一直保持吗?
田渊栋:我觉得会保持。很多事情没有办法缩减。比如你需要很多 subagent 去调研各种数据、去网上查东西,这些事情本来就要做。换一个 model 也还是要做。你要调研,就要把所有东西拿到台面上来分析。
所以未来 token 数会越来越多,我们需要很多 token 完成事情,这不会改变。当然,有些地方可以精简:让 agent 动作更高效,思维链更短、更紧致,不要绕大圈子。
最好的模型在思考时,思维链一般是短而精悍的。multi-agent 也会往这个方向发展。
沸腾之下:现在自进化系统里最重要的卡点是什么?如果不谈模型自己的限制,最大瓶颈是什么?这些卡点未来会变吗?
田渊栋:简单问题容易做,比如我们最近放出来的一些 kernel optimization(优化架构推理引擎),几秒或几分钟就能出结果。因为反馈很强,自进化系统能很快找到新方案。
难的是反馈慢的问题。如果你要发现一个模型,但训练特别慢,就很难完成快速迭代。
在大模型到来之前,我们在 Meta 做过类似工作,比如架构搜索、神经网络架构搜索,以及在解空间里寻找一个解来解决设计问题。这些和现在的进化方向高度一致。
以前的一些方案可以拿过来,在这里焕发新的生命。
比如如果训练一个模型特别慢,可以训练一个 supernet(超网络),用它快速估计新架构在数据集上的大概效果,不用真的完整训练这个模型。这样很多信号会更快出来。
总的来说,我们希望进化链条变得很快。我们的 Kernal optimization 也是一种提效手段,以后肯定还会有更多提效方法。
注:supernet 是神经架构搜索中常见的技巧,可以用一个更大的共享网络快速估计不同子架构的效果,从而避免每个候选架构都完整训练。
03
站在自进化 AI 门槛上的人
当 AI 开始参与研发自身,人类的价值不会只体现在“产出多少”上,而会更多体现在方向感、判断力、领域知识和提出关键问题的能力上。自进化 AI 的门槛越近,越需要重新区分哪些能力会被模型替代,哪些能力会被模型放大。
沸腾之下:现在有很多人都在提一个概念,叫 AI Native (AI原生)的人。在我看来,它似乎对应的是过去组织里那些自我动力强、目标感强、行动力强、反思性也强的人。
这样的人在过去的组织中,也往往是更有推动性、更有创新力的人。AI 到来以后,它给这些人带来的变化,和过去相比有什么不一样?
田渊栋:对这些人来说,AI 是天大的好消息。因为这类人往往思路很清晰,反应快,思维也很活跃。但在 AI 到来之前,他们一定需要很多人帮助自己把事情做成。他们思维很快、思路清楚,但仍然需要别人去执行。
现在 AI 来了之后,很多执行工作可以被 AI 代替。AI 可以帮他们执行,也可以帮他们学习一些原来不知道的新知识。
所以这些人的能力会被极大放大。如果能给他们一个足够好的舞台,他们的产出可能会出乎想象。
沸腾之下:在您的观察里,现在这些 AI Native 的人,原来在公司里通常是什么角色?他们更像是处在管理层和执行者之间,还是偏管理层一些?
田渊栋:很难简单归类。
管理层里有很多不同类型的人。有些人以前是技术骨干,曾经有很辉煌的成果,后来转去做管理、带团队,没有时间继续执行自己的很多想法。这类人在 AI 时代可能会被重新解放出来,真正去做自己想做的事情,并产生很大的产出。
但也有一些管理层的人,对技术兴趣不大了,对未来的思考也不够深入,他们就不太容易进入这个角色。
还有一类 AI Native 是年轻人。他们很有想法,很有冲劲,经验可能没那么丰富,但执行力和对 AI 的热情非常高,也可能成为 AI Native 的候选。
所以 AI Native 不是一个单一职位,而是一组特质。每个人可能在某些特质上特别强,某些特质上稍弱,但只要具备这些核心特质,就可以算作 AI Native。
注:AI Native 在这里不是“会用 AI 工具的人”,而是能把 AI 纳入自己思考和执行闭环的人。他们的核心特征不是熟练操作某个产品,而是目标感、方向感、反思能力和把想法快速落地的能力。
沸腾之下:AI 带来的能力方差到底会怎么变化?
现在有两种说法。一种说法是,AI 能协助人完成很多工作,即使一个普通工程师也可以做很多原来做不了的事,所以它会缩小普通人与强者之间的差距。另一种说法是,AI 会拉大差距,因为更强的人可以更好地使用 AI,并行执行更多想法,让个人能力更全面地扩张。你觉得哪种说法更靠谱?
田渊栋:这完全取决于一个人原来“不够强”的原因是什么。
如果一个人不够强,是因为他没有太大的动力和方向,那么 AI 对他的加持不会太大。
但如果一个人不够强,是因为他在一些小细节上不够专注,可是他对大方向有感觉,那他可能会被 AI 加强很多。
原来比较强的人也一样,要看他强在哪里。有些人非常努力,手头工作做得很细,但方向感不是很强。这样的人在 AI 时代,优势会和 AI agent 的生态位重叠。agent 来了之后,他们原来的优势就不会那么大,他们需要转型,把更多时间花在思考什么方向最重要,而不是继续花大量时间打磨手头工作。
另一类人思想很飞扬,有很多想法,但过去没有时间和精力完成所有想法。这类人在 AI 时代会非常受益。
所以它会出现两极...
Loading...

没有找到文章