AI长任务翻车真相：非推理之过，乃行动之失 | AI资讯

type

status

date

slug

summary

重新定义失败：推理无罪，执行是“锅”

长期以来，业界普遍将大模型在长时程任务中的失败归咎于其推理或规划能力的缺陷。然而，剑桥的研究团队提出了一个全新的视角：即使拥有完美的计划和知识，模型在执行过程中也可能因为“不稳”而出错。

为了验证这一点，研究人员设计了一套巧妙的实验，将任务的“规划”与“执行”彻底解耦。他们为模型提供了明确的计划（例如，每一步需要检索哪个键值）和所需的全部知识，只要求模型严格按照指令一步步执行并累加计算。这样一来，测试的便是纯粹的“执行力”。

结果令人震惊： * 几乎所有主流模型（如Qwen3、Gemma3家族）在任务的第一步都能达到100%的准确率，证明它们完全理解任务并具备单步推理能力。 * 然而，随着任务步骤（轮次）的增加，即使是表现最好的模型，其完成整个任务的准确率也急剧下降。例如，顶尖的Qwen3-32B模型在15轮内准确率就跌破了50%。

这有力地证明，大模型并非“不会思考”，而是在连续行动中“手抖”了。它们拥有清晰的蓝图，却在构建大厦的过程中一步步偏离了轨道。

致命的“自条件化”：一步错，步步错的恶性循环

为什么模型的执行准确率会随着任务变长而衰减？研究人员发现了两个主要原因：长上下文退化和一种更隐蔽、更具破坏性的效应——自条件化（self-conditioning）。

长上下文退化比较好理解，即上下文窗口变长后，模型处理信息的能力会下降。但“自条件化”则更为致命。它指的是，当模型的历史上下文中包含了它自己犯下的错误时，它在后续步骤中犯下更多错误的概率会显著增加。

这就像一个滚雪球的效应：一个微小的失误污染了上下文，导致模型对自己产生了“怀疑”或“路径依赖”，从而陷入一种“犯错惯性”中，最终导致任务彻底失败。研究人员通过反事实实验（即人为向上下文中注入错误）证实，自条件化是独立于长上下文退化之外的一个关键失败因素。

规模并非万能药：大模型也难逃“犯错惯性”

面对性能瓶颈，业界最常见的解决方案就是“大力出奇迹”——扩大模型规模。研究发现，扩大模型参数量确实能够显著缓解“长上下文退化”问题。参数量达到千亿级别的顶尖模型，如Kimi-K2、DeepSeek-V3等，在处理上百轮次的无错误历史上下文时，几乎能保持完美的准确率。

然而，一个令人警醒的发现是：即便是这些最前沿的大模型，也无法免疫“自条件化”效应。 当它们的历史记录中被注入错误时，其性能同样会持续下降。这表明，简单地增加模型规模并不能根治大模型在执行长任务时的“犯错惯性”。无论是OpenAI的ChatGPT系列，还是Claude等先进模型，都可能面临这一底层挑战。

破局之路：“先思考，后行动”的力量

既然扩大规模不是最终答案，那出路在何方？研究团队在“思考模型”（Thinking Models）上找到了希望。这类模型被训练在输出最终答案之前，先生成一步步的思考或推理过程（类似于思维链，Chain-of-Thought）。

实验结果带来了巨大的惊喜： * 修复自条件化：启用“思考”模式的Qwen3模型，其执行准确率在面对含有大量错误的历史上下文时，依然保持稳定，完全不受自条件化效应的影响。 * 任务视界指数级增长：不带思考的DeepSeek-V3模型执行2步都困难，而其“思考版”R1模型却能稳定执行超过200步。GPT-5 Thinking和Claude-4-Sonnet等模型的单轮可执行步数更是达到了惊人的上千步和数百步。

这背后的原因可能有两个： 1. 任务导向：通过强化学习训练的“思考”模式，使模型更专注于任务的最终成功，而不是简单地模仿和延续上下文中的模式（包括错误模式）。 2. 隔离影响：每一轮独立的思考过程，可能切断了先前错误对当前步骤的直接负面影响，让模型能够“重新开始”。

这一发现对于我们如何设计和使用大模型，尤其是在构建复杂的AI智能体（Agent）方面，具有深远的指导意义。它告诉我们，优秀的提示词（Prompt）工程和引导模型“先想后做”的策略，是提升AI可靠性的关键。

结论

剑桥大学的这项研究，为我们深入理解大模型的行为模式和失败原因提供了宝贵的洞见。它清晰地指出，通往更强大、更可靠的通用人工智能（AGI）的道路，不仅需要提升模型的推理能力，更要着力解决其在长时程任务中的执行稳定性问题。

“自条件化”效应的发现，揭示了AI在连续决策中的一个核心弱点。而“先思考，后行动”的解决方案，则为下一代AI架构和训练方法指明了方向。未来，我们期待看到更多能够稳定、可靠地完成复杂任务的AI智能体出现，真正成为我们工作和生活中的得力助手。想要持续追踪AI领域的最新突破，欢迎关注 https://aigc.bar，获取每日AI日报和深度分析。