淘天Mobile-R1发布：3B模型超越32B，重塑AI智能体 | AI资讯

type

status

date

slug

summary

引言

在人工智能飞速发展的今天，AI智能体（Agent）被寄予厚望，期望它们能像人类一样熟练操作各种手机App，完成复杂任务。然而，现实却不尽如人意。许多顶尖的大模型在面对多步骤、长链条的指令时，往往在最初几步就“迷失方向”。这一瓶颈的核心在于，传统AI智能体大多依赖短视的“动作级奖励”，缺乏对任务全局的理解和规划能力。为了破解这一难题，淘天集团提出了一个革命性的框架——Mobile-R1，它通过引入“任务级奖励”，让一个仅有3B参数的模型，在实际表现中超越了32B的巨无霸模型，为AGI的实现路径提供了全新的思考。更多前沿AI资讯，欢迎访问AIGC导航站（aigc.bar）。

传统AI智能体的困境：为何一步错，步步错？

想象一下，你对一个AI助手下达指令：“打开飞猪，进入酒店套餐，浏览热门直播，找到‘飞猪超级VIP’并关注主播。” 这是一个典型的多步骤任务。然而，即便是强大的Qwen2.5-VL-3B-Instruct模型，在执行到第二步时也可能失败。

为什么会这样？根源在于其训练方式。传统的移动端AI智能体主要通过监督微调（SFT）或基于“动作级奖励”的强化学习进行训练。这种奖励机制的特点是“短视”，它只评估并奖励当前这一步操作是否正确。例如，模型成功点击了“飞猪”App图标，就获得奖励。

这种机制导致了两个致命缺陷： 1. 缺乏长远规划：AI无法理解整个任务的最终目标，它只关心眼前的“最佳动作”，导致行为短视，容易在复杂的决策路径中迷失。 2. 纠错能力弱：一旦某个步骤出错或遇到非预期的界面变化，AI很难从错误中恢复，因为它没有一个“最终任务是否成功”的更高层面的指引来修正自己的行为轨迹。

正因如此，传统AI智能体在动态、复杂的真实移动应用环境中显得力不从心，难以完成需要连贯思考和长程记忆的任务。

Mobile-R1的核心创新：任务级奖励机制

为了让AI智能体拥有真正的“思考力”，淘天团队提出的Mobile-R1框架引入了核心创新——任务级奖励（Task-level Reward）。

与只关注单步对错的动作级奖励不同，任务级奖励评估的是整个操作序列（轨迹）是否最终成功完成了用户的指令。这种奖励机制将AI的优化目标从“走对每一步”提升到了“完成总任务”。

具体来说，Mobile-R1将问题构建为一个允许AI在动态环境中自由探索和纠正错误的多回合马尔可夫决策过程。在训练的后期阶段，它会利用像GPT-4o这样的高精度多模态大模型作为“裁判”，来评估整个历史互动轨迹的逻辑一致性和任务完成度，并给予一个综合性的奖励分数。

这种机制的优势是显而易见的： * 鼓励探索与纠错：即使中间步骤有小的偏差，只要最终能找到正确路径完成任务，模型依然会得到正向激励。这极大地提升了AI的探索和适应能力。 * 培养全局视野：模型为了获得最终的任务级奖励，必须学会理解指令的整体意图，并规划出一条完整的、能够达成目标的行动路径。

精心设计的“三步走”训练法

一个创新的理念需要一个稳健的工程实现来落地。Mobile-R1的成功，离不开其精心设计的三阶段训练流程，这一流程确保了模型能够稳定、高效地学习。

第一阶段：格式微调 (SFT)

这是打基础的阶段。团队首先构建了一个包含4,635条高质量轨迹的中文数据集。他们通过人工标注，将模型的思考过程统一为“当前状态 + 下一步动作 + 动作目的”的清晰格式。然后，使用这个数据集对Qwen2.5-VL-3B模型进行监督微调。

这一步的目标是让模型学会“说人话、做人事”，即按照结构化的、可解释的格式输出其思考逻辑和具体操作，为后续更复杂的学习奠定基础。

第二阶段：动作级在线训练 (GRPO)

在打好基础后，模型进入了在线学习阶段。此阶段依然使用动作级奖励，通过群体相对策略优化（GRPO）算法，对模型的每一步操作进行精细打磨。奖励分为两部分： * 可验证动作奖励：确保点击、滑动、输入等操作的准确性。 * 格式奖励：确保模型的输出始终符合第一阶段设定的结构化格式。

这一步强化了模型执行单步任务的精确度，是保证任务成功率的基本功。

第三阶段：任务级在线训练 (GRPO)

这是Mobile-R1实现能力飞跃的关键一步，也是其核心创新所在。在这一阶段，奖励机制从“动作级”转变为“任务级”。模型在模拟环境中自由执行任务，训练框架会根据其整个行为序列是否最终完成目标来给予奖励。

如前所述，这个“最终裁决”由外部更强大的LLM（如GPT-4o）做出。同时，格式奖励依然存在，但对错误的惩罚更严厉，以确保模型在追求任务成功的同时，思考和行为依然保持清晰和规范。正是这一阶段的训练，赋予了Mobile-R1超凡的泛化能力和探索精神。

惊艳的实验结果：3B模型如何“逆袭”32B

实践是检验真理的唯一标准。实验结果显示，Mobile-R1的表现令人瞩目。

在自定义的中文基准测试中，基于Qwen2.5-VL-3B（3B参数）的Mobile-R1，其任务成功率达到了惊人的49.40%，比表现次优的AgentCPM-8B（8B参数）和Qwen2.5-VL-32B（32B参数）等一众基准模型高出近20个百分点。

这充分证明，一个更智能的训练框架远比单纯堆砌模型参数更有效。特别是经过第三阶段“任务级奖励”训练后，模型的成功率进一步提升，尤其是在处理未曾见过的App时，其泛化能力和鲁棒性远超其他模型。这表明Mobile-R1学会的不仅仅是机械地模仿，而是真正具备了一定的人工智能“思考”和解决问题的能力。

结论

Mobile-R1的出现，为AI智能体的发展指明了一个激动人心的新方向。它雄辩地证明，通过引入任务级奖励和交互式强化学习，我们可以用更小的模型实现更强的智能，克服传统方法中“只见树木，不见森林”的局限性。这不仅是模型训练技术的一次重大突破，也让我们对未来AI能够更深入、更智能地融入日常生活充满了期待。想要获取更多关于AI变现、Prompt工程和前沿AI技术的深度解析，请持续关注AIGC导航站（aigc.bar）。