中兴Nebula模型揭秘：AI如何让你的手机变身终极私人秘书 | AI资讯

type

status

date

slug

summary

破局数据困境：构建GUI智能体的坚实“粮仓”

任何强大的大模型（LLM）都离不开海量高质量数据的哺育，GUI Agent尤其如此。然而，该领域长期面临着严峻的数据瓶颈：

数据稀缺：高质量的中文GUI交互数据极度匮乏，与百万级的英文数据集形成鲜明对比。

标注低效：传统的人工标注不仅效率低下，而且难以捕捉触摸坐标、UI元数据等关键信息，更无法记录复杂的决策“思维链”。

质量堪忧：人工标注的主观性强，导致数据泛化能力差，难以应对真实世界中APP界面的动态变化。

为了攻克这一核心难题，中兴并未选择“坐等”，而是自研了一套完整的端到端数据制备系统。这套系统如同一座高效的“数据粮仓”，为Nebula模型的训练提供了源源不断的优质“食粮”。其核心组件包括：

一体化数据标注工具：将截屏、操作、标注、核查等流程整合为自动化流水线，将数据标注效率提升了整整3倍，同时保证了数据的精度与丰富度。

自动化数据PIPELINE：通过AI技术对人工标注的数据进行“再加工”，丰富语言表达、补全思维链，系统性地提升了数据的多样性与逻辑完整性。

全时数据飞轮：这是一个强大的自动化数据生成平台，通过集中管控和智能调度，让实体手机和虚拟机7x24小时不间断地自动执行任务、生成轨迹数据。这使得训练数据中超过90%都来自于自动化生成，彻底摆脱了对人力的重度依赖，实现了数据规模的指数级增长。

从“看见”到“执行”：监督微调打造会思考的AI

一个优秀的GUI Agent不仅要能“看见”屏幕上的内容，更要能“理解”用户意图并“执行”具体操作。传统多模态模型在这一点上往往力不从心，它们能识别图标，却无法理解其功能；能描述屏幕，却无法将“帮我订一张明天去上海的机票”这样的复杂指令拆解为一系列精准的点击和输入。

中兴通过系统性的监督微调（SFT），成功地将一个通用模型“调教”成了一个懂思考、会执行的GUI操作专家。这一过程分为几个关键阶段：

构建中文“视界”：针对开源模型中文能力不足的问题，中兴自主构建了百万级规模的中文GUI数据集，覆盖数十款主流APP和数百种高频场景，让模型首先学会精准“看懂”中文界面。

指令与执行的精准映射：通过构建数十万的“指令-操作”数据对，并引入执行思维链和创新的图像思考机制，模型学会了将模糊的口头指令（如“点个外卖”）转化为精确的UI操作，单步操作准确率超过95%。

规划复杂任务：对于需要多步完成的复杂任务，中兴通过标注大量的APP轨迹数据，训练模型的规划与反思能力。其独创的自适应思考模式，能让模型根据任务难度自行决定是否输出思考过程，兼顾了准确性与效率。

学会自我纠错：真实APP环境充满不确定性，如广告弹窗、页面跳转等。通过引入多图训练和状态转移理解，Nebula模型具备了强大的自我反思和纠错能力，能在操作失误或遇到意外情况时，自主判断并返回正确的任务流程，极大提升了系统的鲁棒性。

超越模仿：双层强化学习锻造“自主进化”能力

监督微调虽然强大，但其本质仍是“模仿”。模型只是在复现训练数据中的操作模式，缺乏真正的判断力和对用户意图的深层理解。为了让“小秘书”拥有更强的智能和适应性，中兴引入了更前沿的双层强化学习（RL）范式，让模型从“模仿者”进化为“探索者”。

第一层：离线步骤级强化，精细化引导

传统强化学习的奖励机制过于粗糙（通常只有成功或失败），导致学习效率低下。中兴设计了一套多维度的连续性奖励信号，对模型的每一步操作进行精细化打分：

准确性奖励：基于点击位置与目标控件的相对距离和大小，给予平滑的奖励，引导模型学习精准定位。

置信度奖励：模型在执行每一步时，会预测最终任务的成功率，这个概率值本身就成为一种奖励，激励模型选择最优路径。

一致性奖励：通过一个专门的奖励模型，判断模型的“思考”与“行动”是否一致，解决了“说一套做一套”的问题。

第二层：在线任务级强化，在实战中进化

仅依赖离线数据无法应对真实世界的动态变化。中兴利用其“数据飞轮”系统，让模型在真实环境中大量执行任务，进行在线强化学习。通过一个强大的任务级轨迹奖励模型，系统可以即时评估整个任务流程的优劣，并利用稀疏奖励分配机制，激励模型不仅要完成任务，还要以更高效、更简洁的方式完成，从而在实战中不断自我进化，变得更智能、更鲁棒。

从技术到现实：赋能未来的手机智能体验

从在权威基准测试AgentCLUE-mobile中斩获银牌，到成功在努比亚Z70 Ultra等旗舰手机上商业落地，“一句话订票”、“一句话拍照”等功能已经成为现实。中兴Nebula-GUI模型的成功，标志着“手机变身私人小秘书”已从一个人工智能概念，稳步走向了大众的日常生活。

未来，随着这项技术的不断成熟和覆盖场景的持续扩展（如购物比价、旅游规划等），GUI Agent有望成为连接用户与海量APP服务的核心枢纽，真正成为手机的“超级入口”。这不仅将彻底改变我们的手机使用习惯，更将为智能办公、自动化流程等领域带来深刻变革。想要紧跟AGI时代的步伐，了解最新的AI变现模式和技术动态，请持续关注 https://aigc.bar，获取第一手AI资讯。