AI视觉新范式：Rex-Omni如何终结目标检测旧时代？

type

status

date

slug

summary

引言

在人工智能（AI）的视觉感知领域，一个终极目标始终悬而未决：创建一个能理解任意自然语言指令、精准定位万物的通用模型。长期以来，这一领域被两大范式主导，却又各自深陷困境。以Grounding DINO为代表的传统回归模型，定位精准但语言理解能力有限；而新兴的多模态大模型（MLLM）虽具备强大的语义推理能力，其定位精度却一直饱受诟病。现在，来自IDEA研究院的Rex-Omni模型横空出世，以一种颠覆性的姿态，宣告了这一僵局的终结。本文将深入剖析这个仅有3B参数的大模型，如何系统性地解决了MLLM的固有缺陷，并在多项基准测试中首度超越传统强者，为下一代通用视觉感知系统指明了方向。

传统检测模型的瓶颈与MLLM的困境

要理解Rex-Omni的突破性，我们必须先审视当前目标检测领域的两大核心挑战。

传统回归模型的“语义天花板”：像DETR和Grounding DINO这类模型，通过坐标回归实现像素级的精确定位，堪称定位专家。然而，它们的“大脑”——语言理解模块——相对简单。当你要求它检测“桌上那个红色的苹果”时，它可能只能识别出所有的“苹果”，无法理解“红色”这一精细描述或“在桌上”的空间关系。这种类别级别的检测能力，远未达到真正理解复杂人类指令的目标。

* MLLM的“定位与行为缺陷”：另一方面，基于LLM的MLLM模型，如Qwen-VL，拥有强大的语言天赋，理论上是实现通用目标检测的理想载体。它们将连续的坐标空间离散化为一个个Token进行预测，概念上非常优雅。但在实践中，这种方法带来了两大顽疾： 1. 几何离散化挑战：将连续的像素坐标强行转换为离散的分类问题，本质上违背了空间的连续性。微小的预测偏差在交叉熵损失下会被放大，严重阻碍了模型学习精确定位。 2. SFT行为调控缺陷：标准的监督微调（SFT）训练方式是一种“教师强制”模式，模型被动学习“标准答案”。这导致在自主推理时，模型缺乏对自身输出的全局把控，容易产生大量重复预测、漏检或预测一个覆盖全图的无效大框等“坏习惯”。

正是这两个相互交织的根本性难题，使得MLLM在很长一段时间内“空有智慧，却手眼不协调”。

Rex-Omni的核心革新：三大支柱重塑视觉感知

Rex-Omni的成功并非源于单一技术的改进，而是一套系统性的组合拳，通过任务、数据和训练三大支柱的设计，完美融合了LLM的强大理解力与精确的几何感知能力。

1. 统一任务框架：“下一个点预测”

为了解决“几何离散化”的难题，Rex-Omni提出了一个极为简洁的统一框架——“下一个点预测”。无论是目标检测（输出边界框）、实例分割（输出多边形）还是点选定位，所有任务都被统一为生成一个坐标序列。模型架构基于Qwen2.5-VL-3B，仅将词表中1000个不常用Token替换为代表0到999的坐标Token，用4个Token即可高效表征一个边界框。这种设计不仅统一了任务范式，还为后续的优化奠定了基础。

2. 定制化数据引擎：构建高质量监督信号

AI模型的性能离不开高质量数据。Rex-Omni团队构建了包括Grounding、Referring、Pointing在内的多个自动化数据引擎，生成了规模庞大且语义丰富的训练数据。这些数据不仅包含简单的类别标签，更有细粒度的指代表达式和点级监督，让模型在2200万张高质量图像上进行训练，从而学习到深层次、实例级别的空间推理能力。

3. SFT + GRPO：革命性的两阶段训练

这是Rex-Omni实现性能飞跃的“杀手锏”。它摒弃了单一的SFT训练，引入了创新的SFT + GRPO两阶段范式：

第一阶段（SFT）：在大规模数据上进行监督微调，让模型掌握基础的坐标预测能力，就像一个勤奋的学生在课堂上学习基础知识。

第二阶段（GRPO）：在少量高质量数据上，采用基于几何感知的强化学习策略优化（GRPO）进行后训练。GRPO引入了IoU（交并比）等几何奖励函数，让模型在自主生成输出后获得直接反馈。这就像一位经验丰富的教练，通过实战演练纠正学生的错误行为，激发其内在潜能。

GRPO直接针对SFT阶段遗留的“行为缺陷”和“几何精度”两大痛点进行优化，从根本上解决了重复预测、漏检等问题，并将离散的Token预测与连续的几何精度紧密挂钩。

GRPO：解锁MLLM定位潜能的关键钥匙

实验结果令人震惊：仅需极少量数据和训练步骤，GRPO就能让模型性能实现陡峭的跃升。这背后的原因并非简单的“像素微调”，而是深层次的“行为矫正”。

解锁而非学习：SFT阶段的模型其实已经具备了强大的定位“潜能”，但被“教师强制”的训练方式所束缚。GRPO通过奖励反馈机制，像一把钥匙，解锁了这些潜能，让模型学会在没有“标准答案”的情况下做出最优决策。

系统性行为矫正：GRPO的巨大贡献主要体现在纠正SFT模型的“坏习惯”上。

消除重复预测：SFT模型极易产生重复框，而GRPO训练后的模型几乎能自动避免冗余输出。

纠正“大框”谬误：在密集场景下，SFT模型倾向于预测一个无效的大框来“偷懒”。GRPO通过几何奖励强力抑制了这种行为（从20.5%降至3.5%），迫使模型去精准定位每一个微小目标。

提升高质量输出概率：SFT模型有能力生成精准的预测，但在贪心解码时往往选择了次优解。GRPO的作用是显著提升模型采样到那些高质量、正确答案的概率，使其在实际应用中更加可靠。

全面超越：Rex-Omni的实战表现

在COCO、LVIS等核心检测基准的零样本评估中，Rex-Omni的性能首次超越了Grounding DINO等开放集专家模型，证明了离散预测的MLLM在定位精度上完全可以与回归模型正面抗衡。

更重要的是，Rex-Omni展现了惊人的全能性：

密集与小物体检测：在VisDrone等极具挑战性的密集场景中，Rex-Omni性能在所有MLLM中位居榜首，精准识别和定位大量微小对象。

对象指代与点选：在需要深度语义理解的RefCOCOg和需要精确定位的Object Pointing任务上，Rex-Omni均取得了顶尖性能。

跨领域泛化：在GUI定位、版面分析和OCR等任务中，Rex-Omni同样表现出卓越的性能，证明了其统一框架的强大泛化能力。

结论

Rex-Omni的诞生，不仅仅是AI领域又一个SOTA模型的出现，它更代表着一种系统性的解决方案和一种全新的范式。它通过创新的“下一个点预测”框架、高质量数据引擎以及革命性的SFT+GRPO两阶段训练，成功证明了多模态大模型（MLLM）有能力克服其固有的几何与行为局限，实现强大语言理解与精确视觉感知的完美融合。

Rex-Omni首次在零样本目标检测上超越传统回归专家，为下一代强语义、高精度的通用视觉感知系统树立了新的标杆，也为整个人工智能领域的发展提供了有力的基线和清晰的方向。这预示着，一个由LLM驱动、能够看懂并精准操作物理世界的AGI时代，正加速向我们走来。

想要获取更多前沿AI资讯和深度解读，欢迎访问AI门户网站 https://aigc.bar。