大模型具身推理能力大揭秘：4496道难题直指核心短板 | AI新闻

type

status

date

slug

summary

引言

具身智能（Embodied AI）正迅速成为人工智能领域的下一个重要前沿。它要求AI不再仅仅是处理文本和图像的数字大脑，而是能够像人类一样，在真实或虚拟环境中感知、理解、决策并与环境互动的智能体。近年来，以 ChatGPT 和 Claude 为代表的多模态大语言模型（MLLMs）在各种任务上取得了惊人成就，人们自然会问：它们能否胜任复杂的具身智能任务？最近，一项名为 BEAR 的大规模基准测试，通过 4496 道精心设计的难题，对当前大模型的具身推理能力进行了一次“全面体检”，结果却揭示了令人深思的短板。

什么是具身智能？为何大模型在此领域面临挑战？

要理解这场“翻车”的严重性，我们首先需要明确具身智能的内涵。它不仅仅是识别图片中的物体，而是要求一个智能体完成一个完整的“感知-决策-行动”闭环。想象一下让一个机器人帮你从冰箱里拿一瓶牛奶，它需要：

视觉感知：看到并识别出冰箱、门把手和牛奶。

空间推理：理解自己与冰箱的相对位置，规划移动路径，并判断如何伸手才能抓住牛奶。

任务规划：将“拿牛奶”这个复杂任务分解为“走到冰箱前”、“打开冰箱门”、“找到牛奶”、“抓住牛奶”、“关上冰箱门”等一系列子任务。

执行与反馈：在行动中根据环境的实时反馈（比如门没完全打开）调整策略。

这个过程涉及底层视觉对齐、3D空间感知到上层决策规划等多种环环相扣的能力。而当前主流的大模型，其训练数据主要来自互联网上的文本和图像，这使得它们在处理静态、抽象信息方面表现出色，但在需要与动态、物理世界进行交互的具身任务上，则显得力不从心。

BEAR基准：一把精准衡量具身能力的“标尺”

为了系统性地评估 MLLM 在具身智能领域的具体能力短板，研究人员提出了 BEAR (Benchmarking Embodied Agent Reasoning) 基准。与以往的评估方法不同，BEAR 最大的特点在于其细粒度。它没有将任务打包成一个笼统的成功或失败，而是将其拆解为 14 种原子技能，归属于 6 个大类：

给点 (Pointing)：在图像上精确定位物体或区域。

给检测框 (Bounding Box)：框出特定物体。

空间推理 (Spatial Reasoning)：理解物体间的空间关系（如左右、前后、上下）。

任务规划 (Task Planning)：为完成目标制定合理的步骤。

基础能力：包括识别、计数等基本视觉任务。

长程推理 (Long-horizon Reasoning)：将上述多种技能组合起来，完成一个多步骤的复杂任务。

这种精细的划分，如同一个高精度的诊断工具，能够清晰地揭示出模型在完成一个复杂任务时，究竟是在“感知”阶段出了错，还是在“规划”阶段掉了链子。

惊人发现：顶级大模型的“翻车”现场

通过对 20 个主流 MLLM 进行全面测试，BEAR 基准得出了一些出人意料的结论，揭示了当前LLM在具身推理上的真实水平：

整体表现堪忧：即便是表现最好的模型（研究中代指为 GPT-5），其在 BEAR 基准上的总体成功率也仅为 52%。这表明，现有大模型距离实现真正的具身智能还有很长的路要走。

闭源模型仍占优，但开源模型潜力巨大：通常情况下，闭源模型的表现优于开源模型。但值得注意的是，部分优秀的开源模型（如 InternVL 系列）展现出了强大的潜力，在测试中甚至超过了 GPT-4o 和 Claude 等知名闭源模型。

“思维链”有时会帮倒忙：思维链（Chain-of-thought, CoT）提示词技术通常被认为能提升模型的推理能力。但在 BEAR 测试中，研究人员发现对于“给点”和“空间推理”这类依赖直觉和直接感知的任务，CoT 反而会引入不必要的干扰，导致性能下降。这说明，对于某些具身任务，“直觉”可能比“深思熟虑”更重要。

失败归因：大模型究竟“卡”在了哪里？

BEAR 基准不仅指出了“不行”，更通过细致的错因分析，解释了“为什么不行”。对 GPT-4o 的失败案例进行统计后，研究人员发现了几个关键瓶颈：

视觉基础能力薄弱：这是最主要的短板。模型难以将语言描述精确地对应到图像的具体区域（Language Grounding），无法准确判断物体的运动轨迹，也常常无法理解图片中正在发生的动作。

3D 空间感知能力缺失：模型在处理第一人称视角时，常常混淆左右关系。同时，对于连续视频帧之间相机位置的移动和方向变化，模型的理解也相当有限。这在需要导航和操作的场景中是致命的。

底层感知是长程任务的主要障碍：在需要多步骤完成的复杂任务中，高达 88% 的错误源于底层的感知和空间推理环节，而非高层的任务规划。这意味着，即使模型知道“该做什么”，但如果它“看不清”、“看不懂”，整个任务链就会从一开始崩溃。

BEAR-Agent：弥补短板的“视觉外挂”

针对上述发现，研究团队开发了一种名为 BEAR-Agent 的多模态智能体，旨在通过增强模型的视觉能力来提升其具身推理表现。受到一些工作通过画辅助线和使用工具来解决数学问题的启发，BEAR-Agent 主要通过以下方式辅助大模型：

提供视觉工具：例如，在需要判断方向时，可以自动在图上绘制坐标系或箭头。

生成辅助线：在需要进行空间关系判断时，通过画线连接物体，帮助模型更直观地理解。

实验证明，无论是对于开源模型还是闭源模型，BEAR-Agent 都能显著提升其在 BEAR 基准上的表现。在基于 Franka-panda 机械臂搭建的桌面操作仿真环境中，BEAR-Agent 更是将任务成功率提升了 20.17%，展示了其在实际应用中的巨大潜力。

结论：通往真正具身智能的漫漫长路

BEAR 基准的出现，为我们客观评估和理解大模型在具身智能领域的真实能力提供了一面镜子。结果显示，尽管 MLLM 在语言和静态图像理解上取得了巨大成功，但要成为能够在物理世界中自由行动的智能体，它们在底层的视觉感知和空间推理能力上仍存在严重短板。

这场“翻车”并非终点，而是一个新的起点。它清晰地指明了未来研究的方向：必须从根本上增强模型的视觉基础能力和对三维世界的理解。像 BEAR-Agent 这样的方法，为我们提供了如何“扬长避短”的宝贵思路。通往通用人工智能（AGI）的道路依然漫长，而攻克具身智能，无疑是其中最关键也最富挑战的一段旅程。

想要了解更多关于AI、大模型和人工智能的最新AI资讯和深度分析，欢迎访问AI门户网站 AIGC.bar，获取最前沿的AI新闻和实用的Prompt技巧。