万帧实时！蚂蚁灵波LingBot-Map打破流式3D重建天花板

type

status

date

slug

summary

引言

在具身智能（Embodied AI）和自动驾驶领域，如何让机器像人类一样拥有“空间记忆”一直是技术攻坚的难点。人类在陌生环境中行走时，大脑能实时构建动态地图并记住走过的路线，而机器往往在处理海量视频流时面临内存爆炸或“灾难性遗忘”的困境。

近日，蚂蚁灵波（LingBot）正式开源了其流式 3D 重建基础模型 LingBot-Map。该模型基于几何上下文 Transformer（GCT），成功实现了超万帧长视频的实时三维重建，处理速度达到 20 FPS，且内存占用几近恒定。这一突破不仅填补了具身智能感知到决策之间的关键环，更标志着国产开源模型在空间计算领域达到了世界领先水平。想要了解更多前沿 AI资讯，欢迎访问 AI门户。

机器空间记忆的终极挑战：内存与遗忘

要实现高质量的 3D 重建，机器必须解决两个核心矛盾：

内存膨胀：传统的流式方法为了不忘记历史，往往需要保存大量的历史帧。随着视频长度增加，内存占用呈线性增长。对于万帧以上的长视频，大多数现有模型会直接崩溃。

灾难性遗忘：如果只关注当前帧，模型会迅速遗忘早期的几何关系，导致重建结果在长距离移动后出现严重的“轨迹漂移”和空间错位。

LingBot-Map 的出现，正是为了在有限的资源下，为机器提供一种高效且持久的“长时记忆”方案。这对于 大模型 在现实世界中的落地应用具有里程碑意义。

核心技术：几何上下文注意力（GCA）机制

LingBot-Map 之所以能打破“天花板”，核心在于其创新的 几何上下文注意力（Geometric Context Attention, GCA） 机制。该机制借鉴了机器人领域经典的 SLAM 算法，将空间规律内化到 Transformer 的注意力机制中，通过三类记忆协同工作：

锚点记忆（Anchor）：锁定坐标系原点，确保在处理第一万帧时，模型依然清楚自己从哪里出发，有效防止坐标漂移。

位姿参考窗口（Pose-reference window）：专注于捕捉当前位置附近的局部几何细节，保证每一帧重建的精度。

轨迹记忆（Trajectory memory）：这是最关键的设计。它将庞大的历史信息压缩成紧凑的 Token。相比传统方法，它将数据压缩了近 80 倍，使得内存消耗不再随视频长度增长。

这种“有选择的记忆”方式，让 人工智能 能够以极低的代价保留对过去路径的深刻印象，实现了真正的长程一致性。

训练与推理优化：从短序列到万帧实时

在 AGI 的研发路径上，模型不仅要聪明，还要高效。LingBot-Map 团队采用了一系列先进的优化策略：

渐进式视图训练：模型从处理 24 帧短序列开始学习，逐步增加到 320 帧，让模型先掌握局部几何，再学会处理全局长轨迹。

上下文并行策略：通过将不同视图分布在多张 GPU 上并行计算，克服了长序列训练时的显存瓶颈。

高效推理框架：借鉴了 ChatGPT 等大语言模型的 KV 缓存机制，并结合 FlashInfer 框架进行稀疏注意力优化，最终在普通硬件上实现了 20 FPS 的实时推理速度。

这种从训练到推理的全方位优化，使得该模型在 AI日报 和技术社区中引发了广泛关注。

性能霸榜：超越离线优化方法的在线表现

在多个权威基准测试中，LingBot-Map 的表现令人惊艳。在衡量长序列鲁棒性的 Oxford Spires 数据集上，即便视频长度增加 12 倍（从 320 帧到 3840 帧），其绝对轨迹误差（ATE）仅从小幅增加，而其他流式方法则出现了性能崩塌。

在 3D 重建质量方面，LingBot-Map 在 ETH3D 和 NRGBD 等数据集上的 F1 得分均大幅领先。这意味着该模型不仅能“看清”当前环境，还能在长时间、大范围的移动中，生成清晰、完整且一致的点云模型。对于追求 AI变现 的开发者来说，这种高精度的实时重建能力为室内导航、无人机巡检等场景提供了极强的技术支撑。

结语：补齐具身智能全链路的最后拼图

随着 LingBot-Map 的开源，蚂蚁灵波的具身大脑平台已日趋完整。从单帧深度估计（LingBot-Depth），到流式 3D 重建（LingBot-Map），再到环境理解（LingBot-World）和决策控制（LingBot-VLA），一条完整的技术链路已经贯通。

这种基础能力的开放共享，将极大地降低具身智能的研发门槛。未来，我们有望看到更多搭载国产开源核心的机器人走进复杂的人类生活场景。获取更多关于 OpenAI、Claude 以及最新 提示词 技巧的内容，请持续关注人工智能门户。