北大AI新突破：InteractMove框架让虚拟人交互更逼真

type

status

date

slug

summary

引言

在元宇宙、虚拟现实（VR）和高级游戏开发的浪潮中，创建能够与环境进行逼真交互的虚拟数字人已成为人工智能（AI）领域的核心挑战之一。长期以来，AI模型生成的动作要么局限于与孤立物体的简单互动，要么只能在静态、不可变的场景中活动，这极大地限制了其在真实世界应用中的潜力。近日，北京大学的科研团队在顶级多媒体会议ACMMM 2025上发表的最新研究 InteractMove，正是在这一领域取得了颠覆性突破，为我们描绘了一个AI能够像人类一样在复杂3D环境中与可移动物体进行自然交互的未来。

本文将深入解读 InteractMove 的核心创新，探讨其如何通过全新的任务定义、大规模数据集以及精巧的三阶段生成框架，解决当前技术瓶颈，为AGI（通用人工智能）的发展注入新的活力。

打破瓶颈：从静态场景到动态交互的飞跃

当前，基于大模型和生成式AI的技术在文本到图像、文本到视频领域取得了惊人成就，但在更复杂的3D动作生成上仍面临巨大挑战。大多数现有工作存在两大局限：

忽略场景影响：模型仅关注人与单个物体的交互，如“拿起一个杯子”，却无法处理物体在复杂环境（如厨房桌子上）中的情况。

物体静态化：模型虽然能让人在场景中行走或坐下，但场景中的物体（如椅子、桌子）通常被视为不可移动的背景，无法进行抓取、移动等真实操作。

现实世界中的交互远比这复杂。我们需要AI理解“把沙发上的书放到书架上”这类指令，这不仅需要识别物体，还需要规划路径、移动物体并避免与环境碰撞。InteractMove 正是首个直面这一难题的研究，它开创性地提出了一个全新任务：在包含可移动物体的3D场景中，根据文本指令生成人-物交互动作。

InteractMove数据集：构建高质量交互的基石

高质量的数据是训练强大人工智能模型的基石。由于从零开始采集大规模、物理精确的3D交互数据成本极高，北大团队另辟蹊径，通过创新的自动化流程构建了 InteractMove 数据集，其具备三大核心亮点：

真实复杂的场景：数据集中不仅包含目标物体，还特意加入了同类干扰项。例如，当指令是“拿起桌上的红苹果”时，场景中可能还有其他水果，这要求模型具备精准的语言理解和空间推理能力。

丰富多样的交互：数据集覆盖了71类常见的可移动物体和21种交互方式，从简单的“单手拿起钥匙”，到复杂的“双手抬起箱子”，极大地丰富了交互的广度和深度。

严格的物理约束：所有动作和物体轨迹都经过了严格的物理合理性筛选，有效避免了虚拟世界中常见的“穿模”（即物体相互穿透）等不合理现象，确保了生成动作的真实感。

这一高质量数据集的构建，为训练能够理解并执行复杂物理交互的大模型奠定了坚实基础。

核心框架揭秘：三步实现智能交互生成

为了实现如此复杂的交互任务，InteractMove 提出了一个精巧的三阶段生成框架，将复杂的生成过程分解为三个环环相扣的模块：

第一步：3D视觉精准定位

当接收到如“拿起床边桌子上的苹果”这样的提示词（Prompt）后，模型首先启动3D视觉定位模块。该模块利用先进的场景理解技术，能够精准解析文本中的空间关系，在复杂的场景和众多干扰物中锁定唯一的目标物体。

第二步：手-物可达图学习

确定目标后，如何进行自然的抓取是关键。InteractMove 创新性地提出了“手-物可达图”学习模块。该模块不再是简单地让手靠近物体，而是精细化地建模手部关节点与物体表面各个区域的接触关系。这使得模型能够生成高度符合语义和物理常识的动作： * 拿起带把手的杯子时，手会自然地抓住把手。 * 拿起没有把手的杯子时，手则会握住杯身。 * 面对较重的物体，模型会自动生成双手协作的动作。

第三步：碰撞感知与动作生成

最后一步是确保整个交互过程符合物理规律。为此，框架引入了基于局部场景建模的碰撞感知模块。它会将目标物体周围的环境“体素化”为一个占用网格，并在动作生成过程中实时计算人体和移动物体的轨迹。通过一个专门设计的碰撞感知损失函数，模型被约束在生成无碰撞的合理路径上，从而彻底杜绝了人、物体与场景之间的穿模现象。

这种“定位-抓取-防撞”的三步走策略，让 InteractMove 生成的动作不仅语义准确，而且在物理上无懈可击。

性能卓越：全面超越现有方法

实验结果有力地证明了 InteractMove 框架的优越性。在新建的 InteractMove 数据集上，该方法在交互准确性、物理合理性、动作多样性以及碰撞避免等所有关键指标上均取得了当前最佳成绩，其中多样性提升了18%，物理合理性提升了14%。更重要的是，该方法在其他公开数据集上也表现出强大的泛化能力，证明了其技术的普适性。

从可视化结果来看，InteractMove 生成的动作流畅自然，完全符合人类的交互直觉。无论是伸手拿碗喝水的细微动作，还是搬运重物的全身协调，其表现都远超以往的方法，为用户带来了更贴近真实世界的沉浸式体验。

总结与展望：开启虚拟世界交互新纪元

InteractMove 的出现，不仅仅是一篇优秀的学术论文，它更是推动虚拟数字人从“能动”向“会动”和“懂互动”迈进的关键一步。通过首次定义文本驱动的可移动物体交互任务、构建大规模高质量数据集，并提出创新的三阶段生成框架，北大团队为虚拟现实、数字孪生、智能机器人等前沿领域的发展铺平了道路。

这类前沿的AI研究成果，是推动AGI发展的核心动力。它们不断拓展着ChatGPT、Claude等大模型的能力边界，从语言理解延伸到物理世界的真实交互。想要获取更多关于人工智能的前沿AI资讯和深度解读，欢迎访问AI技术社区和门户网站 https://aigc.bar，与我们一同见证AI如何重塑未来世界。