MVAR模型革新3D生成：自回归能否超越Diffusion？| AI资讯

type

status

date

slug

summary

引言

在人工智能（AI）驱动的3D内容创作领域，如何根据简单的指令生成一系列既逼真又高度一致的多视图图像，始终是研究者们面临的核心挑战。长期以来，Diffusion（扩散）模型凭借其强大的生成能力占据主导地位，但其在视角一致性和多模态控制方面的固有缺陷也日益凸显。近日，一篇名为《MVAR: Multi-view Autoregressive Generation》的论文为我们揭示了一种全新的可能性——利用自回归（Autoregressive, AR）模型来攻克这一难题。本文将深入解读MVAR模型，探讨它如何挑战现有范式，并为3D生成领域带来新的曙光。更多前沿的AI资讯和大模型动态，欢迎访问AI门户网站 AIGC.bar 获取。

为何选择自回归（AR）？Diffusion模型的局限性

要理解MVAR的创新之处，首先需要审视当前主流Diffusion模型在多视图生成任务中的痛点。

视角一致性难题：多数Diffusion模型采用“一步到位”的并行方式生成所有视角。当目标视角与参考视角相距甚远时（例如从正面图生成背面图），两者重叠的纹理信息极少，导致模型难以维持物体的几何与纹理一致性，容易出现“前后不一”的崩坏情况。

多模态控制复杂：在实际应用中，我们往往需要结合文本、参考图、几何形状等多种条件进行生成。单一的Diffusion模型在优雅地融合和处理这些多模态输入方面存在天然的困难，难以实现精细化控制。

相比之下，自回归（AR）范式提供了一种截然不同的思路。AR模型逐个生成内容，即在生成第 n 个视图时，会充分利用前面 n-1 个已生成视图的全部信息。这种序列化的生成过程，非常契合人类观察3D物体的习惯——我们总是沿着一条连续的路径，循序渐进地观察一个物体的不同侧面。MVAR正是基于这一洞察，将AR的强大序列建模能力引入多视图生成，旨在从根本上提升生成的一致性与可控性。

MVAR模型详解：架构与多模态融合

MVAR的核心目标是探索AR范式在多视图生成中的潜力，并为其面临的挑战提供解决方案。其网络架构精巧，能够高效地融合多种输入信号。

MVAR的基础模型架构参考了LLaMa这类强大的大模型（LLM），并设计了一套专门的多模态条件嵌入网络，以应对文本、相机位姿、参考图像和几何形状等不同类型的输入：

文本（Text）：采用分离式自注意力机制（Separated Self-Attention, SSA），有效处理文本提示词（Prompt）。

相机位姿（Camera Pose）：将相机参数进行普朗克编码后，作为位置编码信息，通过逐像素加法注入，精准引导模型生成特定视角的内容。

参考图像（Reference Image）：将参考图的特征进行变换后，同样以逐像素相加的方式融入，为模型提供直接的视觉参考。

几何形状（Geometry）：作为上下文（in-context）信息直接输入，为生成提供强大的结构先验。

这套设计遵循一个核心原则：与输出能够大致像素级对齐的条件（如相机位姿、参考图）使用加法注入；而无法像素级对齐的抽象条件（如文本、几何）则作为上下文注入。这种设计有效避免了多模态信息在融合过程中可能出现的“塌缩”问题，确保了每个条件都能发挥其应有的作用。

破解数据瓶颈：ShufV增强与渐进式学习

AR模型通常需要海量数据进行训练，而高质量的3D多视图数据集相对稀缺，这是MVAR必须克服的一大障碍。为此，研究者提出了两种巧妙的策略。

1. ShufV 数据增强

由于自注意力机制具有置换等变性，MVAR引入了一种名为 ShufV 的数据增强方法。在训练时，它会随机打乱视图的生成顺序。这意味着模型不仅能学会“从A视角到B视角”的生成，也能学会“从B到A”。这种方式极大地丰富了训练数据，更重要的是，它迫使模型学会利用任意两个视图之间的重叠信息，从而显著增强了全局一致性。

2. 渐进式学习

为了让模型具备更强的泛化能力，MVAR采用了渐进式学习策略。模型首先在一个相对简单的“文本到多视图”（text-to-multi-view）任务上进行训练。然后，逐步引入其他模态的条件（如参考图、几何），并随机丢弃文本提示。这种方法使得模型能够从一个专才（只听文本指令）逐步成长为一个通才（能处理任意组合的输入条件），最终实现灵活的“任意条件到多视图”（any-to-multi-view）生成。

实验结果与分析：MVAR的实力与潜力

实验结果表明，MVAR成功地拉近了AR模型与顶尖Diffusion模型在生成质量上的差距，并在指令遵循和多视角一致性上展现出更强的优势。

在与先进的Diffusion方法对比中，MVAR在PSNR（峰值信噪比）指标上取得了最优表现，这意味着它生成的图像在颜色、形状和物体位置上与真实图像（Ground Truth）的对齐度更高。虽然在LPIPS这一感知指标上略逊一筹，但这很可能源于其使用的AR基础模型相较于成熟的Stable Diffusion系列在图像质量上稍弱。我们有理由相信，随着未来人工智能领域AR图像生成基础模型的不断进步，其感知质量很快就能追上甚至超越Diffusion模型。

总结与未来展望：自回归的星辰大海

MVAR的出现，无疑为3D内容生成领域注入了新的活力。它证明了自回归模型不仅是ChatGPT这类语言模型的专利，同样能在复杂的视觉生成任务中大放异彩。通过巧妙的架构设计和训练策略，MVAR有效克服了传统AR模型的局限，在多视图一致性和多模态控制方面展现了超越Diffusion模型的潜力。

未来的工作将聚焦于更优的3D标记器（Tokenizer）以及统一多视图的生成与理解任务。AGI的探索之路永无止境，MVAR这样的创新正是推动AI变现和应用落地的重要基石。想要持续关注AI日报和最新的技术突破，探索更多提示词工程的奥秘，请锁定专业的AI新闻门户 AIGC.bar。