视频生成革命：Video-As-Prompt让视频本身成为终极提示词

type

status

date

slug

summary

引言：打破文本束缚，AI视频生成迎来新范式

在AI生成内容（AIGC）的浪潮中，视频生成技术正以前所未有的速度发展。然而，长期以来，我们习惯于使用文本提示词（Text Prompt）来指导AI创作视频，这种方式在表达具体、抽象的视觉概念时常常显得力不从心。你是否曾想过复刻某个视频中独特的艺术风格、模仿一段复杂的舞蹈动作，或是重现电影大师级的运镜技巧？以往，这些需求要么需要复杂的后期制作，要么依赖于为特定任务训练的独立AI模型，既不高效也不通用。

为了彻底解决这一痛痛，来自字节跳动和香港中文大学的研究团队联合发布了一项开创性工作——Video-As-Prompt。这一框架颠覆了传统的视频生成逻辑，提出了一种全新的“视频参考”范式：用户不再仅仅依赖苍白的文字描述，而是可以直接提供一个参考视频作为“提示”，让AI“克隆”其中的特定语义（如风格、动作、概念），并将其应用到新的创作中。这标志着AI视频生成正从“文本指令”时代迈向更加直观、强大的“视觉指导”时代。作为关注前沿AI资讯的AI门户，我们有必要深入了解这项技术的突破性意义。

## 什么是Video-As-Prompt？

Video-As-Prompt是一个统一的、语义可控的视频生成框架。其核心思想是将参考视频本身作为一种高级、丰富的Prompt，从而实现对复杂和抽象语义的精准控制。

传统的做法是，每当出现一种新的语义需求（比如“吉卜力风格”或“希区柯克变焦”），就需要单独训练一个模型（如LoRA）或设计专门的架构。这种方法不仅成本高昂，而且模型之间互不兼容，泛化能力极差。Video-As-Prompt则提供了一个优雅的统一解决方案：

* 统一的条件表征：不再需要为成千上万种可能的语义设计不同的编码器，而是直接使用参考视频作为通用的、富含信息的条件输入。 * 强大的语义克隆：模型能够精准地从参考视频中“学习”并分离出用户指定的语义信息。 * 广泛的应用场景：支持四大类复杂语义的克隆与迁移，包括： 1. 复杂概念：如“变成Labubu”的特效。 2. 艺术风格：如水墨画、赛博朋克等。 3. 指定动作：如特定的舞蹈或手势。 4. 相机运镜：如推、拉、摇、移等复杂镜头语言。

通过这个框架，创作者可以像“复制粘贴”一样，将一个视频的“灵魂”注入到另一个全新的画面中，极大地拓宽了创意边界。

## 核心技术揭秘：Mixture-of-Transformers架构

要实现如此强大的功能，Video-As-Prompt在技术架构上进行了精妙的设计。其成功的关键在于如何让模型理解“视频提示”并将其有效地应用到生成过程中，同时保证训练的稳定性和可扩展性。

研究团队采用了混合Transformer（Mixture-of-Transformers, MoTs）架构。这个架构包含两个关键部分：

一个冻结的视频扩散基础模型（DiT）：这个模型是视频生成的核心，负责处理待生成视频的内容。由于其参数被冻结，可以有效防止在学习新能力时发生“灾难性遗忘”，保留了其原有的高质量视频生成能力。

一个可训练的并行专家Transformer：这个“专家”模型专门负责处理作为Prompt的参考视频。它从基础模型初始化，学习如何提取和理解参考视频中的语义信息。

在每一层网络中，这两个Transformer会通过全注意力机制进行信息交互，实现双向融合。简单来说，“专家”模型告诉“基础”模型要模仿什么样的风格或动作，而“基础”模型则负责将这些指令具体地绘制到新的视频帧上。这种“即插即用”的设计不仅保证了训练效率，也为模型未来的功能扩展留下了巨大的空间。

## VAP-Data：为行业注入新动能

一项伟大的技术突破离不开高质量数据的支撑。为了训练和评估Video-As-Prompt，并推动整个社区的发展，研究团队构建并开源了VAP-Data数据集。

这是目前开源社区中，用于语义可控视频生成的规模最大、质量最高的数据集。它包含了：

超过10万个视频样本

覆盖超过100个不同的高质量语义条件

这个数据集的发布意义重大。它不仅为Video-As-Prompt的成功提供了坚实的基础，也为其他研究者和开发者提供了一个宝贵的资源库。任何人都可以利用这些数据进行复现、改进或探索全新的可控视频生成方法。这无疑将加速相关领域的技术创新，让更多前沿的AI资讯和成果涌现。

## 零样本泛化：超越训练数据的惊人能力

Video-As-Prompt最令人惊艳的能力之一是其零样本（Zero-shot）泛化能力。这意味着，即使给定一个包含模型在训练期间从未见过的全新语义的参考视频，Video-As-Prompt依然能够理解并成功地将其应用到生成任务中。

例如，你可以给它一个从未见过的独特动画风格的视频，它就能在新内容上复现这种风格。这种能力超越了以往所有依赖特定训练的方法，证明了Video-As-Prompt学习到的不仅仅是具体的“规则”，而是一种通用的“从视频中学习上下文”的元能力。这为未来构建更加通用、智能的AI生成工具铺平了道路，也预示着AGI（通用人工智能）在特定领域的巨大潜力。

结论：开启视频创作的“视觉编程”时代

Video-As-Prompt的发布，不仅仅是一次技术迭代，更是一场范式革命。它将视频生成的控制方式从抽象的文字描述，提升到了具体、直观的视觉参考，极大地降低了高质量、高创意视频内容的制作门槛。

通过其统一的“视频即提示”框架、创新的MoTs架构以及强大的零样本泛化能力，Video-As-Prompt验证了“参考视频可控生成”这一思路的巨大潜力。随着相关技术和开源社区的不断发展，我们可以预见，未来的视频创作将变得像“视觉编程”一样简单直观。创作者可以自由组合、迁移各种视觉元素，轻松实现天马行空的创意。

想要获取更多关于AIGC、大模型和人工智能的前沿AI新闻与深度解读，欢迎访问AI门户网站 https://aigc.bar，与我们一同见证AI技术如何重塑世界的未来。