北大PRA解锁AI图像生成，135M模型反超1.9B

type

status

date

slug

summary

传统像素级自回归生成面临的痛点

在图像自回归的众多路线中，直接建模原始像素（pixel space）是最纯粹、最彻底的方式。它完全抛弃了外部视觉 tokenizer，避免了将图像压缩成离散 token 时带来的信息损失与系统割裂。然而，这一路线长期饱受生成质量低下的困扰。

根据最新的AI新闻与研究分析，这种困难主要源于两个核心瓶颈：

高维连续Token的生成难度：在输出端，像素级AR模型需要单步预测高维（如768维）的像素块（patch）。对比诊断实验表明，当维度处于低位时，AR模型与扩散模型的差距并不大；但当维度急剧增加至768维时，AR模型的生成质量（FID）会迅速恶化。这说明高维连续 token 的单步生成难度极大。

训练与推理的分布不一致：在输入端，AR模型在训练时通常采用Teacher Forcing策略，输入的是完美的真实前缀数据（ground-truth prefix）；但在推理时，模型只能依赖自己前一步生成的、可能带有误差的输出。这种训练与推理的分布偏差，会导致误差在自回归的每一步中不断累积并被放大。

PRA模型的核心突破：降维与并行Rollout近似

为了突破上述两大瓶颈，北大团队在不引入外部 tokenizer 的前提下，对模型架构进行了巧妙的改造，提出了PRA机制。

首先，在输出端，PRA引入了低维中间态。模型不再直接预测768维的高维像素块，而是先预测一个由模型端到端学习出来的低维中间状态，随后再通过像素解码器还原回像素空间。这极大降低了单步生成的难度，同时在推理时依然保持了 pixel-in、pixel-out 的原始像素接口。

其次，在输入端，PRA提出了“并行Rollout近似”（Parallel Rollout Approximation）。由于真实的串行生成（on-policy rollout）成本过高，PRA在训练阶段对目标中间态注入噪声，模拟推理时扩散头采样可能产生的偏差，并将其通过同一个解码器转化为像素输入，供给AR Transformer进行训练。这种方法既高度模拟了真实的推理分布，缓解了分布不一致带来的误差累积，又保留了Teacher-forced训练的并行效率。

性能越级：135M参数如何反超1.9B基线

在ImageNet-1K 256×256的类条件生成任务中，PRA模型展现出了惊人的效率与性能，成为了近期AI日报中最亮眼的技术突破之一。

实验数据显示，参数量仅为135M的PRA-Small模型，其FID达到了2.58，直接超越了拥有1.9B参数的FARMER-1.9B/8模型（FID 3.60）。这意味着，PRA用不到十四分之一的参数量，实现了更高的生成质量。

随着模型规模的扩大，PRA的表现进一步飙升：250M参数的PRA-Base达到FID 2.21，而511M参数的PRA-Large更是将FID刷新至1.94。这一成果彻底打破了像素级自回归模型“效果不佳”的刻板印象，证明了只要同时解决好高维预测和分布不匹配问题，无需外部 tokenizer 的纯像素自回归路线同样极具竞争力。

超越生成：视觉理解与多模态大模型的未来

PRA的价值远不止于生成一张高质量的图片。研究团队在ImageNet linear probing测试中评估了模型的表征能力，发现PRA-Large的Top-1准确率达到了68.80%，显著优于诸多现有的AR和Diffusion基线模型。

这表明，端到端的像素级自回归模型不仅能“画画”，还能深刻“理解”图像内容，学到对视觉理解极具价值的表征。在openai、chatGPT以及claude等巨头竞相角逐多模态融合的今天，PRA为视觉生成与视觉理解的统一提供了一条极具潜力的路径。它让图像模态能够与语言模态共享一致的模型架构与训练范式，为未来的通用人工智能探索奠定了坚实的基础。

总结与未来展望

北京大学与深势科技推出的PRA模型，重新证明了像素空间自回归生成的巨大潜力。通过降维与并行Rollout近似的巧妙设计，PRA在不依赖外部 tokenizer 的情况下，显著提升了图像生成质量与视觉表征能力。

对于广大AI从业者和爱好者而言，掌握这些底层大模型的前沿技术，是探索AI变现、优化提示词（Prompt）应用以及把握行业风向的关键。如果您想获取更多关于大模型前沿技术、深入了解AI发展趋势，欢迎访问专业的AI门户网站：https://aigc.bar。在这里，我们将为您持续提供最全面、最深度的AI资讯与应用指南，助您在人工智能浪潮中抢占先机。