Diffusers 迎来 Nunchaku 4-bit 推理：显存减半且生成提速的扩散模型量化新方案

type

status

date

slug

summary

引言：打破显存壁垒与速度瓶颈

量化技术一直是降低 AI 模型显存占用的有效手段。此前，Diffusers 已经集成了诸如 bitsandbytes、GGUF、torchao 和 Quanto 等多个量化后端。然而，这些主流方案绝大多数是“仅权重量化”（Weight-only）。这意味着模型在存储时使用低精度权重，但在实际推理计算时需要反量化回高精度。这种做法虽然显著减少了显存使用，但通常无法提升推理速度，有时甚至会因为反量化的开销增加些许延迟。

相比之下，本次引入的 Nunchaku 则采取了不同的技术路线。它支持 4-bit 权重和激活（W4A4）的执行，在大幅削减显存的同时，能够真正在去噪循环中加快计算速度。此前，使用这类模型需要单独安装复杂的推理库，而现在只需 Diffusers 原生即可完成加载与生成。

核心技术与事实梳理：SVDQuant 的魔法

Nunchaku 的底层核心是 SVDQuant 量化方法。在扩散模型中，标准的 4-bit 量化非常困难，因为模型的权重和激活中都存在大量极端的“异常值”（outliers）。SVDQuant 巧妙地将激活中的异常值转移到了权重中，并使用一个轻量级的 16-bit 低秩分支来处理权重矩阵中最难的部分，而将其余残差量化为 4-bit。通过专用的 CUDA 融合算子，Nunchaku 将低秩分支的投影与 4-bit 计算融合，消除了 16-bit 路径带来的内存访问开销。

通过 Diffusers 的新集成模块 `Nunchaku Lite`，开发者现在可以利用 `kernels` 依赖包直接从云端自动下载所需的 NVFP4 算子，完全无需在本地进行繁琐的 CUDA 编译。其底层采用了两大核心机制：负责 Transformer 注意力与 MLP 密集计算的 `svdq_w4a4`（4-bit 权重与激活，结合 SVDQuant 纠正），以及负责自适应归一化和调制投影的 `awq_w4a16`（4-bit 权重与 16-bit 激活，用于保障对精度敏感层的高生成质量）。

实际用法与性能影响

在日常应用中，调用预量化好的 Nunchaku 检查点就像调用任何普通 Diffusers 模型一样简单，只需一行 `from_pretrained()` 即可完成加载。这种无缝衔接让现有的 Scheduler、LoRA 挂载、模型卸载（Offloading）以及 `torch.compile` 编译加速都能如常运作。

从性能表现上看，这项技术带来了立竿见影的影响。以生成 1024x1024 图像为例，在结合 `torch.compile` 与 NF4 文本编码器量化的情况下，一个测试用例（如 ERNIE-Image-Turbo 模型）的峰值显存占用从原本 BF16 精度下的 31.1 GB 大幅下降到了 16.0 GB（降幅近半）。同时，端到端推理延迟从 3.0 秒缩短至 1.68 秒，实现了高达 1.8 倍的综合速度提升，且肉眼几乎观察不到画质的衰减。

对于进阶开发者，配套的 `diffuse-compressor` 工具包允许用户自行校准、量化并打包新的扩散模型架构，进而将其作为标准的 Diffusers 仓库发布，极大地丰富了 aigc.bar 社区生态。

硬件要求与局限性

虽然 Nunchaku Lite 在 VRAM 节约上效果显著，但应用该方案仍需注意一些硬件与技术上的限制：

**硬件兼容性矩阵**：目前并非所有显卡都能享受所有类型的加速。NVFP4 精度的极速体验仅支持最新的 Blackwell 架构 GPU（如 RTX 50 系列、RTX PRO 6000、B200 等）；对于上一代显卡，则需要使用 INT4 变体，支持 Turing、Ampere 和 Ada 架构（如 RTX 30/40 系列及 A100 等）。值得注意的是，Volta 和 Hopper 架构 GPU 目前不被其 4-bit 算子支持，加载时会抛出错误拦截。

**性能妥协**：原始的 Nunchaku 推理引擎依赖于高度模型定制化的算子（例如将 QKV 投影合并，或者特殊的融合运算）。而 Diffusers 里的 Nunchaku Lite 作为一种通用集成（Architecture-agnostic），并未进行破坏模型结构的深度算子重写。因此，虽然依然能提供约 30% 的裸提速，但无法完全匹敌原生 Nunchaku 引擎的极限速度。

总结

将 Nunchaku 4-bit (W4A4) 推理引入 Diffusers 生态，无疑是推动大型扩散模型平民化的重要节点。它不仅打破了长久以来“量化省显存但不提速”的魔咒，更通过极为简单的 API 设计，让普通消费级显卡用户也能流畅运行原本只能在服务器级 GPU 上加载的庞然大物。随着越来越多社区开发者利用该技术重新封装和发布高效模型，未来的本地 AI 创作将变得更加轻盈与快速。