告别Tokenizer！Mamba作者新作H-Net详解，AI大模型迎来新范式

type

status

date

slug

summary

引言

在人工智能（AI）领域，尤其是大模型（LLM）的研发中，Tokenization（分词）长期以来被视为一个不可或缺但又充满妥协的预处理步骤。它将原始文本数据转换为模型可以理解的数字ID序列，但同时也带来了信息损失、处理复杂语言（如中文）效率低下以及阻碍真正端到端学习等诸多问题。现在，这一“最后的障碍”可能即将被推翻。

Mamba模型的作者之一Albert Gu参与的最新颠覆性论文《Dynamic Chunking for End-to-End Hierarchical Sequence Modeling》，正式提出了一种名为H-Net的分层网络架构。该模型用一种在模型内部学习的“动态分块”机制，彻底取代了沿用已久的外部Tokenizer。这篇重磅AI新闻预示着，一个无需分词、更加智能和高效的AI新时代或许真的要来了。

Tokenization的困境与终结的曙光

Tokenization的核心任务是压缩和缩短输入序列，使其更易于模型处理。然而，这种基于固定规则或预训练词表的启发式方法，本身就是一种信息瓶颈，其缺陷日益凸显：

可解释性差：生成的Token往往是词根、子词或无意义的字符组合，破坏了语言的自然结构，降低了模型决策的可解释性。

语言偏见与处理瓶颈：对于中文、日文等黏着语或象形文字，以及代码、DNA序列等非自然语言，标准的分词器（如BPE）效果大打折扣，常常会产生大量冗余或破碎的Token。

阻碍端到端学习：分词、建模、逆分词的“三段式”流程，使得模型无法从最原始的字节/字符流中直接学习，限制了其能力的上限。

长期以来，尽管业界不断尝试，但没有任何一个无Tokenizer的端到端模型，能在同等计算成本下超越基于Tokenizer的SOTA模型。H-Net的出现，正是为了打破这一僵局，为构建更强大的AGI系统提供了新的可能性。

H-Net核心揭秘：动态分块与分层架构

H-Net的革命性在于它并未完全抛弃“分块压缩”的思想，而是将其从一个外部的、固定的预处理步骤，内化成一个与模型共同学习的、动态的内部机制。其核心由两大创新构成：分层处理和动态分块。

1. 认知启发的分层架构

H-Net采用了一种类似人类认知过程的分层设计： * 外层精细处理：一个小型编码器网络首先以极高的分辨率（如逐个字节）处理原始输入数据，捕捉最细微的局部模式。 * 中层压缩抽象：数据经过压缩和下采样后，被送入模型的主干网络（可以是Transformer或Mamba等SSM架构），该网络参数量最大，负责处理更高级、更抽象的概念。 * 外层还原输出：最后，抽象表示通过上采样和解码器，被还原为原始的字节/字符精度进行输出。

这种设计使得模型能够自然地在不同层次上处理不同粒度的信息，效率和性能兼得。

2. 智能的动态分块（Dynamic Chunking, DC）

H-Net的“魔法”核心是动态分块机制。它通过两个协同工作的模块，让模型学会如何分割数据：

路由模块 (Router Module)：通过计算相邻元素间的相似度，实时预测哪里应该是边界。这不再是基于固定的词典，而是基于当前的上下文内容。

平滑模块 (Smoothing Module)：根据路由模块给出的边界概率，对表示进行插值。它能有效减弱不确定边界带来的噪声，让模型在学习过程中更加稳定。

通过结合专门的辅助损失函数，H-Net能够以完全端到端的方式，像学习其他任务一样，学会如何最优地压缩和表征输入数据，真正实现了内容感知和上下文自适应的智能分块。

实验数据力证：H-Net性能超越传统模型

H-Net并非仅仅停留在理论构想，其论文中的详尽实验结果有力地证明了其优越性：

性能媲美甚至超越：在同等的计算和数据预算下，仅单层分块的H-Net模型，其性能就已优于强大的、基于BPE分词器的Transformer基线模型。

卓越的扩展性：通过多级分层迭代，H-Net的性能得到进一步提升，展现出比传统模型更优的数据规模效应，甚至能媲美规模为其两倍的BPE Transformer模型。

超强的鲁棒性：在英语预训练中，H-Net表现出显著增强的字符级鲁棒性，能更好地应对拼写错误或对抗性攻击。

处理复杂数据的巨大优势：在中文、代码和DNA序列等传统Tokenizer的“弱势”领域，H-Net的优势被进一步放大，其数据效率相较基线提升了近4倍，充分证明了端到端模型从原始数据中学习的巨大潜力。

H-Net的深远影响与AI的未来

H-Net的提出，不仅仅是一篇优秀的学术论文，它更可能成为AI大模型发展史上的一个里程碑。它为我们描绘了一个全新的未来：

通向更普适的AI：摆脱对特定语言分词器的依赖，模型可以直接处理来自全球任何语言的原始字节流，甚至是图像、音频等其他模态的原始数据，为构建更通用、更无偏见的人工智能系统铺平了道路。

效率与性能的新平衡：通过学习动态分块，模型可以根据任务和数据的复杂性自适应地调整计算资源的分配，有望在未来实现更高的能效比。

激发新架构的潜力：实验表明，H-Net与Mamba这类状态空间模型（SSM）的结合效果尤为出色，这可能会进一步推动超越Transformer的新一代LLM架构的演进和普及。

这一系列激动人心的进展，标志着AI领域正以前所未有的速度进化。想要获取最新的AI新闻和AI日报，深入了解像H-Net这样的前沿大模型技术，或是寻找实用的Prompt技巧和AI变现案例，可以访问专业的AI门户网站 AIGC.BAR 获取一手资讯和深度分析。

结论

Mamba作者团队带来的H-Net，以其创新的动态分块和分层架构，为我们展示了一条清晰、可行且高效的“无Tokenizer”之路。它不仅在性能上挑战了Transformer的霸权，更重要的是，它从根本上解决了当前大模型流水线中的一个核心瓶颈，为实现真正意义上的端到端智能学习打开了一扇大门。一个由智能字节块驱动，而非固定Token主导的AI新范式，正向我们走来。