840亿AI巨头新论文：模块化流形如何颠覆大模型训练 | AI资讯

type

status

date

slug

summary

引言：AI新星的重磅研究

在人工智能（AI）领域，由OpenAI前CTO Mira Murati创立、翁荔与陈丹琦等顶尖学者加盟的Thinking Machines公司，自诞生之日起便备受瞩目。这家估值已达840亿人民币的明星企业，近日公开了其第二篇重磅研究论文——“Modular Manifolds”（模块化流形），再次引发了AI社区的热烈讨论。这项研究直指当前大模型（LLM）训练中的核心痛点：训练过程的不稳定性。本文将深入解读这一创新性研究，探讨它如何为未来的人工智能发展提供新的思路。更多前沿AI新闻与深度分析，尽在AI门户网站 https://aigc.bar 。

神经网络训练的核心挑战

训练大规模神经网络，尤其是像ChatGPT这类拥有数千亿参数的LLM，是一个极其复杂且充满挑战的过程。一个长期存在的问题是，网络内部的权重、激活值和梯度等张量，其数值如果变得过大或过小，就会引发一系列连锁反应：

梯度爆炸/消失：梯度值过大导致模型更新步伐失控，无法收敛；梯度值过小则导致模型学习停滞，参数几乎不更新。

训练不稳定：数值溢出（NaN）或下溢问题频发，导致训练中断。

效率低下：为了规避上述问题，研究人员需要花费大量时间精力微调学习率、初始化方法等超参数。

虽然激活归一化（如LayerNorm）和梯度归一化等技术已成为标准配置，但直接对权重矩阵本身进行约束和优化的方法却鲜有探索。Thinking Machines的这篇论文正是从这个被忽视的角度切入，试图构建一个更稳固的训练框架。

几何学的优雅解法：流形优化入门

论文的核心思想是引入“流形优化”（Manifold Optimization）的概念。简单来说，就是将模型的参数限制在一个特定的几何空间（流形）上进行更新，而不是让它们在整个高维空间中自由移动。

为了理解这个概念，我们可以想象一个最简单的例子：将一个向量 W 约束在一个单位球面上，即它的长度（范数）始终为1。

1. 传统优化的问题：如果使用传统的SGD或Adam优化器，一次梯度更新后，新的向量很可能会“飞出”球面，破坏了约束条件。 2. 流形优化的“三步走”： * 投影梯度：首先，将计算出的梯度投影到参数所在点在球面上的“切空间”（可以理解为该点的切平面），确保更新方向是沿着球面进行的。 * 参数更新：在切空间上进行参数更新。 * 拉回流形：最后，通过一个名为“Retraction”的操作，将更新后的点“拉回”到球面上，确保约束始终满足。

通过这种方式，参数的更新始终被“绑”在预设的几何结构上，从而天然地避免了数值的失控“爆炸”。

从向量到矩阵：Stiefel流形的威力

当然，现代大模型的参数远不止一个向量，而是由无数个高维矩阵构成。论文作者Jeremy Bernstein将上述思路从球面推广到了更复杂的“斯蒂费尔流形”（Stiefel Manifold）。

一个矩阵若处于Stiefel流形上，其所有列向量都是相互正交的。将Transformer中的权重矩阵约束在Stiefel流形上有两大显著优势：

特征解耦：列向量正交意味着不同维度的特征在变换过程中不会相互干扰，这有助于模型学习到更独立、更有解释性的特征表示。

数值稳定性：这类矩阵的“条件数”为1，这意味着它们在进行矩阵乘法时不会过度放大或缩小输入信号的尺度，极大地增强了计算过程的稳定性，是训练稳健人工智能模型的关键。

基于此，论文设计了一套适用于Stiefel流形的优化算法——流形Muon算法，通过精巧的矩阵运算，确保权重矩阵在整个训练过程中始终保持其优良的几何特性。

终极构想：模块化流形（Modular Manifolds）

单个矩阵的问题解决了，但一个庞大的LLM是由成百上千个层与模块构成的，如何协调它们？这便是论文最终提出的核心概念——模块化流形。

其构想是将神经网络的每一层或每一个模块都视为一个独立的子流形，拥有各自的几何约束和优化规则。然后，通过“笛卡尔积”的方式将这些子流形组合成一个巨大的、统一的流形空间。

最关键的一步是，在这个宏观的流形空间中，采用一种“最大范数”（max norm）策略来统一调配全局学习率。这相当于为整个网络的参数更新设定了一个总的上限，确保没有任何一个模块的更新步伐会“一骑绝尘”，从而破坏整体的协调性。

这种“自下而上”定义约束、“自上而下”进行调控的框架，将模型结构设计与优化器设计紧密耦合，形成了一套完整的、系统化的训练哲学。这与当前主流的“模型+优化器”松散组合的模式形成了鲜明对比，代表了AI训练方法论的一次重要探索。

结论：通往更高效AGI之路

Thinking Machines的“模块化流形”研究，为解决大模型训练中的根本性稳定问题提供了一条极具前景的路径。尽管目前仅在小规模实验上得到验证，但其背后蕴含的深刻思想，一旦成功应用于万亿参数级别的LLM，无疑将极大提升训练效率与稳定性，降低对算力和调参经验的过度依赖。

随着Mira Murati、翁荔、陈丹琦等顶尖人才的汇聚，Thinking Machines正快速推动着AI研究的边界。从克服推理不确定性到优化训练稳定性，这家备受期待的公司正一步步构建其通往通用人工智能（AGI）的技术基石。想要获取更多关于AI变现、Prompt工程以及前沿AI日报等一手资讯，欢迎访问 https://aigc.bar，与我们共同见证人工智能的未来。