.png?table=collection&id=1e16e373-c263-81c6-a9df-000bd9c77bef&t=1e16e373-c263-81c6-a9df-000bd9c77bef)
Kimi打破Transformer十年禁区：算力暴涨的AI底层革命 - AI资讯
type
status
date
slug
summary
tags
category
icon
password
网址
在人工智能飞速发展的今天，底层架构的每一次微小震动都可能引发整个行业的地震。自2017年Transformer架构横空出世以来，它几乎成为了所有大模型（LLM）的绝对基石。然而，就在最近，国内AI企业Moonshot AI（月之暗面，即Kimi背后的团队）发布了一项名为《Attention Residuals》的重磅研究，直接触碰了Transformer架构中长达十年无人敢动的“禁区”。
这一突破不仅让谷歌高级产品经理等海外科技大V开启了“高赞”模式，更被业界誉为“天才洞察”。它不仅解决了长期存在的PreNorm稀释问题，更在几乎不增加计算成本的情况下，为模型带来了相当于免费1.25倍的算力提升。作为专业的AI资讯和AI门户，今天我们将深入解读Kimi的这一颠覆性创新，探讨它将如何重塑AGI的未来。获取更多前沿AI新闻、AI日报，欢迎访问我们的平台 https://aigc.bar。
十年未变的“结构性黑洞”与PreNorm稀释
要理解Kimi这次突破的伟大之处，我们必须先看看现有的大模型都在使用的一个基础公式：
h = h + f(h)。这是2015年ResNet论文中提出的残差连接（Residual Connection）。从openai的chatGPT到claude，从Llama到Gemini，全世界的LLM都在日复一日地复用这个公式。随着模型变得越来越深（动辄几十上百层），这个看似完美的公式暴露出一个致命的“结构性黑洞”——PreNorm稀释问题（PreNorm Dilution）。在传统的残差连接中，第1层的输出和第50层的输出被强制赋予了相同的权重。这就像是在进行一项复杂的逻辑推理时，第一步的直觉和第五十步的缜密计算被同等对待。
这种“盲目求和”导致了两个严重的后果：第一是稀释效应（Dilution），随着网络层数的加深，后续深层的贡献被前面庞大的累积量无情淹没；第二是无意义的增长，深层网络为了不被前面的信号掩盖，不得不拼命放大自身的输出幅度。这就是为什么许多百亿、千亿参数的模型虽然层数极深，但其中很多层实际上处于“冗余”状态，白白消耗了宝贵的算力。
从线性叠加到“深度注意力”的降维打击
Kimi团队的“天才洞察”在于，他们敏锐地发现：如今残差连接所面临的困境，与当年RNN（循环神经网络）被Transformer淘汰时的瓶颈如出一辙！
当年，RNN因为将所有历史信息强行压缩进一个单一状态中，导致长文本记忆能力极差；Transformer则通过引入Attention（注意力机制）完美解决了这个问题。今天，Kimi团队用同样的降维打击思路，解决了残差连接将所有历史层强行“盲目求和”的瓶颈。
他们提出了Attention Residuals（AttnRes）。核心逻辑非常优雅：不再让各层简单相加，而是赋予每一层一个“可学习的查询向量（Query）”。这意味着，每一层在输出前，都会“抬头”审视前面所有层的产出，并智能地决定：“对于当前的任务，我需要第5层的80%逻辑，同时只需要第10层的2%干扰信息。”
这一跨越，标志着模型从“深度维度的线性叠加”正式进化到了“深度维度的Softmax注意力”。模型终于拥有了对深度特征的“选择性过滤能力”，这无疑是人工智能底层架构的一次重大跃升。
Block AttnRes：极低开销换取算力暴涨
当然，在AI工程实践中，任何理论上的创新都必须面对算力成本的拷问。如果在每一层都对前面所有层进行全局注意力计算，内存消耗将呈现
O(Ld) 的爆炸式增长，这在动辄处理百万Tokens的今天显然是不现实的。为了解决这个问题，Kimi团队祭出了极其聪明的工程方案：Block AttnRes（分块注意力残差）。
其原理是将整个网络层划分为N个分块（例如8个分块）。在每个分块内部，依然使用传统的标准残差进行高效累积；但跨越分块时，则在块级表征上应用注意力机制。这种“即插即用”的混合方案，既保留了全量AttnRes的绝大部分收益，又将计算开销压缩到了极致。
实验数据令人震惊：
1. 极低开销：推理开销增加不到2%，训练速度减慢不到4%。
2. 暴力提升：在48B参数、1.4T Tokens的真实训练环境下，模型在各大评测榜单全线飘红。
3. 逻辑进化：在代表复杂推理的GPQA-Diamond榜单狂涨7.5分，数学能力提升3.6分，代码能力提升3.1分。
难怪海外AI大V惊呼，这相当于在不增加物理显卡的情况下，白捡了1.25倍的算力！对于目前深受算力成本困扰的AI变现和商业化落地而言，这无疑是一剂强心针。
挑战祖制，引领AGI新纪元
长期以来，AI界似乎陷入了一种“堆算力、堆参数”的路径依赖。无论是精心设计的Prompt（提示词），还是海量的数据清洗，大家都在现有的框架内做微调。而Kimi这篇论文的意义在于，它证明了在Scaling Law（缩放定律）之外，底层架构的微小革新依然蕴含着巨大的红利。
正如网友所评价的：“这东西十年没人碰，直到现在的算力账单把大家都烧疼了，它突然就变成了革命。”如果说以前的Transformer是在平地起高楼，那么Kimi的AttnRes就是给这栋摩天大楼装上了智能电梯和精确的调度系统。
Transformer的传统“残差”时代或许即将迎来终结，一条全新的“深度选择”路径已经铺开。这不仅是Kimi向世界前沿模型发起冲击的强烈信号，更是整个人工智能领域向着高效能AGI迈出的坚实一步。
想要持续跟踪这项技术的后续开源进展，获取最前沿的AI资讯、深入的大模型技术解析，以及实用的AI变现指南，请收藏并访问我们的AI门户：https://aigc.bar。我们将为您提供每日更新的优质AI新闻与深度洞察。
Loading...