AI考古：30年前的Scaling Law预言，揭秘大模型背后的远见者

type

status

date

slug

summary

引言

当今人工智能（AI）领域，Scaling Law（规模定律）已成为推动技术浪潮的核心法则。从OpenAI的GPT系列到各类层出不穷的大模型（LLM），我们似乎已经习惯了这样一个共识：投入更多的计算、数据和参数，就能换来可预测的性能提升。然而，这一被视为开启AGI时代钥匙的深刻洞见，其源头并非始于2020年的OpenAI，甚至不是更早的探索者，而是要追溯到30多年前——1993年的贝尔实验室。

一篇名为《Learning Curves: Asymptotic Values and Rate of Convergence》的论文，在那个时代就已悄然播下了Scaling Law的种子。本文将带您进行一场AI考古，深入解读这篇开创性的研究，探寻其背后的思想光辉，并一窥那些塑造了我们今天AI世界的巨匠们的风采。

穿越时空：1993年的“学习曲线”与今天的Scaling Law

我们今天所熟知的Scaling Law指出，在模型架构、数据质量等因素保持合理的情况下，模型性能与模型参数量（N）、训练数据量（D）和计算量（C）之间存在幂律关系。这使得我们能够通过在较小规模上进行实验，来预测大模型在更大规模下的表现，从而指导训练策略。

令人惊叹的是，1993年那篇论文的核心思想与此几乎完全一致。当时，由Vladimir Vapnik、Corinna Cortes等五位研究员组成的团队，为了一个非常实际的问题——节省宝贵的计算资源——提出了一个精妙的预测框架。

他们发现，无论是训练误差还是测试误差，随着训练集规模的增大，都会按照一种幂律形式，收敛到同一个渐近误差值（asymptotic error）。这个值代表了模型和任务本身的固有局限性，是无法通过增加数据量来消除的。

其数学表达的核心可以简化为： Error(m) ≈ a + b * m^(-α) 其中： * m: 训练集的大小 * a: 渐近误差，代表了模型性能的理论上限。 * b, c: 幅度参数。 * α: 收敛速率指数，通常在0.5到1之间，反映了模型学习的速度。

通过在对数坐标下将这种关系转换为线性关系，研究人员可以在中等规模的数据集上训练模型，拟合出这条“学习曲线”，并外推出模型在超大规模数据集上的最终性能。这与今天我们利用Scaling Law来预测千亿、万亿参数大模型性能的做法，在哲学上如出一辙。

远见卓识：为何贝尔实验室要预测模型性能？

在1993年，算力远比今天稀缺。训练一个复杂的分类器，例如用于手写数字识别的早期神经网络（如LeNet），需要耗费大量的计算时间和资源。研究团队面临的困境是：在投入巨大成本进行完整训练之前，如何判断一个模型架构是否“值得”？

这篇论文提出的预测方法，正是为了解决这一痛点。它提供了一种高效的“模型选拔”机制： 1. 小规模试训：在几个中等规模的数据集子集上训练候选模型。 2. 曲线拟合：根据实验结果，为每个模型拟合出其独特的学习曲线，估算出其渐近误差a和学习速率α。 3. 性能预测：将曲线外推到目标数据集的完整规模（例如60000个样本），预测模型的最终表现。

实验结果证明了这种方法的有效性。研究人员仅用12000个样本进行训练，就准确预测出一种新的CNN架构在60000个样本上的表现将优于旧架构。这意味着，他们可以在早期阶段就淘汰掉性能潜力较差的模型，将有限的计算资源集中在最有希望的候选者身上。这种对计算效率的极致追求，至今仍是人工智能领域的核心议题之一。

群星闪耀：SVM之父与背后的巨匠们

这篇论文之所以能拥有如此超前的洞察力，离不开其星光熠熠的作者团队。

Vladimir Vapnik：这位传奇人物是统计学习理论的奠基人之一，他与同事共同开发的VC理论（Vapnik-Chervonenkis theory）为机器学习的泛化能力提供了坚实的数学基础。更广为人知的是，他正是支持向量机（SVM）的主要发明者。在深度学习浪潮兴起之前，SVM凭借其优美的理论和出色的性能，曾是机器学习领域的“王者”。

Corinna Cortes：作为Vapnik的长期合作者，她同样对SVM的发展做出了关键贡献。如今，她是Google Research纽约分部的负责人，持续在AI研究前沿发光发热。

John S. Denker：这位作者堪称一位“跨界奇才”。他不仅在机器学习领域与Yann LeCun等大神合作过多篇经典论文，还涉足系统安全、好莱坞特效、芯片设计教学，甚至是一位撰写了飞行教科书的飞行员。他的存在为这个传奇团队增添了更多色彩。

正是这些来自不同背景、但同样才华横溢的大脑，在贝尔实验室这个创新熔炉中，碰撞出了超越时代的火花。

历史的博弈：SVM与神经网络的“晚餐赌局”

有趣的是，诞生了这篇“Scaling Law”论文的贝尔实验室，也曾是两大技术路线——支持向量机（SVM）和卷积神经网络（CNN）——激烈交锋的战场。

SVM拥有坚实的理论基础和清晰的数学解释，而早期的神经网络则更像一个难以解释的“黑箱”，其成功在很大程度上依赖于经验和大规模训练。这两种路线的优劣之争，引发了一段著名的“晚餐赌局”。

1995年，Vapnik与他的上司Larry Jackel打赌，赌到2000年，人们是否能从理论上解释清楚为什么大型神经网络能在大规模训练中表现出色。Vapnik认为不能，并最终赢得了这顿晚餐。但历史的潮流并未停止，当他们将赌局延续到2005年时，Vapnik承认自己错了，因为神经网络已经通过不断的迭代和发展证明了其强大的潜力。

这场赌局的见证人，正是后来被誉为“深度学习三巨头”之一的Yann LeCun。这个故事生动地反映了AI发展史上理论与实践、可解释性与性能表现之间的永恒张力。

结论

回顾这篇1993年的论文，我们不仅看到了Scaling Law的雏形，更看到了一代AI先驱们对基本问题的深刻思考和不懈探索。他们对效率的追求、对规律的洞察以及开放的学术争鸣精神，共同铺就了通往今天大模型时代的道路。历史并非简单的重复，但总有惊人的相似。了解过去，能让我们更清醒地认识现在，更从容地走向未来。

想要获取更多前沿的AI资讯、深度技术解读，并探索AI变现的无限可能，欢迎访问一站式AI门户网站 AIGC.bar，与我们一同见证人工智能的下一个黄金时代。