学习的物理学：神经网络与自然系统的共同之处

梯度下降不是下山的比喻，它就是下山。

数学是完全相同的。重力场中的球沿着势能相对于位置的负梯度运动——它沿着最陡下降的方向移动，速度与局部梯度成正比，直到到达梯度为零的最小值。执行梯度下降的神经网络沿着损失函数相对于权重值的负梯度移动——它在权重空间中沿着最陡下降方向移动，速度与学习率成正比，直到到达梯度为零的最小值。

这不是相似的过程，而是相同的过程——相同的微分方程，相同的收敛条件，相同的失败模式——在不同的物理基底中实例化。这种联系不是帮助直觉的便利类比，而是一种数学恒等式，对我们应该如何思考训练、优化以及大型模型在现有工程直觉没有清晰框架的条件下的行为，具有真实的含义。

并排放置的方程式：

牛顿动力学：   x_{t+1} = x_t  −  γ · ∇_x V(x)
梯度下降：     w_{t+1} = w_t  −  η · ∇_w L(w)

x 和 w 是各自空间中的位置。V 和 L 是被最小化的能量场。γ 和 η 是粘度和学习率——两者都控制系统追逐局部梯度的激进程度。这两行之间唯一不同的是符号在物理世界中指向的东西。

损失景观作为物理地形

在经典力学中，粒子在物理空间中运动，其状态是它的位置，作用于它的力是势能场的梯度，平衡是势能梯度为零的点——一个系统稳定的最小值。

在机器学习中，模型在训练期间在权重空间中移动，其状态是所有权重值的向量——大型模型有数亿个数字，最大的有数十亿个。作用于它的力是损失函数的梯度，收敛是损失梯度为零的点——模型预测局部最优的最小值。

这个表格中的每个条目不是类比，而是两个被分别教授、很少被直接对话的领域之间的结构等价。

为了使之具体：想象一个单一训练步骤。一个球在山坡上，它测量当前位置的坡度——地形的梯度，然后沿下坡方向滚动一小段距离，与坡度成正比并被摩擦减慢，停下来，再测量，再滚动。这就是梯度下降。山坡是损失函数，球的位置是当前权重向量，摩擦是学习率，它找到的山谷——如果它找到了——是训练好的模型。每次运行反向传播并应用一个优化步骤，你都在一个有数亿维的空间中执行一次沿这座山的滚动。物理学是相同的，几何只是更难可视化。

学习率在物理系统中扮演摩擦或粘度的角色。非常小的学习率是高摩擦：优化器移动缓慢，走小步，不太可能越过最小值，但可能需要极长时间才能找到一个。非常大的学习率是低摩擦：优化器移动快，越过最小值，振荡，可能完全发散。找到正确的学习率就是找到景观的正确粘度——这是介质的属性，不只是目标函数的属性。

梯度动量是字面意义上的动量：优化器从以前的步骤中积累速度并向前携带。在崎岖地形中，这帮助球滚过浅谷到达更深的谷。在优化中，动量帮助优化器逃脱尖锐、狭窄的最小值——紧密拟合训练数据但泛化能力差的解——并到达更广、更平坦的最小值，这些最小值往往泛化得更好。

核心主张： 这些不是类比，而是两个还没有完成互相交谈的学科中看到的同一数学对象。

随机梯度下降（其中梯度在随机的训练数据子集上计算而非整个数据集）在每一步都向力估计引入噪声。这是热涨落——允许分子尽管能量低于势垒高度也能逃脱局部能量阱的相同机制。批次噪声不是需要消除的缺陷，而是热力学资源。它允许优化器探索损失景观而不是落入最近的最小值，而用噪声找到的最小值往往更平坦，泛化得更好——这是机器学习中热力学稳定性的类比。

赫布学习与电阻

"一起激发的神经元连接在一起。" 唐纳德·赫布在 1949 年将此作为学习的生物学基础提出：当两个神经元在时间上接近地激发时，连接它们的突触就会被加强。经验在网络中雕刻出沟壑，经常走过的路径变得更容易走。

这是应用于生物学的欧姆定律。电流沿阻力最小的路径流动，携带更多电流的路径随时间降低阻力。大脑是一个根据哪些通路携带最多电流而在物理上重新布线的电网——突触权重是电导，可塑性规则是由共同活动驱动的电导更新规则。

反向传播——训练人工神经网络的算法——是这一原则扩展到多层系统的形式化。正确输出的功劳被逐层向后分配给贡献它的权重。对正确预测有正面贡献的权重被加强，有负面贡献的被削弱。网络通过强化产生正确输出的通路和衰减那些不这样做的通路来变得更擅长任务。

生物版本和人工版本并不相同。赫布规则是局部的：突触根据它直接连接的两个神经元的活动来更新，不需要来自网络其他地方的信息。反向传播是非局部的：功劳通过整个网络使用关于输出误差的信息传播，这需要对网络状态的全局了解。这是计算神经科学中的活跃研究问题之一——大脑如何使用只有局部信息来近似反向传播全局计算的功劳分配？已经提出了几种可能的机制，但没有一个得到明确证实。

但连接两者的基本原则是相同的：强化有效的，衰减无效的，由编码成功的信号衡量。两个系统通过强化携带规律性的通路和削弱携带噪声的通路来发现其输入的结构。

信息的热力学

1948 年，克劳德·香农将概率分布的熵定义为 H = −Σ p log p。1877 年，路德维希·玻尔兹曼将热力学系统的熵定义为 S = −k Σ p log p，其中 k 是玻尔兹曼常数。香农明确承认了这种联系，并与同事讨论是否应该称之为熵，因为这个词已经属于热力学。据报道约翰·冯·诺依曼告诉他："叫它熵。没有人知道熵真正是什么，所以在辩论中你总是占有优势。"

这两个量是相同的数学表达式，唯一的区别是比例常数和概率的物理解释。信息和物理熵是同一件事，以不同单位测量，在不同背景下发展，尚未完全整合进一个统一框架。

这对神经网络意味着什么：随机初始化的网络具有高熵——其权重分布是最大不确定的，其输出接近随机。训练好的网络具有低熵——其权重已经组织成捕获训练数据规律性的结构化模式。训练是一个热力学过程，它通过将信息——训练信号——注入系统来对抗自然无序的方向，降低权重分布的熵。

这种重构使几个训练现象更加直观。过拟合是过度的熵降低——模型已经将自己压缩以匹配训练数据的特定实例，包括其噪声，而不只是底层分布。正则化是熵下限——一种防止权重变得过于有组织、过于专门适应已见过的而不是将要见到的东西的约束。Dropout 在训练期间通过随机将激活置零向网络重新引入熵，防止任何单一通路变得过于主导，并强制网络学习冗余表示。

驱动训练期间熵降低的能量源是训练信号——模型预测与正确输出之间的差异。在热力学中，熵降低需要功，而功需要能量梯度。在训练中，模型的误差是那个梯度，优化器遵循它。系统从高熵冷却到低熵，它冷却成为的是对它被训练来预测的世界的压缩模型。

训练中的相变

神经网络不会逐渐均匀地改善，它们经历相变——在特定规模和训练的特定点发生的能力的不连续变化，在阈值两侧的状态之间没有平滑插值。

水不会逐渐变成冰。在标准压力下的 0°C，某些东西一下子改变了，分子结构重新组织，释放潜热，材料的性质不连续地改变。在居里温度以下，铁磁体发展出自发磁化——单个原子的磁矩集体对齐——在此以上材料没有净磁矩。过渡是尖锐的，依赖于规模，从任一相内部无法预测。

语言模型做同样的事。在某个参数数量以下，模型无法可靠地执行多步算术；超过阈值，能力出现并迅速提高。在某个训练计算预算以下，模型无法在长上下文中维持共指；超过阈值，能力存在。这些不是在某个点变得显著的渐进改进，而是相变——在阈值以下不存在，在阈值以上存在，过渡足够尖锐，使得阈值以下和阈值以上 10% 的模型在受影响的能力上看起来质上不同。

Anthropic 和 DeepMind 的研究人员记录了跨越不同能力的数十次这样的转变，模式是一致的。支配这些转变的数学——渗流理论，统计力学的重整化群方法——与研究物理相变所用的相同。处于临界规模的模型类似于处于临界温度的材料：在阈值以下不存在的属性一下子出现，由大型相互作用系统中集体行为的相同基础数学驱动。

这对我们构建方式的意义

如果神经网络是物理系统——不是比喻意义上，而是结构意义上，即它们遵循相同的方程，表现出相同的现象，受相同的数学支配——那么对于构建它们的人来说，物理学家的直觉与工程师的直觉同等相关。

物理学家从稳定性和不稳定性、守恒定律和对称性破缺、相图和临界点、标度律和普适性类别的角度思考。这些不是为了类比而引入的装饰性概念，而是描述当你扩展神经网络、调整学习率计划、添加动量、改变梯度估计中的噪声、越过临界规模阈值时实际发生的事情的正确技术词汇。

这种重构有三个具体收益：

更好的诊断直觉。 损失曲线是能量曲线。振荡的损失是粘度不足的系统——降低学习率。早期停滞的损失是困在局部最小值的系统——添加噪声（更大的批次方差）或动量来逃脱。物理失败模式词汇直接映射到优化器失败模式，比"训练不稳定"更精确。

新的架构设计方向。 物理系统有已知的稳定条件和对称性属性，约束其行为。将这些应用于权重空间——询问哪些网络架构对应于能量稳定系统——是一个未充分探索的方向。例如，残差连接可以被解释为离散化微分方程；这种解释直接激发了通过求解而非猜测来设计的神经 ODE 和一类架构。

基于模拟的学习。 如果物理引擎已经对支配训练的相同数学进行建模，将物理模拟用作训练环境——奖励信号是物理量，智能体通过在同一能量景观上的基于梯度的优化来学习——消除了模拟系统和学习控制它之间的区别。

下一个十年最有趣的进展可能来自精通两个领域的人——他们能读一篇关于重整化群理论的论文和一篇关于神经网络规模律的论文，并看到同一个问题用不同词汇描述了两次。

神经网络不是恰好表现得像物理系统的计算工具。它们是动力学系统——受相同方程支配，受相同稳定条件约束，表现出相同相变——只是在硅上而非物质上运行。物理学和机器学习之间的边界不是学科界线，而是历史偶然。相同的方程一直在两侧。