图片详情
—
Skip to content

第 02 章 线性单元与梯度下降 ​

从化学直线拟合认识线性单元和梯度下降
本章路线:拟合直线,调整参数,检验预测。 Arrhenius 方程经过变量变换后成为直线;线性单元给出这条直线的预测值;梯度下降根据拟合误差反复调整斜率和截距。图中的损失曲面表示不同参数下的拟合误差,不是反应体系的势能面。

2.0 本章导读 ​

如果你做过标准曲线,或用 Arrhenius 图求过活化能,就已经接触过本章的基本问题:给定一组实验点,怎样找到一条合适的直线?本章从这个问题出发,解释机器学习中的“模型”“损失”和“训练”分别在做什么。

我们先用 N₂O₅ 分解反应的速率常数认识线性单元,再根据预测误差调整斜率和截距。等这一步看懂后,再讨论学习率、特征标准化和多个输入。后半章用带隙预测检查模型遗漏了什么,用烷烃沸点检验模型能否预测训练范围以外的数据。

2.0.1 学习目标与阅读方式 ​

第一次阅读时,重点是能完成以下四件事:

  1. 区分实验数据、模型参数和预测值,说明线性单元与上一章感知器的输出有何不同。
  2. 用残差和平方误差比较拟合结果,并看懂一次梯度下降更新。
  3. 解释学习率与特征标准化为什么会影响训练,运行一个完整的拟合程序。
  4. 区分“训练已经收敛”和“预测值得信任”,用残差、测试集与外推实验检查模型。

读正文只需要直线方程、求平均和基本求导。矩阵写法在多特征问题出现时再引入。想进一步理解平方误差的统计来源、损失曲面的曲率和学习率的稳定界限,可以读附录 B;严格证明集中在附录 A。完整 Python 工具与案例放在 配套代码目录说明 中,正文先展示能独立运行的最小程序。


2.1 从感知器到直线拟合 ​

2.1.1 从“是不是”到“是多少” ​

上一章的感知器先对输入加权求和,再通过阶跃函数输出 0 或 1。它适合回答分类问题,例如“这种材料是不是超导体”。如果要预测超导转变温度、带隙或沸点,我们需要的则是一个具体数值。这类任务称为回归。

从「是/否」到「多少」:门与旋钮
图 1 从分类到连续数值预测。 感知器的输出只有 0 或 1;线性单元直接输出加权和,可以表示带隙、温度等连续量。门与旋钮只用来说明输出形式的差别。
感知器与线性单元对比及带隙数据分布
图 2 阶跃输出与线性输出。 (a) 阶跃函数在阈值两侧保持不变;恒等函数直接输出输入值。(b) 本章带隙数据覆盖 0.17~13.6 eV,二值标签无法保留这些数值差异。

去掉末端的阶跃函数,把加权和直接作为预测值,就得到了本章的线性单元。这样做还有一个好处:当参数稍微变化时,预测值和平方误差也会平滑变化,我们可以通过求导判断参数该往哪个方向调整。这里关注的是损失对参数的变化;感知器的阶跃函数几乎处处导数为零,无法直接提供这种调整信息。感知器原有的纠错规则与线性单元的历史联系见附录 B.1。

2.1.2 从 Arrhenius 图认识输入与参数 ​

先看一个熟悉的实验问题:测得 N₂O₅ 在不同温度下的分解速率常数,怎样求活化能?本章使用的五个数值如下,数据来源与拟合结果在 2.5.1 节说明。

表 1 N₂O₅ 分解反应的温度与速率常数

温度 TT / K速率常数 kk / s⁻¹
298.153.46×10−53.46\times10^{-5}
308.151.35×10−41.35\times10^{-4}
318.154.98×10−44.98\times10^{-4}
328.151.50×10−31.50\times10^{-3}
338.154.87×10−34.87\times10^{-3}

在适用的温度范围内,Arrhenius 方程为 k=Aexp⁡[−Ea/(RT)]k=A\exp[-E_a/(RT)]。对它取自然对数,得到

ln⁡ks−1=−EaR1T+ln⁡As−1.(1)\ln\frac{k}{\mathrm{s^{-1}}} =-\frac{E_a}{R}\frac{1}{T}+\ln\frac{A}{\mathrm{s^{-1}}}. \tag{1}

这就是直线方程。若用 x=1/Tx=1/T 作横坐标、y=ln⁡(k/s−1)y=\ln(k/\mathrm{s^{-1}}) 作纵坐标,模型的预测值可以写成

y^=wx+b.(2)\hat y=wx+b. \tag{2}

ww 是斜率,bb 是截距;在这个化学问题中,w=−Ea/Rw=-E_a/R,b=ln⁡(A/s−1)b=\ln(A/\mathrm{s^{-1}})。求出斜率后,就能换算活化能。

这里有三类量需要分清:xx 是输入,yy 是实测目标,y^\hat y 是模型给出的预测。拟合时,数据 xx、yy 保持不变,我们调整的是 ww 和 bb。 在一元模型里,机器学习所说的“权重”就是熟悉的斜率,“偏置”就是截距。

化学教材常把横坐标写成 1000/T1000/T,这样数值约为 3,读图更方便。换了横坐标,斜率也随之改变:此时 w=−Ea/(1000R)w=-E_a/(1000R),所以 Ea=−1000RwE_a=-1000Rw。后面的程序统一使用 1000/T1000/T;读斜率时必须同时看横坐标的定义。

2.1.3 线性单元怎样给出预测 ​

先给斜率和截距各取一个值,将一个温度对应的 xx 代入 wx+bwx+b,就得到该温度下的预测。这一步称为前向计算,意思是从输入算到输出。调整 ww 会改变直线的倾斜程度,调整 bb 会让直线整体上下移动。

线性单元内部结构示意图
图 3 线性单元的计算过程。 每个输入乘以对应的权重,再把各项乘积与偏置相加,得到预测值。只有一个输入时,这个过程就是计算 wx+bwx+b;多个输入的情形将在 2.3.3 节展开。

“训练线性单元”就是根据实验数据选择这些参数。我们目前已经能画出一条直线,但还没有回答怎样判断它是否合适。这需要先定义拟合误差,下一节就从实验点到直线的距离讲起。

2.1.4 其他化学定律中的直线 ​

Arrhenius 方程只是一个例子。取对数、取倒数等变量变换,也能把其他化学关系写成直线。先认出其中熟悉的一两项即可,其余可以在需要时查阅。

化学中到处都是线性关系的经验定律
图 4 化学定律与直线方程。 在各自适用的条件下,这些关系可写成“响应 = 斜率 × 输入 + 截距”。输入和目标可能经过变量变换,因此在变换后的坐标里是直线,在原始坐标里仍可能是曲线。

表 2 常见化学定律的线性化形式及其与线性单元的对应关系

定律原始形式线性化形式与 y^=wx+b\hat{y} = wx + b 的对应主要假设
Arrhenius 方程k=Aexp⁡(−EaRT)k = A\exp\left(-\dfrac{E_a}{RT}\right)ln⁡k=−EaR⋅1T+ln⁡A\ln k = -\dfrac{E_a}{R}\cdot\dfrac{1}{T} + \ln Ax=1/Tx = 1/T,y=ln⁡ky = \ln k,w=−Ea/Rw = -E_a/R,b=ln⁡Ab = \ln AEaE_a、AA 在所研究温度范围内不随温度变化
Clausius–Clapeyron 方程p=p0exp⁡(−ΔHvapRT)p = p_0\exp\left(-\dfrac{\Delta H_{\mathrm{vap}}}{RT}\right)ln⁡p=−ΔHvapR⋅1T+ln⁡p0\ln p = -\dfrac{\Delta H_{\mathrm{vap}}}{R}\cdot\dfrac{1}{T} + \ln p_0x=1/Tx = 1/T,y=ln⁡py = \ln p,w=−ΔHvap/Rw = -\Delta H_{\mathrm{vap}}/R,b=ln⁡p0b = \ln p_0蒸气为理想气体,液相体积可忽略,ΔHvap\Delta H_{\mathrm{vap}} 为常数
Beer–Lambert 定律I=I0⋅10−εclI = I_0\cdot 10^{-\varepsilon c l}A=lg⁡(I0/I)=εl⋅cA = \lg(I_0/I) = \varepsilon l\cdot cx=cx = c,y=Ay = A,w=εlw = \varepsilon l,b=0b = 0稀溶液、单色光、无散射与缔合
Hammett 方程K/K0=10ρσK/K_0 = 10^{\rho\sigma}lg⁡(K/K0)=ρ σ\lg(K/K_0) = \rho\,\sigmax=σx = \sigma,y=lg⁡(K/K0)y = \lg(K/K_0),w=ρw = \rho,b=0b = 0同一反应系列,间位或对位取代
Langmuir 吸附等温式q=qmKp1+Kpq = \dfrac{q_m K p}{1 + K p}pq=1qm p+1Kqm\dfrac{p}{q} = \dfrac{1}{q_m}\,p + \dfrac{1}{K q_m}x=px = p,y=p/qy = p/q,w=1/qmw = 1/q_m,b=1/(Kqm)b = 1/(K q_m)单分子层吸附,表面均匀,吸附质之间无相互作用

从表 2 可以看出两点。第一,直线的斜率和截距往往直接对应着有明确物理意义的量:活化能、汽化焓、摩尔吸光系数、反应常数 ρ\rho、饱和吸附量等。因此“求出最合适的直线”不只是数据处理,更是在测定物理量。第二,Beer–Lambert 与 Hammett 两行的理论截距为零;实际拟合时通常仍保留截距 bb,并检验它是否与零在误差范围内一致——这是检查基线漂移或参考体系选择是否合理的简便方法。

表 2 中的对应关系说明,选择什么作为输入,常常来自领域知识。活化能、汽化焓等物理量能够从斜率中读出,是因为我们已经有相应的物理模型。后面用描述符预测带隙时,没有这样的已知方程,权重的物理解读就需要更加谨慎。

变量变换也会改变我们衡量误差的方式。例如,对 ln⁡k\ln k 做普通最小二乘,更适合描述 kk 的相对误差大致稳定的情形;对 Langmuir 方程做线性化,也会改变不同测量点在拟合中的影响。附录 B.2 会从统计角度解释这一点。


2.2 从预测误差到一次参数更新 ​

2.2.1 用残差描述一个点的偏差 ​

给定一条直线后,我们可以算出每个实验点的预测值。第 ii 个实验点的实测值减去预测值,称为残差:

ri=yi−y^i=yi−(wxi+b).(3)r_i=y_i-\hat y_i=y_i-(wx_i+b). \tag{3}

下标 ii 表示“第几个实验点”。按本章的符号约定,残差为正表示预测偏低,为负表示预测偏高。残差的绝对值越大,这个点的预测偏差越大。

拟合直线与观测残差及二次等高线
图 5 同一个拟合问题的两种画法。 这里以 Hammett 关系为例,横坐标为取代基常数 σ\sigma。(a) 数据图中,每个点代表一个样本,竖直线段表示残差。(b) 参数图中,每个点代表一组斜率 ww 和截距 bb,对应一条拟合直线;等高线连接损失相同的参数组合。把数据图的横坐标换成 1000/T1000/T,同样可以这样理解 Arrhenius 拟合。

先看图 5(a)。需要注意,残差是沿纵轴方向测量的竖直距离,而不是数据点到直线的垂直(最短)距离。这背后的假设是:自变量(如取代基常数、温度、配比)被认为是准确已知的,测量误差主要出现在因变量上。如果自变量本身也有不可忽略的误差,就需要采用“正交回归”或“总体最小二乘”等其他方法,本章不展开讨论。

2.2.2 用损失比较整组数据的拟合 ​

一条线可能在这个点上偏高,在另一个点上偏低。要比较两条直线,需要把所有点的偏差合成一个数。直接相加会让正负残差互相抵消,所以这里先把残差平方,再取平均:

J(w,b)=12m∑i=1mri2=12m∑i=1m[yi−(wxi+b)]2.(4)J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}r_i^2 =\frac{1}{2m}\sum_{i=1}^{m}[y_i-(wx_i+b)]^2. \tag{4}

mm 是样本数,∑\sum 表示把各点的结果加起来,JJ 称为损失函数。对同一组数据,JJ 越小,残差平方和越小。平方还会让大偏差受到更重的惩罚,因此拟合结果可能受到离群点的明显影响。

通常报告的均方误差(MSE)没有前面的 1/21/2,因此这里 J=MSE/2J=\mathrm{MSE}/2。这个系数只是为了求导方便,不改变最优参数的位置。它与学习率之间的关系见附录 A.1。

平方误差是一种可用的比较标准。附录 B.2 还会说明:如果误差独立且服从方差相同的高斯分布,最小化平方误差恰好对应最大似然估计。这是它的一种统计解释,不是理解下面更新过程的前提。

现在,每一组 w,bw,b 都有一个对应的损失值。训练的目标就明确了:从当前这条线出发,调整两个参数,让整组数据的损失变小。

2.2.3 偏导数告诉我们往哪边调 ​

先固定截距,只把斜率增加一点,损失会怎样变化?偏导数 ∂J/∂w\partial J/\partial w 描述的就是这种局部变化。它为正时,斜率小幅增加会使损失增大,因此应朝减小斜率的方向调整;它为负时,则朝增大斜率的方向调整。截距也可以用同样的方法判断。

为了算出这个方向,先看一个残差:ri=yi−wxi−br_i=y_i-wx_i-b。固定数据和截距时,斜率每增加一点,残差就按 −xi-x_i 的比例变化。因此

∂J∂w=12m∑i2ri(−xi)=−1m∑irixi,∂J∂b=−1m∑iri.(5)\frac{\partial J}{\partial w} =\frac{1}{2m}\sum_i 2r_i(-x_i) =-\frac{1}{m}\sum_i r_i x_i, \qquad \frac{\partial J}{\partial b} =-\frac{1}{m}\sum_i r_i. \tag{5}

这两个式子来自链式法则:先求“损失随残差怎样变化”,再乘上“残差随参数怎样变化”。平方求导产生的 2 与损失中的 1/21/2 正好相消。

偏置的式子尤其容易理解:如果模型整体预测偏低,平均残差为正,偏置的偏导数就为负;把偏置增大一些,就会把整条线向上抬。斜率的调整还要考虑每个点的横坐标,所以残差要乘上 xix_i。不同样本可能提出不同的调整方向,求和后得到整组数据的共同结果。

把所有参数的偏导数排列在一起,就得到梯度。本节只有两个参数,梯度只有两个分量。梯度并不等于残差:残差描述预测偏了多少,梯度描述调整参数会怎样改变整体损失。

2.2.4 手算一次梯度下降 ​

沿梯度的相反方向小幅调整参数,就得到梯度下降的更新规则:

wnew=w−η∂J∂w,bnew=b−η∂J∂b.(6)w_{\mathrm{new}}=w-\eta\frac{\partial J}{\partial w}, \qquad b_{\mathrm{new}}=b-\eta\frac{\partial J}{\partial b}. \tag{6}

正数 η\eta 称为学习率,控制调整的幅度。两个偏导数都要用更新前的同一组 w,bw,b 计算,再一起更新参数。

先用一个人为设定的无量纲数据点看清算术过程:x=1x=1、y=2y=2。它只用于演示一次更新,不是实验数据,也不足以唯一确定一条直线。令初始参数 w=0,b=0w=0,b=0,学习率为 η=0.1\eta=0.1:

  1. 预测值为 y^=0\hat y=0,残差为 r=2r=2,损失为 J=12×22=2J=\tfrac12\times2^2=2。
  2. 两个偏导数都是 −2-2。
  3. 更新后,w=0−0.1×(−2)=0.2w=0-0.1\times(-2)=0.2,b=0.2b=0.2。
  4. 新预测为 0.2×1+0.2=0.40.2\times1+0.2=0.4,新损失为 12(2−0.4)2=1.28\tfrac12(2-0.4)^2=1.28。

这一步让损失从 2 降到了 1.28。真实拟合时,只需把第 2 步换成对全部实验点求和,再重复“计算预测—计算梯度—更新参数”。2.4 节会用表 1 的五个点完成这件事。

负梯度矢量场与收敛轨迹
图 6 参数如何一步步变化。 坐标轴为斜率和截距,路径上的点表示历次参数值。负梯度给出当前位置附近下降最快的方向,学习率决定沿这个方向调整多少。

一次更新只利用当前位置附近的信息,并不知道最优参数在哪里。图 7 的“浓雾中下山”可以帮助理解这一点,但比喻不能替我们决定步长;下一节要观察学习率过小和过大时分别发生什么。

梯度下降如同盲人在浓雾中摸索下山
图 7 只利用当前位置的坡度。 每一步都根据当前梯度重新判断方向。学习率控制步幅;步幅过大时,即使方向在局部正确,更新后的损失仍可能增大。

2.3 让训练稳定进行 ​

2.3.1 学习率:一次调整多少 ​

同样的梯度,乘上不同的学习率,会得到不同幅度的参数更新。学习率很小时,每一步变化不大,训练可能需要很久;适当增大它,通常能更快接近最优参数;再增大到超过稳定范围,就可能在两侧越跳越远。

初始点
快捷设置
数据:64 个样本,参数 (w, b)
η · λ_max0.90单调收敛
收缩因子 |1−ηλ|0.10 / 0.89陡岭 / 平缓方向
Hessian 特征值3.39 / 0.41κ = 8.3
超额损失降到 10⁻⁶60 步
均方误差的参数曲面椭圆为等损失线,前 60 步轨迹
梯度下降轨迹 特征方向
★wb10-810-610-410-2100102超额损失 L − L*(对数)0迭代 60
η = 0.265,临界 2/λ_max = 0.590
交互图 学习率如何改变训练过程。先固定数据与起点,只改变学习率,观察参数轨迹和损失曲线。注意:参数来回跨过最优位置时,损失仍可能持续下降;只有摆动越来越大时,才表明训练正在发散。学习率稳定界限的推导见附录 B.4~B.5。
不同学习率下的四种步进形态
图 8 学习率与训练过程。 从左到右分别为调整过慢、较快收敛、往返摆动但逐渐接近最优点,以及越摆越远。判断训练是否改善,要看损失曲线,不能只看参数路径是否平直。

回到 Arrhenius 拟合,我们可以记录每一步的损失。若损失快速增大或出现数值溢出,应先检查公式与数据,再减小学习率;若损失缓慢下降,需要结合输入的数值范围判断原因;若损失基本不再下降,还要检查梯度是否已接近零,不能仅凭“变化很小”就认定已经求到最优解。

“来回跨过最优点”和“损失上下波动”是两件不同的事。对于本章的批量线性最小二乘,在合适的学习率下,参数可以左右摆动,而每一步的损失仍然下降。附录 B.4 用一个可计算的例子解释这种现象。

交互图拟合直线怎样一步步移动#

同时观察预测直线和平方损失,跟随同一组参数更新。

预测直线与五个观测
预测直线与五个观测;指向曲线查看数值-4.06-0.7532.555.86-2.28-1.1401.142.28响应 y输入 x观测:-2, -3.1观测:-1, -0.9观测:0, 0.8观测:1, 3.2观测:2, 4.9
观测当前预测
训练损失
训练损失;指向曲线查看数值8.158.238.318.39-0.07-0.03500.0350.07L更新次数
平方损失
ri=wxi+b−yir_i=wx_i+b-y_i
w←w−ηN∑i=1Nrixiw\leftarrow w-\frac{\eta}{N}\sum_{i=1}^{N}r_ix_i
b←b−ηN∑i=1Nrib\leftarrow b-\frac{\eta}{N}\sum_{i=1}^{N}r_i

w=-0.5,b=-1;L=8.271。

思考与说明

思考学习率变大后,前几步残差是否仍然逐步减小?

五个无量纲合成观测;L=Σ(wx+b−y)²/(2N),使用全批量梯度。

2.3.2 标准化:让输入更适合计算 ​

学习率已经调小,训练却仍然很慢,这时要检查输入的数值范围。Arrhenius 拟合中的 1/T1/T 约为 0.003;它每次都乘在斜率的梯度里,而截距的梯度没有这一因子。同一个学习率因此不容易让两个参数都调整得合适。

把横坐标改为 1000/T1000/T 会改善数值尺度,但这些数仍聚集在 3 左右,变化范围很窄。此时斜率和截距的变化容易互相抵消:略微改变斜率,再调整截距,也可能得到一条差不多的线。仅仅把数值放大,还没有充分改善这个问题。

常用的处理是 Z-score 标准化:对一列输入先减去均值,再除以标准差:

xi′=xi−μs,μ=1m∑i=1mxi,s=1m∑i=1m(xi−μ)2.(7)x'_i = \frac{x_i-\mu}{s}, \qquad \mu=\frac{1}{m}\sum_{i=1}^m x_i,\qquad s=\sqrt{\frac{1}{m}\sum_{i=1}^m(x_i-\mu)^2}. \tag{7}

μ\mu 是这一列的平均值,ss 是它的标准差。减去均值后,数据围绕零分布;除以标准差后,输入的变化幅度被调整到相近尺度。有多个特征时,对每一列分别计算自己的均值和标准差。常数特征的标准差为零,需要单独处理,不能直接相除。

标准化是在改变计算所用的坐标。对于带截距、没有正则化的线性拟合,它不改变能够表示的预测关系,但会改变参数的数值和梯度下降的路径。

如果在标准化坐标 x′=(x−μ)/sx'=(x-\mu)/s 中拟合到 y^=w′x′+b′\hat y=w'x'+b',代回原始坐标便得到

w=w′s,b=b′−w′μs.(8)w=\frac{w'}s,\qquad b=b'-\frac{w'\mu}{s}. \tag{8}

计算活化能之前,必须先把斜率还原到实际采用的横坐标。 若原始横坐标为 1000/T1000/T,还原后再使用 Ea=−1000RwE_a=-1000Rw。2.4 节的程序会把这两步明确写出来。

特征尺度悬殊导致的病态狭长山谷
图 9 数值尺度如何影响参数更新。 左侧不同方向的变化尺度相差很大,统一的学习率使某些方向调整过急、另一些方向调整过慢;右侧展示标准化后更均衡的情形。标准化不能消除特征本身的相关性。
特征标准化前后的等高线与轨迹形态
图 10 带隙数据上的标准化效果。 这里使用电负性差和摩尔质量两个特征。原始数据对应的条件数约为 2.3×1052.3\times10^5,标准化后约为 1.9,参数更新明显加快。条件数用来描述损失曲面不同方向的曲率差异,其定义见附录 B.3。

在这组带隙数据中,电负性差的数值为 0~3.2,摩尔质量约为 25~335 g/mol。两个特征直接一起使用时,损失曲面很狭长;标准化后,两个方向的计算尺度更接近。但如果两个描述符几乎提供同一条信息,即使标准化也无法消除这种重复,后面的岭回归会处理这类问题。

特征预处理
数据:80 个样本
κ(原始)452
κ(标准化)2.11只剩相关性贡献
误差降到 10⁻⁶ 所需迭代3,120 → 14原始 → 标准化
最优学习率 2/(λ₁+λ₂)2.56e-3
原始特征的损失曲面等比例坐标,从原点出发,使用最优学习率
原始 标准化
★w₁w₂10-1010-810-610-410-2100相对超额损失 vs 迭代0200
当前 κ = 451.6
交互图 标准化前后比较。先改变两个特征的数值尺度,比较参数轨迹;再增大它们的相关性,观察标准化为什么不能解决所有训练缓慢的问题。界面中的条件数越大,表示不同方向的曲率差异越大,严格解释见附录 B.3 与 B.6。

划分训练集和测试集后,均值与标准差只能从训练集计算,再原样用于测试集。这样才能模拟实际预测:遇到新材料时,我们使用已经确定的数据处理步骤。

2.3.3 多个描述符:从直线到矩阵写法 ​

一个输入已经足以表示 Arrhenius 关系。预测带隙时,我们可能同时使用电负性差、平均电负性、平均共价半径和摩尔质量。将每个输入乘以各自的权重,再相加,便得到多元线性单元:

y^=w⊤x+b=∑j=1dwjxj+b(9)\hat{y} = \mathbf{w}^\top \mathbf{x} + b = \sum_{j=1}^d w_j x_j + b \tag{9}

其中 w=(w1,…,wd)⊤∈Rd\mathbf{w} = (w_1, \dots, w_d)^\top \in \mathbb{R}^d 称为权重向量(weight vector),标量 b∈Rb \in \mathbb{R} 称为**偏置(bias)**或截距。图 3 把式 (9) 画成了一张计算流程图。

这里 dd 是特征数,xjx_j 是第 jj 个输入,wjw_j 是它对应的系数。w⊤x\mathbf w^\top\mathbf x 只是 ∑jwjxj\sum_jw_jx_j 的紧凑写法。给定一份数据,训练时仍然只调整各个权重与截距。

把所有样本整理成一张表:每行是一种材料,每列是一个描述符。这张表在数学上叫设计矩阵,记为 X\mathbf X;它有 mm 行、dd 列。所有实测值组成向量 y\mathbf y,全部预测便可以一起写成

y^=Xw+b 1m=X~θ(10)\hat{\mathbf{y}} = \mathbf{X}\mathbf{w} + b\,\mathbf{1}_m = \tilde{\mathbf{X}}\boldsymbol{\theta} \tag{10}

其中 1m\mathbf{1}_m 是元素全为 1 的 mm 维列向量。式中第二个等号用到了一个常用技巧:在设计矩阵右侧补上一列 1,得到增广设计矩阵 X~\tilde{\mathbf{X}},同时把偏置并入参数向量,得到增广参数向量 θ\boldsymbol{\theta}:

X~=[X1m]=[x11x12⋯x1d1x21x22⋯x2d1⋮⋮⋱⋮⋮xm1xm2⋯xmd1]∈Rm×(d+1),θ=[wb]∈Rd+1(11)\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{X} & \mathbf{1}_m \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d} & 1 \\ x_{21} & x_{22} & \cdots & x_{2d} & 1 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{md} & 1 \end{bmatrix} \in \mathbb{R}^{m\times(d+1)}, \qquad \boldsymbol{\theta} = \begin{bmatrix} \mathbf{w} \\ b \end{bmatrix} \in \mathbb{R}^{d+1} \tag{11}

这样,偏置 bb 就可以看作一个“输入恒为 1 的特征”所对应的权重,后面的推导因此可以统一处理 w\mathbf{w} 和 bb。

引入 θ\boldsymbol\theta 后,只是把原来的所有权重与截距合在一个参数向量里,并没有增加新的待拟合量。残差与损失也可以用同样紧凑的方式表示:

ri=yi−y^i=yi−(w⊤xi+b),r=y−y^=y−X~θ(12)r_i = y_i - \hat{y}_i = y_i - (\mathbf{w}^\top \mathbf{x}_i + b), \qquad \mathbf{r} = \mathbf{y} - \hat{\mathbf{y}} = \mathbf{y} - \tilde{\mathbf{X}}\boldsymbol{\theta} \tag{12}

J(θ)=12m∑i=1m(yi−y^i)2=12m∥r∥22=12m(y−X~θ)⊤(y−X~θ)(13)J(\boldsymbol{\theta}) = \frac{1}{2m}\sum_{i=1}^m (y_i - \hat{y}_i)^2 = \frac{1}{2m}\|\mathbf{r}\|_2^2 = \frac{1}{2m}(\mathbf{y} - \tilde{\mathbf{X}}\boldsymbol{\theta})^\top(\mathbf{y} - \tilde{\mathbf{X}}\boldsymbol{\theta}) \tag{13}

其中 ∥r∥22\|\mathbf r\|_2^2 就是把所有残差平方后相加。先前的一元问题与这里使用的是同一种损失。

求梯度时,仍然沿用 2.2.3 节的链式法则,只需把横坐标换成第 jj 个特征:

∂J∂wj=12m∑i=1m2(yi−y^i)⋅∂(yi−y^i)∂wj(14)\frac{\partial J}{\partial w_j} = \frac{1}{2m}\sum_{i=1}^m 2(y_i - \hat{y}_i)\cdot\frac{\partial(y_i - \hat{y}_i)}{\partial w_j} \tag{14}

由于 yi−y^i=yi−(∑k=1dwkxik+b)y_i - \hat{y}_i = y_i - \left(\sum_{k=1}^d w_k x_{ik} + b\right),它对 wjw_j 的偏导数为 −xij-x_{ij}。代入上式得

∂J∂wj=−1m∑i=1m(yi−y^i) xij=−1m∑i=1mri xij(15)\frac{\partial J}{\partial w_j} = -\frac{1}{m}\sum_{i=1}^m (y_i - \hat{y}_i)\,x_{ij} = -\frac{1}{m}\sum_{i=1}^m r_i\,x_{ij} \tag{15}

同理,偏置 bb 对应的“输入”恒为 1,于是

∂J∂b=−1m∑i=1mri=−rˉ(16)\frac{\partial J}{\partial b} = -\frac{1}{m}\sum_{i=1}^m r_i = -\bar{r} \tag{16}

即偏置的梯度等于平均残差的相反数。由此可以得到一个有用的推论:在损失的极小点处 ∂J/∂b=0\partial J/\partial b = 0,即平均残差为零——带截距的最小二乘拟合,其预测值在训练集上的平均值恰好等于实测值的平均值。

把 d+1d+1 个偏导数写成一个向量,就得到梯度的矩阵形式:

∇θJ(θ)=−1mX~⊤(y−X~θ)=1m(X~⊤X~θ−X~⊤y)(17)\nabla_{\boldsymbol{\theta}} J(\boldsymbol{\theta}) = -\frac{1}{m}\tilde{\mathbf{X}}^\top(\mathbf{y} - \tilde{\mathbf{X}}\boldsymbol{\theta}) = \frac{1}{m}\left(\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}}\boldsymbol{\theta} - \tilde{\mathbf{X}}^\top\mathbf{y}\right) \tag{17}

式 (17) 可以按“计算残差,再把残差与对应特征相乘、求平均,最后取相反数”来读。单个样本的贡献既取决于残差,也取决于特征值,不能只凭残差大小判断它对参数的影响。

用参数向量表示更新规则,就是

θ(t+1)=θ(t)−η ∇θJ(θ(t))(18)\boldsymbol{\theta}^{(t+1)} = \boldsymbol{\theta}^{(t)} - \eta\,\nabla_{\boldsymbol{\theta}} J\left(\boldsymbol{\theta}^{(t)}\right) \tag{18}

上标 tt 表示第几次更新。这个式子把 2.2.4 节对斜率和截距的两次更新写在了一起,算法本身没有改变。

2.3.4 损失曲面:训练在什么地方寻找最优解 ​

图 5 已经区分了数据图和参数图。现在把每组参数的损失值画成高度,就得到了损失曲面。一元模型有斜率和截距两个参数,因此可以画成三维图;更多参数时,含义相同,只是无法直接完整画出来。

二次抛物面形如一口光滑的碗
图 11 线性最小二乘的损失曲面。 每组参数对应一个损失值。当包含截距的设计矩阵各列独立时,曲面像一只只有一个最低点的碗;如果输入中有完全重复的信息,最低处可能是一条平坦的沟槽。
三维凸抛物面与参数空间负梯度投影
图 12 损失曲面与等高线。 (a) 横、纵轴是参数,竖轴是损失。(b) 等高线连接损失相同的参数;负梯度垂直于等高线,指向局部下降最快的方向,通常不会直接指向最优点。

对本章的线性模型和平方误差,这个曲面是凸的:不会出现一个较浅的局部最低点,把优化过程困在那里,而其他地方还藏着更低的点。只要学习率合适,批量梯度下降就能逼近全局最小损失;如果特征和常数项之间不存在严格的线性依赖,最优参数还是唯一的。

有两点需要分开理解。第一,最小损失不一定为零,因为实验噪声或模型形式的局限都可能留下残差。第二,找到最小损失只说明这组训练数据已经拟合到位,并不保证对新材料预测准确。后面的带隙和烷烃案例会检验第二点。

如果把同一个特征输入两次,两个权重可以互相补偿,因此可能有多组参数给出同样的预测。2.5.3 节中指数取 p=1p=1 的情况就是这样。用 Hessian 矩阵描述这些曲率和唯一性问题的推导放在附录 B.3。

2.3.5 每次使用多少数据:批量、随机与小批量 ​

式 (17) 的梯度需要对全部 mm 个样本求和。当数据量很大时,每走一步都要遍历全部数据,代价很高。根据每次更新所用的样本数,梯度下降可以分为三种形式:

批量大小 B
数据:64 个样本
每轮更新次数16共 192 次
梯度噪声 trΣ/B0.219
最后一轮平均超额损失7.8e-3噪声平台
η · λ_max0.34
小批量梯度的随机轨迹每步用 B 个样本估计梯度
参数轨迹 / 超额损失
★wb10-610-410-2100超额损失 vs epoch036912
B = 4
交互图 每次使用多少样本。固定数据与训练轮数,改变批量大小,观察每轮更新次数、损失下降速度和最终波动。epoch 表示完整遍历一轮数据;不同批量大小下,一个 epoch 包含的参数更新次数不同。
  • 批量梯度下降(batch gradient descent,BGD):每次用全部 mm 个样本计算梯度。方向准确,但每轮(遍历一次数据,称为一个 epoch)只更新一次参数。
  • 随机梯度下降(stochastic gradient descent,SGD):每次随机取 1 个样本,用它的梯度近似全体的梯度。每轮更新 mm 次,单次计算便宜,但方向噪声大。附录 B.1 的式 (44) 就是这种形式。
  • 小批量梯度下降(mini-batch gradient descent):每次取 BB 个样本(常取 16~256),每轮更新约 m/Bm/B 次,在方向准确性与更新频率之间折中。

在每步独立、均匀抽样的条件下,单样本或小批量梯度的平均结果等于全量梯度,称为无偏估计,但每次估计会有波动。配套程序采用每轮打乱数据再分批的方式,目的同样是避免总按固定顺序更新。图 13 直观地展示了三者路径的差异,图 14 则概括了三者的数据流。

三种梯度下降的路径形态对比
图 13 三种梯度下降在参数空间中的典型路径(示意图)。 批量梯度下降每一步都沿真实的负梯度方向,路径平滑;随机梯度下降每一步只依据一个样本,路径呈明显的随机折线;小批量梯度下降介于两者之间。
图 14 三种梯度下降的数据流与计算特点。 三者的差别仅在于每次参数更新所用的样本数:mm、BB 或 1。样本数越少,单步计算越便宜、更新越频繁,但梯度估计的随机波动越大。

那么在实际问题中谁更省?图 15 和表 3 给出了在 73 种化合物带隙数据(4 个标准化特征)上的实测结果,对应附录 B.7 的批量大小实验。评价时需要先明确“省”的含义,这里同时统计两个量:参数更新次数,以及单样本梯度计算量(计算一个样本的梯度记为 1 次;批量梯度下降更新一次需要 mm 次)。

BGD与SGD优化开销全景对比
图 15 带隙数据上三种梯度下降的收敛过程与计算开销。 (a) 训练损失随训练轮数(epoch)的变化;(b) 损失首次降到目标值 J<2.0J < 2.0 时所消耗的计算量。三种方法的学习率分别为:批量与小批量 η=0.05\eta = 0.05,随机梯度下降 η=0.005\eta = 0.005。

表 3 带隙数据上三种梯度下降达到 J<2.0J < 2.0 所需的开销

方法每轮更新次数达标所需轮数参数更新次数单样本梯度计算量300 轮后的损失 JJ
批量(B=73B = 73)1272719711.1577
小批量(B=16B = 16)56304381.1428
随机(B=1B = 1)7342922921.1422

从表 3 可以读出三点:

  1. 按遍历数据的次数(或单样本梯度计算量)衡量,随机与小批量方法更省。 它们每轮更新多次,只需 4~6 轮就达到目标,而批量方法需要 27 轮。这是这次实验在给定目标损失与学习率下的结果;换一组数据或更严格的精度要求,比较结果也可能变化。
  2. 随机方法的代价是噪声。 在这组数据和参数设置下,随机梯度下降使用较小的学习率保持稳定;固定学习率会让参数在极小点附近波动,后期降低学习率可以减小这种波动。
  3. 计算量不等于实际耗时。 在 NumPy、PyTorch 等向量化数值库中,一次全量梯度可以高度并行,耗时远小于逐个样本计算之和。小批量方法兼顾了“更新频繁”与“充分利用并行硬件”,因此成为深度学习的默认选择。

对于本章这类只有几十到几千个样本、几个到几十个特征的线性问题,直接求解 2.3.6 节的正规方程往往最简单可靠。

2.3.6 已有直接解,为什么还要学梯度下降 ​

对于本章这样的线性最小二乘问题,可以令梯度为零,直接求解一个线性方程组:

X~⊤X~ θ∗=X~⊤y(19)\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}}\,\boldsymbol{\theta}^* = \tilde{\mathbf{X}}^\top\mathbf{y} \tag{19}

式 (19) 称为正规方程(normal equation)。当 X~⊤X~\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 可逆时,

θ∗=(X~⊤X~)−1X~⊤y(20)\boldsymbol{\theta}^* = (\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}})^{-1}\tilde{\mathbf{X}}^\top\mathbf{y} \tag{20}

正规方程还可以解释最优残差的性质。把式 (19) 移项,得到

X~⊤r∗=X~⊤(y−X~θ∗)=0(21)\tilde{\mathbf{X}}^\top\mathbf{r}^* = \tilde{\mathbf{X}}^\top(\mathbf{y} - \tilde{\mathbf{X}}\boldsymbol{\theta}^*) = \mathbf{0} \tag{21}

即最优残差向量 r∗\mathbf{r}^* 与 X~\tilde{\mathbf{X}} 的每一列都正交。换句话说,在 mm 维的“样本空间”中,最小二乘的预测值 y^=X~θ∗\hat{\mathbf{y}} = \tilde{\mathbf{X}}\boldsymbol{\theta}^* 恰好是观测向量 y\mathbf{y} 在 X~\tilde{\mathbf{X}} 列空间上的正交投影。由于常数列 1m\mathbf{1}_m 是 X~\tilde{\mathbf{X}} 的一列,式 (21) 也包含了 2.3.3 节的结论:残差之和为零。

“残差与每一列正交”的意思是,在最小二乘解处,残差与任何已有特征列的内积都为零。这个几何解释可以留待理解矩阵后再读。实际使用时,先记住两件事:小规模线性问题可以直接求解;直接解还可以用来核对梯度下降是否已经收敛。

数据
κ(XᵀX)16.0
梯度下降达 10⁻⁶ 的迭代106理论 111
正规方程 flops2.0e+4
梯度下降 flops4.2e+5正规方程更省
迭代解逐步逼近解析解梯度下降使用最优学习率 2/(λ_max+λ_min)
‖wₜ−w*‖/‖w*‖ 正规方程
10-1410-1210-910-610-3100相对误差 vs 迭代次数030002.0e+44.2e+5正规方程梯度下降运算量(对数)
λ_max = 5.42,λ_min = 3.4e-1
交互图 两种方法拟合同一组数据。直接求解线性最小二乘,再观察梯度下降逐步接近它。改变特征间的相关性,比较达到相同误差所需的更新次数。两条路线求解的是同一个拟合问题。
解析解与迭代法两条求解路径的权衡
图 16 求解同一个拟合问题的两条路线。 直接法通过线性代数运算求解,迭代法反复更新参数。小规模线性问题通常适合直接法;梯度下降还能用于后续没有这种闭式解的神经网络。

表 4 正规方程与梯度下降的比较

比较项目正规方程梯度下降
求解方式求解式 (19) 的线性方程组按式 (18) 迭代,逐步逼近
超参数无学习率、迭代次数、批大小等
计算量构造 X~⊤X~\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 需 O(md2)O(md^2),求解需 O(d3)O(d^3)每步 O(md)O(md)(批量)或 O(Bd)O(Bd)(小批量),共 TT 步
内存需存储 (d+1)×(d+1)(d+1)\times(d+1) 矩阵,O(d2)O(d^2)除数据外只需存储参数与梯度,O(d)O(d)
数值稳定性κ(X~⊤X~)=κ(X~)2\kappa(\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}}) = \kappa(\tilde{\mathbf{X}})^2,病态时误差放大;实践中可直接对设计矩阵做 QR 或 SVD 分解病态时收敛很慢,也会受到浮点精度限制
适用范围仅限线性最小二乘(及岭回归等少数变体)可推广到逻辑回归、神经网络等任意可微模型
适用场景特征数较少(如 dd 在数千以内)的线性回归特征数或样本数很大的问题,以及适合梯度优化的非线性模型

从表 4 可以看出:对于本章的化学案例(几个特征、几十个样本),正规方程又快又准,第 2.5.2 节的实测也表明两者给出的参数相差不到 10−810^{-8}。梯度下降的真正价值在于它的通用性——第 3 章将沿用这种根据梯度迭代更新参数的思路来训练神经网络。

式 (20) 的逆矩阵写法用于说明数学关系。程序中通常求解方程组,不必显式构造逆矩阵。配套代码保留了手写高斯消元,方便检查每一步;面对数值条件较差的数据,应使用成熟数值库中的最小二乘求解器。

2.3.7 动量与正则化:分别解决什么问题 ​

经过标准化,训练仍可能遇到两种困难:一种是参数更新进展缓慢;另一种是许多组相差很大的权重都能给出相近的预测,导致参数不稳定。动量与正则化分别针对这两类问题。

动量保留前几次更新的方向。 如果某个方向连续几步都需要调整,就积累更多变化;如果方向反复变号,累积的变化会部分抵消。Polyak 的重球法 [3] 用一个“速度”变量表示这种记忆:

v(t+1)=β v(t)−η ∇θJ(θ(t)),θ(t+1)=θ(t)+v(t+1)(22)\mathbf{v}^{(t+1)} = \beta\,\mathbf{v}^{(t)} - \eta\,\nabla_{\boldsymbol{\theta}} J\left(\boldsymbol{\theta}^{(t)}\right), \qquad \boldsymbol{\theta}^{(t+1)} = \boldsymbol{\theta}^{(t)} + \mathbf{v}^{(t+1)} \tag{22}

其中 β∈[0,1)\beta\in[0,1) 是动量系数,常用值为 0.9;β=0\beta=0 时回到普通梯度下降。动量可以加速某些问题,但学习率与动量系数仍需配合选择。它改变参数更新的过程,不改变原来的拟合目标。

动量机制模拟小球在峡谷中的惯性加速
图 17 动量累积连续的调整方向。 把参数更新想象成带有惯性的运动,可以帮助理解为什么持续同向的调整会加快。图示描述一种典型情形,不表示任意学习率和动量系数都能加速。

L2 正则化(岭回归)。 当特征之间高度相关时,X~⊤X~\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 接近奇异,最小二乘的权重会对数据中的微小扰动极为敏感,甚至出现数值很大、符号相反的一对权重相互抵消。一种常用的补救办法是在损失中加入权重的平方和作为惩罚项:

Jridge(w,b)=12m∑i=1m(yi−y^i)2+λ2∥w∥22(23)J_{\mathrm{ridge}}(\mathbf{w}, b) = \frac{1}{2m}\sum_{i=1}^m (y_i - \hat{y}_i)^2 + \frac{\lambda}{2}\|\mathbf{w}\|_2^2 \tag{23}

这就是岭回归(ridge regression)[4],λ≥0\lambda \ge 0 是正则化强度(注意与特征值的符号 λk\lambda_k 相区别)。通常不对截距 bb 施加惩罚。正则化项有两个效果:

正则化改变了我们的选择标准:在减小拟合误差的同时,也避免权重过大。对于高度相关的描述符,这能减少“大正权重与大负权重相互抵消”的情况。通常先标准化特征,再讨论同一个惩罚系数的作用。

式 (23) 的梯度比原来多出 λw\lambda\mathbf w,在普通梯度下降中会把权重向零拉回。截距通常不受惩罚。这个做法称为 L2 正则化,对应的线性模型称为岭回归。

惩罚过强会让模型接近始终预测平均值。因此,λ\lambda 应根据验证集或交叉验证来选择。训练集误差本身不能告诉我们哪种惩罚强度更有利于新数据;2.5.2 节给出的权重收缩和训练指标,仅展示正则化如何影响拟合,不等于已经验证了泛化收益。


2.4 Python 实现:先跑通一次拟合 ​

2.4.1 从公式到最小程序 ​

下面的程序只依赖 Python 标准库。它使用表 1 的五个实验点,先标准化横坐标,再重复 2.2 节的四个步骤。读代码时,把 predictions 对应到预测值,把 residuals 对应到残差,把 grad_w、grad_b 对应到两个偏导数即可。

不需要先理解类、矩阵求解器或化学式解析器,就能运行这个程序。完整文件是 minimal_arrhenius.py。

python
"""用五个速率常数拟合 Arrhenius 直线;仅依赖 Python 标准库。"""
import math

temperatures = [298.15, 308.15, 318.15, 328.15, 338.15]  # K
rate_constants = [3.46e-5, 1.35e-4, 4.98e-4, 1.50e-3, 4.87e-3]  # s^-1
x = [1000.0 / T for T in temperatures]
y = [math.log(k) for k in rate_constants]  # k 已按 s^-1 给出数值
m = len(x)

# 先把横坐标标准化,目标值仍使用 ln(k / s^-1)。
mean_x = sum(x) / m
std_x = math.sqrt(sum((xi - mean_x) ** 2 for xi in x) / m)
xs = [(xi - mean_x) / std_x for xi in x]

w_scaled, b_scaled = 0.0, 0.0
learning_rate = 0.1
for step in range(201):
    predictions = [w_scaled * xi + b_scaled for xi in xs]
    residuals = [yi - pi for yi, pi in zip(y, predictions)]
    loss = sum(ri ** 2 for ri in residuals) / (2 * m)
    if step in (0, 1, 2, 10, 50, 200):
        print(f"第 {step:3d} 步:J = {loss:.6f}")
    if step == 200:
        break
    # 两个梯度都用更新前的参数计算。
    grad_w = -sum(ri * xi for ri, xi in zip(residuals, xs)) / m
    grad_b = -sum(residuals) / m
    w_scaled -= learning_rate * grad_w
    b_scaled -= learning_rate * grad_b

# 还原为横坐标 1000/T 下的斜率、截距,再换算物理量。
w = w_scaled / std_x
b = b_scaled - w * mean_x
R = 8.314  # J/(mol K)
Ea_kJ_mol = -1000.0 * R * w / 1000.0  # 最后除以 1000 将 J 换为 kJ
A = math.exp(b)
print(f"斜率 = {w:.3f},截距 = {b:.3f}")
print(f"活化能 = {Ea_kJ_mol:.1f} kJ/mol,指前因子 = {A:.2e} s^-1")

2.4.2 怎样读运行结果 ​

运行后,先观察损失是否逐步降低,再看还原后的斜率和截距。最后得到的斜率约为 −12.411-12.411,截距约为 31.365,换算出的活化能约为 103.2 kJ/mol,指前因子约为 4.2×10134.2\times10^{13} s⁻¹。

程序中的 w_scaled 是标准化坐标下的系数,不能直接代入活化能公式。还原成 1000/T1000/T 对应的斜率后,才进行物理量换算。这也解释了为什么标准化可以让计算更方便,却不能省略单位与坐标的检查。

可以先保持其他设置不变,只修改 learning_rate,比较损失下降速度。如果再去掉标准化,也要重新考察合适的学习率。比较时应使用同一组数据和明确的迭代次数,避免把算法设置不同造成的差异误认为模型本身不同。

2.4.3 完整实现与案例程序 ​

正文中的最小程序展示了训练的核心。研究案例还需要多个特征、数据划分、指标计算与残差分析,这些工具放在 revised_code/ 中。原有八个完整代码清单已整理为以下文件,所用数据与算法实现一并保留。

表 5 配套代码与阅读入口

文件内容建议何时阅读
minimal_arrhenius.py一元模型的预测、梯度、更新及参数还原第一次学习本章时
linear_unit.py原代码清单 2-1~2-3:向量运算、LinearUnit、缩放、直接求解、梯度校验与数据划分理解最小程序后,按需要查函数
chem_data.py原代码清单 2-4:元素性质、化学式解析与本章数据阅读带隙与其他案例时
demo_playground.py原代码清单 2-5:学习率、缩放与批量大小实验比较不同训练设置时
demo_arrhenius.py原代码清单 2-6:活化能、横坐标比较与汽化焓2.5.1 节
demo_bandgap.py原代码清单 2-7:带隙拟合、残差、权重与数据划分2.5.2 节
demo_alkane.py原代码清单 2-8:沸点拟合与外推2.5.3 节

进入 revised_code/ 目录后,可以运行:

bash
python3 minimal_arrhenius.py
python3 demo_arrhenius.py
python3 demo_bandgap.py
python3 demo_alkane.py

这些程序仅依赖 Python 标准库。工具函数如何对应公式、如何检查手写梯度,以及数据的使用说明,放在附录 B.7。完整运行方式见 配套代码目录说明。

2.5 案例研究:线性单元在化学与材料问题中的应用 ​

前面已经用五个速率常数跑通一次拟合。现在回到研究问题:拟合出来的数字怎样解释,哪些检查能帮助我们判断结果是否可信?三个案例分别回答一个问题:

  • 2.5.1 节是一元问题。经过变量变换,Arrhenius 方程恰好就是一个线性单元,我们借此从速率常数反求活化能,并再次观察特征缩放的作用;
  • 2.5.2 节是多元问题。我们只用元素周期表上的描述符预测 73 种无机固体的带隙,重点讨论残差诊断、权重解读和数据划分;
  • 2.5.3 节讨论外推。用短链烷烃训练、对长链烷烃预测沸点,比较不同特征的表现。

最后,2.5.4 节在三个案例的基础上,讨论线性基线模型在一项完整研究中所处的位置。

三个案例的完整程序位于 revised_code/,共用同目录下的 linear_unit.py 和 chem_data.py。每个案例先读问题、结果与解释,再按需要运行程序。

2.5.1 案例一:N$_2$O$_5$ 分解反应的 Arrhenius 活化能 ​

2.5.1.1 问题与模型 ​

N$_2$O$_5$ 的热分解:

2 N2O5⟶4 NO2+O2(24)2\,\mathrm{N_2O_5} \longrightarrow 4\,\mathrm{NO_2} + \mathrm{O_2} \tag{24}

是物理化学教材中讲解一级反应的经典例子。本案例使用 Daniels 与 Johnston 测定的气相速率常数 [6]:温度从 25 °C 升到 65 °C,速率常数 kk 从 3.46×10−5 s−13.46\times 10^{-5}\ \mathrm{s^{-1}} 增大到 4.87×10−3 s−14.87\times 10^{-3}\ \mathrm{s^{-1}},增大了约 140 倍。

2.1.2 节已将 Arrhenius 方程写成式 (1)。这里继续使用 x=1000/Tx=1000/T、y=ln⁡(k/s−1)y=\ln(k/\mathrm{s^{-1}}),因此斜率为 w=−Ea/(1000R)w=-E_a/(1000R)。先标准化输入完成训练,再把参数还原到这个横坐标下;下面报告的都是还原后的参数。

2.5.1.2 拟合结果 ​

用梯度下降拟合 5 个数据点,得到 w=−12.411w = -12.411,b=31.365b = 31.365,R2=0.9997R^2 = 0.9997。由斜率求活化能:

Ea=−1000 w R=1000×12.411 K×8.314 J⋅mol−1⋅K−1≈103.2 kJ/mol(25)E_a = -1000\,w\,R = 1000 \times 12.411\ \mathrm{K} \times 8.314\ \mathrm{J\cdot mol^{-1}\cdot K^{-1}} \approx 103.2\ \mathrm{kJ/mol} \tag{25}

指前因子 A=eb≈4.2×1013 s−1A = e^{b} \approx 4.2\times 10^{13}\ \mathrm{s^{-1}}。这一活化能与教材中常引用的 103.6 kJ/mol 相差约 0.4%。不过,5 个数据点的拟合本身存在不确定度,这一吻合程度不宜过度解读。图 18 展示了拟合结果。

Arrhenius 图与原始坐标下的速率常数
图 18 N$_2$O$_5$ 气相分解的 Arrhenius 拟合。 (a) ln⁡k\ln k 对 1000/T1000/T 作图,5 个实验点几乎落在同一条直线上,直线斜率给出 Ea≈103.2E_a \approx 103.2 kJ/mol;(b) 同一模型变换回原始坐标:kk 随温度呈指数增长。线性单元在变换后的坐标中拟合直线,在原始坐标中描述的则是一条曲线。

图 18 说明了一个在化学中反复出现的思路:许多看似非线性的规律,经过适当的变量变换后会变成线性关系。取对数、取倒数这类操作,在机器学习中分别称为“目标变换”和“特征变换”。

需要注意的是,取对数也改变了误差的结构。对 ln⁡k\ln k 做最小二乘,相当于假定各点 kk 的相对误差大致相同;如果实验误差主要是绝对误差(例如低温下 kk 很小时测量误差占比更大),更合理的做法是加权最小二乘,或者直接对 kk 做非线性拟合。

2.5.1.3 横坐标的选择与条件数 ​

为什么化学家习惯用 1000/T1000/T 而不是 1/T1/T 作横坐标?最直接的原因是读数方便:1/T≈0.003 K−11/T \approx 0.003\ \mathrm{K^{-1}},而 1000/T≈31000/T \approx 3。从 2.3.2 节的角度看,这个选择还会影响梯度下降的收敛。表 6 比较了三种横坐标表示:直接用 1/T1/T、用 1000/T1000/T、以及把 1000/T1000/T 标准化。每种表示都在若干学习率中挑选效果最好的一个,训练 5000 轮。

表 6 Arrhenius 拟合中横坐标表示对梯度下降的影响(5000 轮)

横坐标表示条件数 κ\kappa最佳学习率 η\eta5000 轮后的 JJR2R^2
1/T1/T5.1×1075.1\times 10^{7}11.520.0002
1000/T1000/T6.1×1036.1\times 10^{3}0.10.1690.889
标准化的 1000/T1000/T114.0×10−44.0\times 10^{-4}0.9997

标准化后一元问题的学习率取 1 可以一步到达最小二乘解。训练到 5000 轮时,多个学习率会得到浮点精度内相同的损失,因此配套程序扫描时也可能返回 0.5;这不影响表中关于横坐标处理的比较。

这张表把 2.3.2 节的直观解释变成了数值结果。先看损失和 R2R^2 两列,再看条件数如何描述计算难度;需要详细推导时可读附录 B.5~B.6。三种情形分别是:

  1. 直接用 1/T1/T。 斜率方向的曲率约为 (1/T)2∼10−5(1/T)^2 \sim 10^{-5},截距方向的曲率约为 1,条件数高达 5×1075\times 10^7。学习率受截距方向限制,不能超过 2 左右,而在这样的学习率下斜率几乎不动,5000 轮后 R2R^2 仍接近 0。
  2. 用 1000/T1000/T。 条件数降到约 6×1036\times 10^3,但仍然很大。xx 的均值约为 3.15,标准差却只有约 0.14;在这个狭窄范围内,斜率变化很容易被截距变化抵消,因此两个参数仍难以协调调整。5000 轮后 R2R^2 仍不到 0.9。
  3. 标准化。 减去均值并除以标准差后,这个一元问题的两个参数方向具有相同曲率,条件数恰好为 1,梯度下降迅速接近直接求解的结果。矩阵形式 H′=I\mathbf H'=\mathbf I 的推导见附录 B.6。
横坐标表示对 Arrhenius 拟合收敛的影响
图 19 横坐标表示对 Arrhenius 拟合收敛过程的影响。 (a) 三种横坐标表示下损失 JJ 随迭代轮数的变化;(b) 三种表示对应的条件数(对数坐标),分别约为 5×1075\times 10^7、6×1036\times 10^3 和 1;(c) 由当前参数换算出的活化能随迭代的变化,虚线为教材值 103.6 kJ/mol。只有标准化后的表示能在较少的迭代内得到正确的活化能。

由此得到一个有用的结论:作图时用 1000/T1000/T 是为了读数方便;对梯度下降而言,真正起作用的是中心化与缩放。仅仅乘以 1000 并不能消除病态。

2.5.1.4 推广:水的汽化焓 ​

Clausius–Clapeyron 方程 ln⁡P=−ΔHvap/(RT)+C\ln P = -\Delta H_{\mathrm{vap}}/(RT) + C 与式 (1) 形式相同,因此同一段代码不加修改就可以用来由饱和蒸气压求汽化焓。用 0~100 °C 水的饱和蒸气压数据拟合,得到 ΔHvap=43.3\Delta H_{\mathrm{vap}} = 43.3 kJ/mol(R2=0.99985R^2 = 0.99985)。

这个数值应当与什么比较?水的汽化焓随温度升高而减小:25 °C 时为 43.99 kJ/mol,100 °C 时为 40.65 kJ/mol。式 (1) 型的模型假定 ΔHvap\Delta H_{\mathrm{vap}} 与温度无关,因此拟合结果只是该温区内的一个有效平均值。这是“模型假设”与“物理实际”之间差异的一个简单例子,2.5.2 节将看到更显著的情形。

2.5.1.5 小数据集上的批量与随机梯度下降 ​

2.3.5 节在 73 个样本的带隙数据上比较了三种梯度下降。在只有 5 个点的 Arrhenius 数据上,三种方法各训练 500 轮后,损失都在 4.0×10−44.0\times 10^{-4} 附近,几乎没有差别。随机方法的优势只有在数据量很大时才会显现;对于如此小的数据集,直接求解正规方程最简单。

2.5.1.6 完整代码 ​

demo_arrhenius.py 依次完成上述四项实验:Arrhenius 拟合与活化能计算、横坐标表示的比较(表 6)、水的汽化焓,以及小数据集上三种梯度下降的比较。

完整程序:代码清单 2-6:demo_arrhenius.py。

2.5.2 案例二:由元素描述符预测无机固体的带隙 ​

Arrhenius 拟合中,我们事先知道输入应当取 1/T1/T,也知道斜率对应活化能。带隙预测更困难:我们有一些可能相关的描述符,却没有一条已知方程告诉我们怎样组合它们。本节先建立一个简单模型,再用它的误差判断哪些信息还没有被描述。

2.5.2.1 数据与描述符 ​

带隙 EgE_g 是半导体与绝缘体最重要的电子性质之一,决定了材料的光吸收边和导电行为。本节的数据集包含 73 种无机固体(以二元化合物为主,另含 Si、Ge 两种单质),按化学类别分为:I–VII 族(碱金属卤化物等)20 种、III–V 族 14 种、II–VI 族 14 种、主族氧化物 11 种、其他硫族化合物 6 种、3d 过渡金属一氧化物(MnO、FeO、CoO、NiO、CuO)5 种、IV 族单质 2 种、IV–IV 族化合物(SiC)1 种。带隙取文献中常见的室温值。

我们只使用由化学式和元素周期表就能算出的四个描述符,不含任何晶体结构信息:

  • 电负性差 Δχ\Delta\chi:组成元素 Pauling 电负性的最大值减最小值(单质为 0),反映键的离子性;
  • 平均电负性 χˉ\bar{\chi}:按化学计量加权;
  • 平均共价半径 rˉ\bar{r}(pm):反映原子大小与键长;
  • 摩尔质量 MM(g/mol)。

模型为四元线性单元:

E^g=w1 Δχ+w2 χˉ+w3 rˉ+w4 M+b(26)\hat{E}_g = w_1\,\Delta\chi + w_2\,\bar{\chi} + w_3\,\bar{r} + w_4\,M + b \tag{26}

评价模型时,除损失 JJ 外,我们还使用两个常用指标:

RMSE=1m∑i=1m(yi−y^i)2,R2=1−∑i=1m(yi−y^i)2∑i=1m(yi−yˉ)2(27)\mathrm{RMSE} = \sqrt{\frac{1}{m}\sum_{i=1}^m (y_i - \hat{y}_i)^2}, \qquad R^2 = 1 - \frac{\sum_{i=1}^m (y_i - \hat{y}_i)^2}{\sum_{i=1}^m (y_i - \bar{y})^2} \tag{27}

均方根误差 RMSE 与目标量的单位相同(这里是 eV),可以直接与实验精度比较;比较式 (13) 可知 RMSE=2J\mathrm{RMSE} = \sqrt{2J}。决定系数 R2R^2 是无量纲量,表示模型解释了目标量方差的多大比例:R2=1R^2 = 1 表示完美拟合,R2=0R^2 = 0 相当于始终预测平均值,R2<0R^2 < 0 则说明模型还不如预测平均值。由于 R2R^2 依赖于数据本身的方差,报告结果时应同时给出 RMSE 或平均绝对误差(MAE)。

2.5.2.2 先建立基线,再逐个加入特征 ​

先用全部 73 个样本观察这个模型能拟合到什么程度,再单独检验新样本上的表现。四个特征全部标准化后训练,得到的训练集指标为 R2=0.788R^2 = 0.788,RMSE=1.51\mathrm{RMSE} = 1.51 eV,MAE=1.05\mathrm{MAE} = 1.05 eV。图 20 给出了预测值与实验值的对比。

带隙预测值与实验值对比
图 20 四元线性单元的带隙预测结果(73 种化合物,全部数据用于训练)。 (a) 预测带隙对实验带隙作图,虚线为 E^g=Eg\hat{E}_g = E_g,红圈标出 5 种 3d 过渡金属一氧化物;(b) 各化学类别的平均绝对误差。注意这是训练集上的拟合结果,不代表对新材料的预测能力(见 2.5.2.5 节)。

从图 20(b) 可以看出,误差在不同类别之间差别很大:IV 族单质(Si、Ge)的 MAE 仅约 0.12 eV,I–VII 族约 0.53 eV,III–V 族约 0.84 eV,II–VI 族约 1.05 eV;而主族氧化物和过渡金属氧化物分别达到约 1.81 eV 和 2.32 eV。平均的 RMSE 掩盖了这种差异,这正是需要进一步做残差分析的原因。

在分析残差之前,先看每个特征的贡献。表 7 从 Δχ\Delta\chi 开始逐个加入特征,同时列出原始(未标准化)特征矩阵对应的条件数。

表 7 逐个加入特征后的拟合结果

特征组合R2R^2RMSE / eV条件数 κ\kappa(原始特征)
Δχ\Delta\chi0.7231.7316
+ χˉ+\ \bar{\chi}0.7541.63381
+ rˉ+\ \bar{r}0.7851.524.1×1064.1\times 10^{6}
+ M+\ M0.7881.512.3×1072.3\times 10^{7}

表 7 显示出典型的“收益递减、代价上升”:仅 Δχ\Delta\chi 一个特征就达到 R2=0.72R^2 = 0.72,此后每加一个特征,R2R^2 的提升越来越小,而原始特征的条件数却从 16 增大到 2.3×1072.3\times 10^7。标准化后,四特征模型的条件数降到约 41。对梯度下降而言,这个差别是决定性的:使用原始特征时,η=0.05\eta = 0.05 立即发散,必须把学习率降到 5×10−55\times 10^{-5},即使如此也要约 1.9 万轮才能使 J<2J < 2;标准化后,η=0.05\eta = 0.05 只需 27 轮。作为验证,梯度下降得到的参数与正规方程(式 (20))的解相差约 6×10−96\times 10^{-9}。

由于特征之间存在相关性,我们还可以用 2.3.7 节的岭回归观察参数的稳定性。随着 λ\lambda 从 0 增大到 0.01、0.1、1、10、100,权重向量的范数 ∥w∥2\|\mathbf{w}\|_2 从 3.14 依次收缩到 2.98、2.52、1.44、0.28、0.03,训练集 R2R^2 则从 0.788 降到 0.788、0.778、0.613、0.156、0.018。对这个数据集而言,较小的 λ\lambda(≤0.1\le 0.1)几乎不损失拟合精度,过大的 λ\lambda 则把所有权重压向零,模型退化为预测平均值。

2.5.2.3 残差诊断 ​

训练集上的 R2≈0.79R^2\approx0.79 还不能告诉我们模型对哪些材料预测得好。要知道模型在哪里失效、为什么失效,需要分析残差 ri=Eg,i−E^g,ir_i = E_{g,i} - \hat{E}_{g,i}(式 (12))。图 21 给出两种常用的残差图。

带隙模型的残差诊断
图 21 带隙模型的残差诊断。 (a) 残差对电负性差 Δχ\Delta\chi 作图,5 种 3d 过渡金属一氧化物(MnO、FeO、CoO、NiO、CuO)以红色标出,全部落在负半轴;(b) 残差对预测值作图:预测值较小时残差多为负(模型高估),预测值较大时残差多为正(模型低估),呈现系统性的弯曲趋势,而不是围绕零线的随机散布。

表 8 列出了残差绝对值最大的 8 种化合物。

表 8 带隙模型残差最大的 8 种化合物(单位:eV)

化合物实验值预测值残差类别
SiO₂9.004.30+4.70主族氧化物
BeO10.606.76+3.84主族氧化物
CuO1.204.56−3.36过渡金属氧化物
Al₂O₃8.805.55+3.25主族氧化物
InN0.643.87−3.23III–V
CdO2.205.21−3.01主族氧化物
LiF13.6010.59+3.01I–VII
BN6.403.67+2.73III–V

结合图 21 和表 8,可以归纳出三类系统偏差。

第一类:3d 过渡金属一氧化物被系统性高估。 这五种化合物的残差均为负:MnO −2.64 eV、FeO −2.54 eV、CoO −2.14 eV、NiO −0.91 eV、CuO −3.36 eV。它们偏在同一侧,提示模型可能遗漏了这一类材料共有的影响因素。

从化学上看,过渡金属的 d 电子状态及电子之间的相互作用会影响带隙,而这里的四个描述符没有直接包含这些信息。这为改进描述符提供了一个可检验的方向;仅凭残差,还不能确定每个化合物偏差的具体机制。

进一步理解带隙。 某些主族化合物的带边可以用阴离子 p 态和阳离子 s 态的相对位置作近似解释。过渡金属氧化物还涉及金属 3d 态、电子间排斥,以及氧与金属之间的电荷转移。Mott–Hubbard 型和电荷转移型的区分见文献 [7]。第一次阅读时,先记住“当前输入没有描述这些电子信息”即可。

第二类:宽带隙氧化物与轻元素化合物被低估。 SiO$_2$、BeO、Al$_2$O$_3$、LiF、BN 的残差都是较大的正值。这些样本的实验带隙较宽,当前模型给出的值明显偏低。原子大小、成键方式与结构都值得进一步检查,但这张残差表本身不能把偏差归因于其中某一个因素。这与图 21(b) 中预测值较大时残差偏正的趋势一致。

第三类:残差随预测值弯曲。 图 21(b) 中残差呈系统性弯曲,提示当前特征与线性组合没有充分描述数据中的关系。如果残差图没有明显结构,仅凭这张图就缺少增加模型复杂度的依据;而系统性的结构则提示:应当引入新的描述符(例如 d 电子数、结构信息),或者使用能够表达非线性的模型。

残差分析的价值在于,它把一个笼统的 R2R^2 拆解为具体的、可检验的化学问题。

2.5.2.4 权重的物理解读 ​

在模型中,保持其他输入不变,一个特征每增加一个单位,预测带隙就变化相应的权重值。标准化后,这里的“一个单位”对应原始特征的一个标准差。表 9 列出了标准化坐标和原始量纲下的两种系数。它们说明模型怎样使用输入;描述符彼此相关时,不能仅按系数大小排出物理重要性,更不能据此判断因果关系。

表 9 带隙模型的权重

特征标准化权重 / eV原始量纲下的权重
Δχ\Delta\chi+2.93+3.52 eV(每单位电负性差)
χˉ\bar{\chi}−0.96−2.62 eV(每单位平均电负性)
rˉ\bar{r}−0.44−0.017 eV/pm
MM−0.38−0.0054 eV/(g·mol⁻¹)

可以把这些系数与已有化学认识作对照,但以下趋势是解释线索,需要另外检验:

  • Δχ\Delta\chi 的权重最大且为正:键的离子性越强,阴、阳离子能级相差越大,带隙越宽。这与化学直觉一致,例如等电子系列中从 GaAs(1.42 eV)到 ZnSe(2.70 eV),带隙随离子性增强而增大。
  • rˉ\bar{r} 的权重为负:原子越大,键越长,相邻原子轨道之间的相互作用越弱,成键态与反键态的分裂越小,带隙越窄。这与 IV 族中 Si(1.12 eV)到 Ge(0.67 eV)、III–V 族中 AlP(2.45 eV)到 InSb(0.17 eV)的趋势一致。
  • MM 的权重较小,且与 rˉ\bar{r} 相关(相关系数 0.49),两者都在一定程度上反映“原子有多大、有多重”。去掉 MM 后 R2R^2 只从 0.788 降到 0.785。
  • χˉ\bar{\chi} 的权重为负,但它的解释需要格外谨慎。

最后一点值得展开说明:权重反映的是相关,而不是因果。当描述符之间相互关联时,一个特征的权重会随其他特征是否进入模型而改变,甚至改变符号(多重共线性)。因此,应检查权重在不同数据子集和正则化强度下是否稳定。稳定性是讨论物理解读的一个条件,但它本身仍不能证明因果机制。读者可以修改代码清单 2-7,比较不同特征组合下各权重的变化,自行检验这一点(习题 5)。

2.5.2.5 数据划分与适用域 ​

到目前为止,所有指标都是在训练集上计算的。要评估模型对新材料的预测能力,需要留出未参加训练的数据。这里比较两种划分方式,每种使用 6 个随机种子重复计算。配套程序的 test_size=0.35:随机划分时,73 个样本中有 26 个进入测试集;分组划分时,程序按打乱后的类别顺序整组加入测试集,直到样本数达到或超过 26 个。由于不能拆开类别,实际测试集比例可能更大。

  • 随机划分:把 73 种化合物随机打乱后划分。测试集平均 R2=0.746R^2 = 0.746,RMSE=1.54\mathrm{RMSE} = 1.54 eV,不同种子之间在 0.63~0.86 之间波动。
  • 按化学类别划分:以 2.5.2.1 节的类别为单位,同一类别的化合物要么全部进入训练集,要么全部进入测试集。测试集平均 R2=−0.124R^2 = -0.124,RMSE=2.88\mathrm{RMSE} = 2.88 eV,6 个种子的 R2R^2 在 −0.61~+0.17 之间。

两者差别如此之大,原因在于随机划分时,测试集中的化合物几乎总能在训练集中找到“近亲”——例如 KCl 在测试集中,NaCl、KBr 却在训练集中。此时测试的实际上是同类内的插值能力。按类别划分则要求模型对一类从未见过的化合物做外推,这更接近“预测训练中未覆盖的化学类别”的使用情形,而线性模型在这里基本失效。这一现象在化学与材料机器学习中普遍存在 [8, 9]:如果目标是预测新类别,仅靠随机划分的指标容易高估模型能力。若目标是在已有类别内补测,随机划分则回答了另一种问题;划分方式应与实际用途对应。

与之相关的另一个概念是适用域(applicability domain),即模型在哪类化合物上是可信的。表 10 显示了逐步缩小化合物范围时的拟合结果。

表 10 化合物范围对带隙模型拟合精度的影响(训练集指标)

化合物范围数量R2R^2RMSE / eV
全部730.7881.51
去掉 3d 过渡金属氧化物680.8311.38
仅 I–VII、II–VI、III–V 族480.9011.07
仅 I–VII 族200.9260.55

这组结果表明,在某些较相似的化合物子集上,模型的训练误差更小。但表 10 全部是训练集指标,只能提出适用范围的候选假设,不能单独证明对新样本也有相同精度。应事先说明目标化合物范围,再用该范围内未参加训练的数据检验。对于这里已出现明显系统偏差的过渡金属氧化物,当前模型尤其需要进一步验证。

2.5.2.6 完整代码 ​

demo_bandgap.py 包含本节的全部实验,共十个部分:数据概览、基线拟合、特征消融(表 7)、特征缩放与学习率、与正规方程对比、岭回归、两种数据划分的比较、残差分析(表 8)、适用域(表 10)以及权重解读(表 9)。

完整程序:代码清单 2-7:demo_bandgap.py。

2.5.3 案例三:正构烷烃沸点的外推 ​

2.5.2.5 节已经看到,模型在外推时可能完全失效。本节用一个更简单、更直观的例子专门讨论外推问题:在短链烷烃上训练模型,预测长链烷烃的沸点。

2.5.3.1 问题设定 ​

正构烷烃 C$n$H$$ 是最简单的同系物,其常压沸点 TbT_b 随碳数 nn 单调升高。我们用 C1–C10(甲烷到癸烷)训练模型,把 C11–C20 完全留作外推测试集。图 22 示意了这种设定。

同系物外推示意图
图 22 训练范围内与范围外的预测。 C1–C10 用于训练,C11–C20 留作外推检验。虚线标出范围边界;超出边界后的曲线能否描述实际趋势,需要独立数据检验。

一个需要预先注意的现象是:沸点随碳数增长越来越慢。C1→C2 沸点升高 72.9 $^\circ$C,C9→C10 只升高 23.3 $^\circ$C,而且这一差值仍在继续减小。下面比较三种特征选择,结果汇总于表 11 和图 23。

表 11 三种特征下正构烷烃沸点的训练与外推误差(C1–C10 训练,C11–C20 测试)

特征训练 RMSE / $^\circ$C外推 RMSE / $^\circ$CC20 预测值 / $^\circ$C
[n][n]17.3129.1551
[n, n2][n,\ n^2]5.6132.995
[n, n2/3][n,\ n^{2/3}]1.85.8334

注:C20(正二十烷)的实验沸点为 342.7 $^\circ$C。

正构烷烃沸点外推的三种特征比较
图 23 三种特征下正构烷烃沸点的拟合与外推。 实心点为训练数据(C1–C10),空心点为外推测试数据(C11–C20),曲线为模型预测。(a) 特征 [n][n]:直线无法表达“增长变慢”,外推时系统性高估;(b) 特征 [n,n2][n, n^2]:抛物线在训练范围内拟合较好,但在 n≈13n \approx 13 处到达顶点后转而下降;(c) 特征 [n,n2/3][n, n^{2/3}]:在训练范围和外推范围内都与实验值吻合良好。

2.5.3.2 三种特征的比较 ​

特征 [n][n]。 最自然的想法是直接用碳数作特征。模型学到 Tb≈35.5n−159T_b \approx 35.5n - 159(单位 $^\circ$C),训练 RMSE 为 17.3 $^\circ$C。但一条直线只有一个斜率,无法表达“增长越来越慢”,因此外推得越远误差越大:C20 预测为 551 $^\circ$C,比实验值高约 210 $^\circ$C,外推 RMSE 达 129 $^\circ$C。

特征 [n,n2][n, n^2]。 既然曲线是弯的,自然想到加一个平方项。注意这仍然是线性单元:模型对参数 w\mathbf{w} 是线性的,我们只是把特征从 [n][n] 换成了 [n,n2][n, n^2]。训练 RMSE 降到 5.6 $^\circ$C,看似进步;但二次项系数为负,抛物线的顶点约在 n≈13.4n \approx 13.4 处,越过顶点后预测值转而下降,C20 只有 95 °C,外推误差比只用 nn 时还大。

这个例子首先暴露了函数形式在外推时的问题:拟合出的二次项系数为负,曲线越过顶点后必然下降,而这些实验数据中的沸点仍随碳数增加。在训练范围内贴合一段曲线,并不能保证延伸出去后仍有合理趋势。仅凭参数个数较少,也不能排除过拟合或其他泛化问题。

特征 [n,n2/3][n, n^{2/3}]。 换一个思路:不问“什么函数拟合得更好”,而问“什么物理量控制沸点”。非极性的正构烷烃分子之间以色散力(London 力)为主,分子间作用的总强度大致随分子间的接触面积增大。对于形状相近的紧凑物体,表面积与体积的 2/3 次方成正比;而每增加一个 CH₂,分子体积增加一个大致固定的量,即体积 ∝n\propto n,于是表面积 ∝n2/3\propto n^{2/3}。真实的烷烃是柔性链,并不是紧凑的球体,长链分子的表面积更接近与 nn 成正比。因此我们同时保留两项,令

Tb=w1 n+w2 n2/3+b(28)T_b = w_1\,n + w_2\,n^{2/3} + b \tag{28}

由两项的线性组合描述“先快后慢”的增长趋势。拟合得到 w1=−27.0w_1 = -27.0 $^\circ$C、w2=+157.9w_2 = +157.9 $^\circ$C、b=−289.8b = -289.8 $^\circ$C。这一模型的训练 RMSE 只有 1.8 $^\circ$C,外推 RMSE 为 5.8 $^\circ$C,C20 预测值 334 $^\circ$C,与实验值相差约 9 $^\circ$C。

比较表 11 的第二、三行可以看到:两个模型的参数个数相同(都是 3 个),训练代码也完全相同,差别只在于“喂给模型什么特征”。这就是特征工程的含义:用领域知识决定模型“看什么”,往往比单纯增加模型的灵活性更有效。

当然,式 (28) 只是一个由粗略标度论证启发的经验模型,并非严格的物理定律。由于 w1<0w_1 < 0,当 nn 足够大时它同样会给出下降的沸点(习题 7),外推范围并非无限。

2.5.3.3 指数扫描:一个关于模型选择的提醒 ​

如果把特征固定为 [n,np][n, n^p],让 pp 从 0.2 扫描到 1.2,会得到表 12。

表 12 特征 [n,np][n, n^p] 中指数 pp 对外推误差的影响

pp0.20.30.40.50.60.70.80.91.01.11.2
训练 RMSE / °C1.11.11.21.31.61.82.12.517.33.23.3
外推 RMSE / °C22.917.411.55.31.58.115.216.1129.128.447.5

外推误差最小的指数是 p=0.6p = 0.6,与标度论证给出的 2/32/3 相当接近。但这里有一个方法学问题:我们是按“外推 RMSE 最小”来挑选 pp 的,相当于让本应只用于最终检验的 C11–C20 参与了模型选择,因此 p=0.6p = 0.6 对应的 1.5 $^\circ$C 是偏乐观的估计,不能作为独立的检验结果。规范的做法是在训练集内部再留出一部分数据来选择 pp,或者像 2.5.3.2 节那样根据物理论证事先确定 p=2/3p = 2/3,再用 C11–C20 做一次性的检验。

表 12 中还有一个值得注意的细节:训练 RMSE 最小的 pp(0.2~0.3)并不是外推最好的。这再次说明训练误差不能作为选择特征的依据。另外,p=1.0p = 1.0 一列与只用 nn 的结果完全相同,因为此时两列特征完全重复,X~⊤X~\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 奇异,正规方程没有唯一解;梯度下降从零出发时把权重平均分给两列,得到与只用 nn 等价的模型。这是多重共线性的极端情形:与已有特征重复的特征不提供任何新信息。

2.5.3.4 反向外推与全数据拟合 ​

还可以换一个方向,检查这个特征组合在本组数据上的表现。反过来用 C11–C20 训练、预测 C1–C10:只用 nn 的模型外推 RMSE 为 95.9 $^\circ$C,把甲烷的沸点预测为 39 $^\circ$C;而 [n,n2/3][n, n^{2/3}] 模型的外推 RMSE 仅 2.1 $^\circ$C,甲烷预测值为 −160 $^\circ$C(实验值 −161.5 $^\circ$C)。这为它在 C1–C20 范围内描述沸点变化提供了另一项检查,但仍不保证它在更长链的范围内可靠。

若用全部 20 个点训练,三种特征的 R2R^2 分别为 0.954、0.996 和 0.9999,RMSE 分别为 30.8 $^\circ$C、9.5 $^\circ$C 和 1.3 $^\circ$C。在整个范围内,[n,n2/3][n, n^{2/3}] 依然是最准确的。合适的特征使内插和外推同时变好;而 n2n^2 只改善了训练范围内的拟合。

2.5.3.5 完整代码 ​

demo_alkane.py 完成本节的全部实验:三种特征的比较(表 11)、指数扫描(表 12)、反向外推和全数据拟合。

完整程序:代码清单 2-8:demo_alkane.py。

2.5.4 线性基线在研究流程中的位置 ​

三个案例中,线性单元承担了不同任务:在 Arrhenius 问题中,它拟合已有物理方程的参数;在带隙问题中,它提供一个简单预测,并通过残差提出需要进一步检查的问题;在烷烃问题中,它展示了特征选择怎样影响外推。研究中常用这样的简单模型作为基线(baseline),让后续方案有一个明确的比较对象。图 24 示意了这一角色。

线性基线在研究流程中的位置
图 24 用线性模型建立研究基线。 先明确预测任务并划分数据,在训练集上确定数据处理与模型,再检查残差和验证结果。需要比较复杂模型时,使用同样的数据划分。

图 25 把这一流程写成决策图。

图 25 以线性模型为基线的建模决策流程。 比较方案时使用相同的验证划分;确定方案后,再用保留的测试集检验。根据测试结果反复调整模型,会让测试集参与模型选择。

线性基线提供了一个参照。如果复杂模型(例如第 3 章的多层神经网络)在相同验证划分下没有稳定改善,就缺少增加复杂度的依据。若它表现更好,可以进一步检查改善来自哪些样本,再对确定的方案做独立测试。残差分析帮助我们提出解释,解释本身仍需要证据。

2.6 线性模型的优势、局限与常见陷阱 ​

2.6.1 优势 ​

  1. 可解释。 每个权重都有明确的含义和量纲,可以与已有的化学知识相互印证(2.5.1.2 节的活化能、2.5.2.4 节的带隙权重)。其中活化能的对应关系来自已知方程;带隙描述符的系数则需要检查稳定性,并与因果解释区分。
  2. 优化问题性质良好。 均方误差损失是凸函数,没有非全局的局部极小值;当设计矩阵列满秩时,最优解唯一(2.3.4 节与附录 B.3)。批量梯度下降在合适的固定学习率下可以收敛,也可以直接求解线性最小二乘。
  3. 计算代价低。 预测只需一次内积,训练在小数据集上几乎瞬时完成。
  4. 小数据下较为稳健。 参数较少,便于在样本有限时先建立一个可检查的参照;是否优于复杂模型仍应在相同数据划分下比较。
  5. 外推行为可以预见。 线性模型在特征空间中沿直线(超平面)延伸,其外推行为完全由特征的函数形式决定,可以根据所选特征检查其延伸趋势。需要强调的是,这并不意味着外推是有界的或可靠的:2.5.3 节中,只用 nn 的模型外推时误差无限增长,[n,n2][n, n^2] 模型更是给出了方向错误的预测。外推是否合理,取决于特征是否反映了正确的物理趋势。

2.6.2 局限 ​

  1. 只能表示给定特征的线性组合。 可以通过输入变换(如 1/T1/T、n2/3n^{2/3})或目标变换(如 ln⁡k\ln k)描述某些非线性关系;特征间的交互作用也可以显式写成乘积项。选择哪些变换仍需要我们决定,模型不能仅靠调整权重自行补上未知的关系。
  2. 对共线性敏感。 描述符高度相关时,X~⊤X~\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 接近奇异,权重对数据中的微小扰动很敏感,甚至改变符号。
  3. 平方误差会突出大的偏差。 在独立、同方差的高斯噪声假设下,最小二乘与最大似然估计等价(附录 B.2);但选择平方误差本身并不证明这些假设成立。若数据含有离群点,平方会放大它们的影响;若不同样本的误差大小不同(异方差,例如跨越几个数量级的速率常数),应考虑对目标做变换或使用加权最小二乘。

2.6.3 与其他常用模型的比较 ​

表 13 把线性单元与化学和材料研究中常用的几类模型做一个粗略的比较。表中的描述只是典型情形,具体表现取决于数据和实现。

表 13 常用回归模型的比较

维度线性单元岭回归 / LASSO决策树与随机森林核岭回归 / 高斯过程神经网络
非线性表达能力无(需人工构造特征)无(需人工构造特征)强强(取决于核函数)强
可解释性高高;LASSO 可将部分权重压为零,起到特征选择作用(岭回归不能)中(可给出特征重要性)较低低
外推行为沿直线延伸,是否合理取决于特征同左,权重被收缩预测值在训练范围外保持常数远离数据时回归先验均值难以预见
主要超参数学习率(或直接解析求解)正则化强度 λ\lambda树深、树的数量等核函数及其参数、噪声水平结构、学习率、正则化等
典型适用规模任意任意,尤其是特征多或共线性强时几十至几十万精确求解通常限于约 10410^4 个样本以内通常需要大量数据

2.6.4 典型失败模式 ​

表 14 汇总了本章遇到的六类失败模式。它们的共同点是:仅看训练集上的 R2R^2 往往发现不了问题。

表 14 线性模型的典型失败模式

失败模式表现原因对策本章实例
特征未标准化梯度下降不收敛,或必须用极小的学习率特征数值范围悬殊或均值远离零,条件数很大训练前做标准化2.5.1.3 节:用 1/T1/T 时 κ≈5×107\kappa \approx 5\times 10^7
随机划分过于乐观测试集指标很好,对新类别化合物却很差测试集中的样本在训练集中有“近亲”,测的是插值按化学类别、骨架或时间划分2.5.2.5 节:R2R^2 从 0.75 降至 −0.12
函数形式外推失真训练误差小,外推误差大,甚至趋势反向特征的函数形式在训练范围外不符合物理依据物理选择特征,并做真正的外推检验2.5.3.2 节:[n,n2][n, n^2] 预测 C20 为 95 °C
共线性导致权重不稳定权重符号与化学直觉相反,或随数据子集变化描述符高度相关,X~⊤X~\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 接近奇异检查条件数和相关系数,删减特征或使用岭回归2.5.3.3 节:p=1p = 1 时两列完全相同
学习率过大损失先降后升,迅速溢出η\eta 超过稳定上限 2/λmax⁡2/\lambda_{\max}估计 λmax⁡\lambda_{\max},或从较小的学习率开始逐步增大附录 B.7:η=2.2\eta = 2.2 时发散
残差存在系统性结构R2R^2 尚可,但残差图有弯曲或分组偏差存在模型未描述的物理因素分析残差,补充描述符,必要时改用非线性模型2.5.2.3 节:过渡金属氧化物全部被高估

2.6.5 化学机器学习中的常见陷阱 ​

除表 14 外,以下问题在化学与材料的数据建模中也很常见,读者在自己的研究中应当留意:

  1. 用测试集挑选特征或超参数。 反复在测试集上比较不同方案,会使测试集信息泄漏到模型选择中,报告的指标偏乐观(2.5.3.3 节)。
  2. 超出适用域使用模型。 应当说明模型在哪类化合物、哪个条件范围内经过检验(2.5.2.5 节)。
  3. 单位不统一。 混用 °C 与 K、kJ/mol 与 kcal/mol、Å 与 pm。
  4. 只报告 R2R^2。 R2R^2 依赖于数据本身的方差,应同时报告 RMSE 或 MAE 等有单位的指标。
  5. 随意删除离群点。 偏离模型的样本可能恰恰包含新的物理(如 2.5.2.3 节的过渡金属氧化物),删除前应查明原因。
  6. 时间或流程上的信息泄漏。 例如在预测反应产率时,使用了只有反应完成后才能得到的量作为特征。
  7. 跨越数个数量级的量不做变换。 对速率常数、溶解度、电导率等跨越多个数量级的目标,可以比较原始值与对数值建模;选择时要结合物理关系、误差结构和实际评价目标(2.5.1 节)。
  8. 在很小的数据集上使用参数很多的模型。 样本少时,先建立线性基线并检查验证结果,再判断增加参数是否带来稳定收益。

2.7 本章小结与下一章 ​

2.7.1 回到最初的拟合问题 ​

本章从一张 Arrhenius 图出发,把“拟合直线”拆成了可以检查的步骤:输入温度的变换值,算出预测,与实测值比较,再根据损失对参数的梯度调整斜率和截距。学习率控制每次调整的幅度,标准化改善输入的计算尺度。

读到这里,应当能区分三种问题。损失还在明显下降,可能是训练尚未完成;训练已经收敛但残差仍有规律,可能是特征或模型形式不够合适;训练误差很小而新数据误差很大,则需要检查数据划分、模型选择与适用范围。它们需要不同的处理办法。

三个化学案例也各自留下一个判断依据:Arrhenius 的斜率可以换算活化能,是因为已有物理方程;带隙模型的残差提示哪些材料需要补充信息;烷烃外推表明,训练范围内拟合得好,不能替代范围外的实际检验。训练方法与科学判断要配合使用。

2.7.2 从人工选择特征到多层网络 ​

线性单元只能把给定特征做线性组合。我们可以人为提供 1/T1/T、n2n^2 或 n2/3n^{2/3},但模型不会仅靠继续调整权重就自行发现这些变换。下一章将把线性变换与非线性函数分层连接,让中间各层也参与特征的构造。

这带来一个新的问题:输出与实测值之间的误差可以直接计算,但中间各层的参数怎样调整?第 3 章的反向传播会用链式法则计算这些参数的梯度,再由梯度下降更新。因而,本章“模型—损失—梯度—更新”的顺序会继续使用。

图 26 从线性单元到多层神经网络。 第 3 章的每个概念都可以在本章找到对应:多层网络由线性单元与非线性函数交替组成,其训练仍然使用梯度下降,只是损失曲面不再是凸的,梯度需要用反向传播计算。

延伸阅读:线性单元仍在深度模型中工作。 在分子与材料性质预测中,SchNet、DimeNet、PaiNN、GemNet、Equiformer 等模型使用更复杂的中间表示。回归输出中常用的一个步骤,是把已经得到的表示 h\mathbf h 送入线性层:

y^=wout⊤h+bout.(29)\hat y=\mathbf w_{\mathrm{out}}^\top\mathbf h+b_{\mathrm{out}}. \tag{29}

前面的网络负责学习表示,最后的线性映射把表示换成性质预测。具体模型还可能包含原子贡献的汇总等操作。分类时也常先得到线性打分,再用 softmax 转换为类别概率。径向基、球谐函数和等变消息传递等表示方法会在后面的章节介绍,当前只需认出其中的线性计算。


2.8 思考与练习 ​

2.8.1 先检查是否理解训练过程 ​

  1. 在 2.2.4 节的手算例子中,把学习率改成 0.5,再改成 2。分别计算一次更新后的参数和损失。为什么知道局部下降方向,还需要控制步幅?
  2. 不看代码,用自己的话解释 residuals、grad_w 和 learning_rate 分别表示什么。它们在一次训练更新中按什么顺序出现?
  3. 程序已经得到稳定的训练损失,是否可以据此宣称能准确预测新材料?分别用带隙划分和烷烃外推的例子说明。

2.8.2 进一步推导与研究练习 ​

下面保留本章的九道深入练习;正文提到的“习题 5”“习题 7”等均指这一组。涉及 Hessian 的题目可以读完附录后再做。

  1. (残差的性质) 由式 (16) 和式 (21) 证明:在最小二乘解处,残差的平均值为零,且残差与每个特征列都正交。这对 2.5.2.3 节的残差图意味着什么?

  2. (学习率) 某二元线性问题的 Hessian 矩阵特征值为 λmin⁡=0.5\lambda_{\min} = 0.5、λmax⁡=2\lambda_{\max} = 2。求:(a) 梯度下降稳定的学习率范围;(b) 最优学习率和对应的收缩因子;(c) 若采用 η=0.9\eta = 0.9,哪个方向收敛更慢?

  3. (为什么 1000/T 仍然病态) 一元问题中,设特征的均值为 μ\mu、标准差为 ss。(a) 证明 H=[μ2+s2μμ1]\mathbf{H} = \begin{bmatrix} \mu^2 + s^2 & \mu \\ \mu & 1 \end{bmatrix};(b) 利用 λmax⁡λmin⁡=det⁡H\lambda_{\max}\lambda_{\min} = \det\mathbf{H} 和 λmax⁡+λmin⁡=tr⁡H\lambda_{\max} + \lambda_{\min} = \operatorname{tr}\mathbf{H},证明当 ss 较小时 κ≈(1+μ2+s2)2/s2\kappa \approx (1 + \mu^2 + s^2)^2/s^2;(c) 代入 μ≈3.15\mu \approx 3.15、s≈0.14s \approx 0.14,与表 6 中的条件数比较。

  4. (汽化焓的温度依赖) 用 demo_arrhenius.py 分别拟合 0~50 °C 和 50~100 °C 两段水蒸气压数据,比较得到的 ΔHvap\Delta H_{\mathrm{vap}},并用 2.5.1.4 节的讨论解释差异。

  5. (权重的稳定性) 修改 demo_bandgap.py:(a) 分别去掉 χˉ\bar{\chi}、rˉ\bar{r}、MM 中的一个,记录其余权重的变化;(b) 取 λ=0.1\lambda = 0.1 的岭回归重复 (a)。哪些权重的符号是稳定的?哪些物理解读因此更可信?

  6. (补充描述符) 为带隙数据增加一个描述符“阳离子 d 电子数”(主族化合物取 0 或 10),重新拟合并观察过渡金属氧化物的残差。只有 5 种化合物从这个新特征中受益,你如何判断改进是否可靠?应当如何划分数据来检验?

  7. (式 (28) 的外推范围) 由 2.5.3.2 节的拟合参数,求 dTb/dn=0\mathrm{d}T_b/\mathrm{d}n = 0 时的碳数 nn。超过这一碳数后模型会给出什么样的预测?这对式 (28) 的适用范围说明了什么?

  8. (规范的模型选择) 用 C1–C7 训练、C8–C10 作为验证集选择 2.5.3.3 节的指数 pp,再用 C11–C20 做一次性检验。所选的 pp 和外推误差与表 12 有何不同?

  9. (负的 R2R^2) 2.5.2.5 节中按类别划分时,测试集 R2R^2 可以为负。说明 R2<0R^2 < 0 的含义,并解释为什么在训练集上用最小二乘拟合时(含截距项)R2R^2 不会为负。

参考文献 ​

[1] Widrow, B., & Hoff, M. E. Adaptive switching circuits. IRE WESCON Convention Record, Part 4, 96–104, 1960.

[2] Cauchy, A. Méthode générale pour la résolution des systèmes d'équations simultanées. Comptes Rendus de l'Académie des Sciences, 25, 536–538, 1847.

[3] Polyak, B. T. Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17, 1964.

[4] Hoerl, A. E., & Kennard, R. W. Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67, 1970.

[5] Hansch, C., Leo, A., & Taft, R. W. A survey of Hammett substituent constants and resonance and field parameters. Chemical Reviews, 91(2), 165–195, 1991.

[6] Daniels, F., & Johnston, E. H. The thermal decomposition of gaseous nitrogen pentoxide. A monomolecular reaction. Journal of the American Chemical Society, 43(1), 53–71, 1921.

[7] Zaanen, J., Sawatzky, G. A., & Allen, J. W. Band gaps and electronic structure of transition-metal compounds. Physical Review Letters, 55(4), 418–421, 1985.

[8] Sheridan, R. P. Time-split cross-validation as a method for estimating the goodness of prospective prediction. Journal of Chemical Information and Modeling, 53(4), 783–790, 2013.

[9] Meredig, B., Antono, E., Church, C., et al. Can machine learning identify the next high-temperature superconductor? Examining extrapolation performance for materials discovery. Molecular Systems Design & Engineering, 3(5), 819–825, 2018.

延伸阅读 ​

历史文献

  • Rosenblatt, F. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386–408, 1958.
  • Hammett, L. P. The effect of structure upon the reactions of organic compounds. Benzene derivatives. Journal of the American Chemical Society, 59(1), 96–103, 1937.
  • Hansch, C., Maloney, P. P., Fujita, T., & Muir, R. M. Correlation of biological activity of phenoxyacetic acids with Hammett substituent constants and partition coefficients. Nature, 194, 178–180, 1962.

教材与专著

  • Bishop, C. M. Pattern Recognition and Machine Learning. Springer, 2006.(第 3 章:线性回归模型)
  • Hastie, T., Tibshirani, R., & Friedman, J. The Elements of Statistical Learning, 2nd ed. Springer, 2009.(第 3 章:线性回归、岭回归与 LASSO)
  • Nocedal, J., & Wright, S. J. Numerical Optimization, 2nd ed. Springer, 2006.(梯度法的收敛理论)
  • Goodfellow, I., Bengio, Y., & Courville, A. Deep Learning. MIT Press, 2016.(第 4 章:数值计算;第 8 章:优化方法)

化学与材料中的机器学习方法学

  • Butler, K. T., Davies, D. W., Cartwright, H., Isayev, O., & Walsh, A. Machine learning for molecular and materials science. Nature, 559, 547–555, 2018.
  • Schmidt, J., Marques, M. R. G., Botti, S., & Marques, M. A. L. Recent advances and applications of machine learning in solid-state materials science. npj Computational Materials, 5, 83, 2019.
  • Wallach, I., & Heifets, A. Most ligand-based classification benchmarks reward memorization rather than generalization. Journal of Chemical Information and Modeling, 58(5), 916–932, 2018.
  • Kapoor, S., & Narayanan, A. Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), 100804, 2023.

附录 A 数学补充 ​

A.1 均方误差中因子 1/2 的作用 ​

式 (13) 中的因子 12\frac{1}{2} 只是为了求导方便。对单个样本的损失求导:

∂∂y^i[12m(yi−y^i)2]=12m⋅2(yi−y^i)⋅(−1)=−1m(yi−y^i)(30)\frac{\partial}{\partial \hat{y}_i}\left[\frac{1}{2m}(y_i - \hat{y}_i)^2\right] = \frac{1}{2m}\cdot 2(y_i - \hat{y}_i)\cdot(-1) = -\frac{1}{m}(y_i - \hat{y}_i) \tag{30}

平方项求导产生的因子 2 恰好与 12\frac{1}{2} 相消。由于把目标函数乘以任意正常数不改变极小点的位置,引入 12\frac{1}{2} 不影响最优解 θ∗\boldsymbol{\theta}^*,只是让梯度表达式(式 (15)~(17))更简洁。需要注意,学习率的数值与损失的归一化方式有关:若去掉 12\frac{1}{2},梯度加倍,等效学习率也随之加倍。

A.2 均方误差损失的凸性 ​

定义 设 f:Rp→Rf:\mathbb{R}^p \to \mathbb{R}。若对任意 x,y∈Rp\mathbf{x}, \mathbf{y} \in \mathbb{R}^p 和任意 α∈[0,1]\alpha \in [0, 1],都有

f(αx+(1−α)y)≤αf(x)+(1−α)f(y)(31)f\big(\alpha\mathbf{x} + (1-\alpha)\mathbf{y}\big) \le \alpha f(\mathbf{x}) + (1-\alpha) f(\mathbf{y}) \tag{31}

则称 ff 为凸函数;若对 x≠y\mathbf{x} \ne \mathbf{y}、α∈(0,1)\alpha \in (0,1) 严格不等号成立,则称 ff 为严格凸函数。几何上,这意味着函数图像上任意两点之间的弦都不低于函数图像。

判别准则 若 ff 二阶连续可微,则 ff 是凸函数的充要条件是其 Hessian 矩阵处处半正定,即 ∇2f(x)⪰0\nabla^2 f(\mathbf{x}) \succeq 0;若 Hessian 矩阵处处正定,则 ff 是严格凸函数(反之不一定成立,例如 f(x)=x4f(x) = x^4 严格凸,但在 x=0x = 0 处二阶导数为零)。

命题 式 (13) 的损失 J(θ)J(\boldsymbol{\theta}) 是凸函数;若 X~\tilde{\mathbf{X}} 列满秩,则 JJ 是严格凸函数。

证明 由式 (17),JJ 的梯度为 ∇J=1mX~⊤(X~θ−y)\nabla J = \frac{1}{m}\tilde{\mathbf{X}}^\top(\tilde{\mathbf{X}}\boldsymbol{\theta} - \mathbf{y})。再对 θ\boldsymbol{\theta} 求导,由于 X~\tilde{\mathbf{X}} 与 θ\boldsymbol{\theta} 无关,得到常数 Hessian 矩阵 H=1mX~⊤X~\mathbf{H} = \frac{1}{m}\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}}(式 (49))。对任意 u∈Rd+1\mathbf{u} \in \mathbb{R}^{d+1},

u⊤Hu=1m∥X~u∥22≥0(32)\mathbf{u}^\top\mathbf{H}\mathbf{u} = \frac{1}{m}\|\tilde{\mathbf{X}}\mathbf{u}\|_2^2 \ge 0 \tag{32}

故 H⪰0\mathbf{H} \succeq 0,JJ 是凸函数。若 X~\tilde{\mathbf{X}} 列满秩,则 X~u=0\tilde{\mathbf{X}}\mathbf{u} = \mathbf{0} 当且仅当 u=0\mathbf{u} = \mathbf{0},于是对任意 u≠0\mathbf{u} \ne \mathbf{0} 有 u⊤Hu>0\mathbf{u}^\top\mathbf{H}\mathbf{u} > 0,H\mathbf{H} 正定,JJ 是严格凸函数,其极小点唯一。

A.3 固定步长梯度下降的收敛速率 ​

考虑一般的强凸二次函数

f(θ)=12θ⊤Aθ−b⊤θ,A≻0(33)f(\boldsymbol{\theta}) = \frac{1}{2}\boldsymbol{\theta}^\top\mathbf{A}\boldsymbol{\theta} - \mathbf{b}^\top\boldsymbol{\theta}, \qquad \mathbf{A} \succ 0 \tag{33}

线性单元的损失 (13) 是它的特例:A=H\mathbf{A} = \mathbf{H},b=1mX~⊤y\mathbf{b} = \frac{1}{m}\tilde{\mathbf{X}}^\top\mathbf{y},再加一个与 θ\boldsymbol{\theta} 无关的常数。极小点满足 Aθ∗=b\mathbf{A}\boldsymbol{\theta}^* = \mathbf{b}。固定步长的梯度下降为 θ(t+1)=θ(t)−η(Aθ(t)−b)\boldsymbol{\theta}^{(t+1)} = \boldsymbol{\theta}^{(t)} - \eta(\mathbf{A}\boldsymbol{\theta}^{(t)} - \mathbf{b})。记误差 e(t)=θ(t)−θ∗\mathbf{e}^{(t)} = \boldsymbol{\theta}^{(t)} - \boldsymbol{\theta}^*,利用 b=Aθ∗\mathbf{b} = \mathbf{A}\boldsymbol{\theta}^* 得

e(t+1)=(I−ηA) e(t)(34)\mathbf{e}^{(t+1)} = (\mathbf{I} - \eta\mathbf{A})\,\mathbf{e}^{(t)} \tag{34}

即式 (53)。把对称矩阵 A\mathbf{A} 正交对角化为 A=QΛQ⊤\mathbf{A} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top,特征值 0<λmin⁡=λ1≤⋯≤λn=λmax⁡0 < \lambda_{\min} = \lambda_1 \le \cdots \le \lambda_n = \lambda_{\max}。在特征向量基下,u(t)=Q⊤e(t)\mathbf{u}^{(t)} = \mathbf{Q}^\top\mathbf{e}^{(t)} 的各分量相互独立地演化:

uk(t+1)=(1−ηλk) uk(t)(35)u_k^{(t+1)} = (1 - \eta\lambda_k)\,u_k^{(t)} \tag{35}

由于 Q\mathbf{Q} 是正交矩阵,∥e(t)∥2=∥u(t)∥2\|\mathbf{e}^{(t)}\|_2 = \|\mathbf{u}^{(t)}\|_2,因此

∥e(t)∥2≤ρ(η)t ∥e(0)∥2,ρ(η)=max⁡k∣1−ηλk∣(36)\|\mathbf{e}^{(t)}\|_2 \le \rho(\eta)^t\,\|\mathbf{e}^{(0)}\|_2, \qquad \rho(\eta) = \max_k |1 - \eta\lambda_k| \tag{36}

∣1−ηλ∣|1 - \eta\lambda| 是 λ\lambda 的分段线性函数,在区间 [λmin⁡,λmax⁡][\lambda_{\min}, \lambda_{\max}] 上的最大值只能在端点处取得。随着 η\eta 增大,∣1−ηλmin⁡∣|1 - \eta\lambda_{\min}| 减小而 ∣1−ηλmax⁡∣|1 - \eta\lambda_{\max}| 最终增大,当两者相等时 ρ\rho 最小:

1−ηoptλmin⁡=−(1−ηoptλmax⁡)  ⟹  ηopt=2λmin⁡+λmax⁡(37)1 - \eta_{\mathrm{opt}}\lambda_{\min} = -(1 - \eta_{\mathrm{opt}}\lambda_{\max}) \;\Longrightarrow\; \eta_{\mathrm{opt}} = \frac{2}{\lambda_{\min} + \lambda_{\max}} \tag{37}

代回得最优收缩因子

ρ∗=λmax⁡−λmin⁡λmax⁡+λmin⁡=κ−1κ+1,κ=λmax⁡λmin⁡(38)\rho^* = \frac{\lambda_{\max} - \lambda_{\min}}{\lambda_{\max} + \lambda_{\min}} = \frac{\kappa - 1}{\kappa + 1}, \qquad \kappa = \frac{\lambda_{\max}}{\lambda_{\min}} \tag{38}

这就是式 (56)。若要求 ∥e(t)∥2≤ε ∥e(0)∥2\|\mathbf{e}^{(t)}\|_2 \le \varepsilon\,\|\mathbf{e}^{(0)}\|_2(0<ε<10 < \varepsilon < 1),只需

t≥ln⁡(1/ε)ln⁡κ+1κ−1≈κ2ln⁡1ε(κ≫1)(39)t \ge \frac{\ln(1/\varepsilon)}{\ln\frac{\kappa + 1}{\kappa - 1}} \approx \frac{\kappa}{2}\ln\frac{1}{\varepsilon} \qquad (\kappa \gg 1) \tag{39}

其中用到了 ln⁡κ+1κ−1=ln⁡1+1/κ1−1/κ≈2κ\ln\frac{\kappa+1}{\kappa-1} = \ln\frac{1 + 1/\kappa}{1 - 1/\kappa} \approx \frac{2}{\kappa}。可见,在固定步长下,所需迭代次数大致与条件数成正比:条件数增大 10 倍,迭代次数也大约增大 10 倍。

说明 上述分析针对固定步长。若每一步沿负梯度方向做精确线搜索(最速下降法),利用 Kantorovich 不等式可以证明,下一步的函数值误差 f(θ(t+1))−f(θ∗)f(\boldsymbol{\theta}^{(t+1)})-f(\boldsymbol{\theta}^*) 不超过当前误差的 (κ−1κ+1)2\left(\frac{\kappa-1}{\kappa+1}\right)^2 倍,与式 (38) 的收敛因子有对应关系(参见 Nocedal & Wright 的教材)。这里比较的是两种不同算法的界;参数误差与函数值误差也要区分。

A.4 标准化后 Hessian 矩阵的结构 ​

设各特征按式 (7) 标准化,即每一列的均值为 0、(总体)方差为 1。增广设计矩阵为 X~′=[X′, 1]\tilde{\mathbf{X}}' = [\mathbf{X}',\ \mathbf{1}],则

H′=1m[X′⊤X′X′⊤11⊤X′1⊤1](40)\mathbf{H}' = \frac{1}{m}\begin{bmatrix} \mathbf{X}'^\top\mathbf{X}' & \mathbf{X}'^\top\mathbf{1} \\ \mathbf{1}^\top\mathbf{X}' & \mathbf{1}^\top\mathbf{1} \end{bmatrix} \tag{40}

由于每列均值为零,X′⊤1=0\mathbf{X}'^\top\mathbf{1} = \mathbf{0};右下角元素 1m1⊤1=1\frac{1}{m}\mathbf{1}^\top\mathbf{1} = 1;左上角 C=1mX′⊤X′\mathbf{C} = \frac{1}{m}\mathbf{X}'^\top\mathbf{X}' 的第 (j,k)(j,k) 个元素正是特征 jj 与特征 kk 的相关系数,对角元均为 1。这就得到式 (57):

H′=[C00⊤1](41)\mathbf{H}' = \begin{bmatrix} \mathbf{C} & \mathbf{0} \\ \mathbf{0}^\top & 1 \end{bmatrix} \tag{41}

由此可见:中心化消除了权重与截距之间的耦合,缩放使各对角元相等。标准化后剩余的病态只来自特征之间的相关性(C\mathbf{C} 的非对角元)。一元问题中 C=1\mathbf{C} = 1,H′=I\mathbf{H}' = \mathbf{I},条件数恰为 1(表 6);而带隙问题的四个特征彼此相关,标准化后条件数仍约为 41(2.5.2.2 节)。


附录 B 进阶阅读与实现说明 ​

这里集中回答正文没有展开的数学问题。B.1 交代历史联系;B.2 解释平方误差的统计来源;B.3~B.6 定量分析损失曲面、学习率和标准化;B.7 说明完整代码。它们可以按问题分别查阅。

B.1 感知器、Adaline 与 LMS 的联系 ​

感知器所用的阶跃激活函数为

y^=φ(z)={1,z>00,z≤0,z=w⊤x+b(42)\hat{y} = \varphi(z) = \begin{cases} 1, & z > 0 \\ 0, & z \le 0 \end{cases}, \qquad z = \mathbf{w}^\top \mathbf{x} + b \tag{42}

对于式 (42) 的阶跃函数,在阈值以外都有

dφdz=0(z≠0)(43)\frac{\mathrm{d}\varphi}{\mathrm{d}z} = 0 \quad (z \neq 0) \tag{43}

微调参数时,输出通常保持不变,所以不能直接用这个输出的导数指导学习。感知器通过另一套按分类错误修正权重的规则训练;线性可分时的收敛保证已经在第 1 章讨论。把同一条纠错规则原样放到一般多层网络中,并不能给出各层所需的梯度。

1960 年,斯坦福大学的 Bernard Widrow 与他的研究生 Marcian(Ted)Hoff 提出了自适应线性神经元(Adaptive Linear Neuron,Adaline)[1]。图 27 给出了它的结构示意。有些感知器使用 ±1 而不是 0/1 的标签,这不改变这里关于阶跃导数的讨论。

Widrow 与 Hoff 提出 Adaline 模型
图 27 Adaline 在连续输出上计算误差。 输入经过加权求和得到 zz,训练使用 y−zy-z 调整权重;若需要分类,可在最后再施加阈值判决。学习与判决使用的输出因此分开。

Adaline 的关键改动在于把学习过程与阈值判决分开:计算误差时,不再使用经过阶跃函数的离散输出,而是直接使用连续的净输入 z=w⊤x+bz = \mathbf{w}^\top\mathbf{x} + b,误差定义为 y−zy - z。由于 zz 是参数的线性函数,误差的平方便是参数的光滑二次函数,可以放心地求导。据此得到的逐样本更新规则为

w←w+η (y−z) x,b←b+η (y−z)(44)\mathbf{w} \leftarrow \mathbf{w} + \eta\,(y - z)\,\mathbf{x}, \qquad b \leftarrow b + \eta\,(y - z) \tag{44}

其中 η>0\eta > 0 是学习率。这就是著名的最小均方(Least Mean Squares,LMS)算法,又称 Widrow–Hoff 规则。对照 2.2.3 节的梯度可以看到,式 (44) 正是对平方误差做“随机梯度下降”的一步。

需要说明的是,“沿负梯度方向迭代求极小值”的思想并非 Widrow 和 Hoff 首创,它可以追溯到 Cauchy 在 1847 年提出的最速下降法 [2]。Adaline 的历史意义在于:它把这一经典数值方法与可自适应调整的神经元结合起来,为后来的多层网络与反向传播算法奠定了基础。

B.2 平方误差的统计解释:高斯噪声与最大似然 ​

衡量残差大小的方式有很多:可以取残差的平方,也可以取绝对值,甚至取四次方。正文先把平方误差作为衡量拟合偏差的标准。这里再说明,在什么统计假设下,这个标准与最大似然估计等价。

假设实测值等于“真实的线性关系”加上一个随机误差:

yi=θ⊤x~i+ϵi,ϵi∼N(0,σ2)(45)y_i = \boldsymbol{\theta}^\top\tilde{\mathbf{x}}_i + \epsilon_i, \qquad \epsilon_i \sim \mathcal{N}(0, \sigma^2) \tag{45}

其中 x~i=(xi⊤,1)⊤\tilde{\mathbf{x}}_i = (\mathbf{x}_i^\top, 1)^\top 是增广特征向量。也就是说,误差服从均值为 0、方差为 σ2\sigma^2 的正态分布。这一假设的合理性部分来自中心极限定理:若误差由许多独立的小扰动(仪器噪声、温度波动、读数误差等)叠加而成,它的分布会近似为正态分布。但这只是近似,并非必然——实际数据中的离群点、系统误差都会破坏它。

在这一假设下,给定 xi\mathbf{x}_i 和参数 θ\boldsymbol{\theta},观测到 yiy_i 的概率密度为

p(yi∣xi;θ)=12πσ2exp⁡(−(yi−θ⊤x~i)22σ2)(46)p(y_i \mid \mathbf{x}_i; \boldsymbol{\theta}) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(y_i - \boldsymbol{\theta}^\top\tilde{\mathbf{x}}_i)^2}{2\sigma^2}\right) \tag{46}

若各次测量相互独立,整个数据集的似然函数就是各样本概率密度的乘积:

L(θ)=∏i=1mp(yi∣xi;θ)(47)L(\boldsymbol{\theta}) = \prod_{i=1}^m p(y_i \mid \mathbf{x}_i; \boldsymbol{\theta}) \tag{47}

最大似然估计主张选取使 L(θ)L(\boldsymbol{\theta}) 最大的参数,即“让已观测到的数据出现的可能性最大”。乘积不便于求导,因此通常改为最小化负对数似然:

−ln⁡L(θ)=m2ln⁡(2πσ2)+12σ2∑i=1m(yi−θ⊤x~i)2(48)-\ln L(\boldsymbol{\theta}) = \frac{m}{2}\ln(2\pi\sigma^2) + \frac{1}{2\sigma^2}\sum_{i=1}^m \left(y_i - \boldsymbol{\theta}^\top\tilde{\mathbf{x}}_i\right)^2 \tag{48}

式 (48) 右端第一项与 θ\boldsymbol{\theta} 无关;第二项的系数 1/(2σ2)1/(2\sigma^2) 是正常数。因此,在独立、同方差的高斯噪声假设下,最大似然估计与最小化残差平方和完全等价,也就与最小化式 (13) 的均方误差等价。

这个结论同时告诉我们均方误差的适用范围:

  • 若误差分布具有“重尾”(偶尔出现很大的偏差),平方会过分放大离群点的影响,此时可以考虑平均绝对误差(MAE)——它对应拉普拉斯分布的最大似然估计——或 Huber 损失;
  • 若不同样本的误差大小不同(异方差),应采用加权最小二乘。2.1.4 节提到的“取对数会改变误差结构”正是这种情况:对 ln⁡k\ln k 做普通最小二乘,隐含的假设是 ln⁡k\ln k 的误差同方差,即 kk 的相对误差大致恒定。

B.3 用 Hessian 描述损失曲面的形状 ​

正文图 11、图 12 已经展示了损失曲面。下面用二阶导数描述它的曲率,并说明什么时候最优参数唯一。

曲面的弯曲程度由二阶导数描述。对式 (17) 再对 θ\boldsymbol{\theta} 求一次导数,就得到线性单元的 Hessian 矩阵:

H=∇θ2J=1mX~⊤X~(49)\mathbf{H} = \nabla_{\boldsymbol{\theta}}^2 J = \frac{1}{m}\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} \tag{49}

它是一个与 θ\boldsymbol{\theta} 无关的常数对称矩阵——这正是二次函数的特点。对任意非零向量 v∈Rd+1\mathbf{v} \in \mathbb{R}^{d+1},有

v⊤Hv=1mv⊤X~⊤X~v=1m∥X~v∥22≥0(50)\mathbf{v}^\top\mathbf{H}\mathbf{v} = \frac{1}{m}\mathbf{v}^\top\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}}\mathbf{v} = \frac{1}{m}\|\tilde{\mathbf{X}}\mathbf{v}\|_2^2 \ge 0 \tag{50}

因此 H\mathbf{H} 是半正定矩阵,JJ 是凸函数。进一步,若 X~\tilde{\mathbf{X}} 列满秩(即没有哪个特征能由其他特征和常数项线性组合精确得到),则 X~v=0\tilde{\mathbf{X}}\mathbf{v} = \mathbf{0} 只有零解,H\mathbf{H} 正定,JJ 是严格凸函数(证明细节见附录 A.2)。由此得到三条重要结论:

  1. 没有“假”的极小点。 这里的凸二次损失不存在比全局最优更高的局部极小点;
  2. 梯度为零的点就是全局最优点。 对这里列满秩的线性最小二乘问题,这样的点唯一存在;
  3. 负梯度垂直于等高线。 如图 12(b) 所示,负梯度指向局部下降最快的方向。但要注意,它一般并不指向碗底——当等高线是扁椭圆时,两者的夹角可能很大,这正是 2.3.2 节训练缓慢问题的根源。

如果 X~\tilde{\mathbf{X}} 不是列满秩的(例如把同一个特征重复输入两次),H\mathbf{H} 就有零特征值,碗底不再是一个点,而是一条“平底沟槽”:沟槽上的所有点损失都相同,最优参数不唯一。第 2.5.3 节会遇到这种情形。

知识拓展:Hessian 的特征分解与等高线的几何形状

下面的椭球与有限条件数讨论假定 H\mathbf H 正定;若有零特征值,会出现平坦方向。由于 H\mathbf{H} 是实对称矩阵,它可以正交对角化为 H=QΛQ⊤=∑kλkqkqk⊤\mathbf{H} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top = \sum_k \lambda_k\mathbf{q}_k\mathbf{q}_k^\top,其中 qk\mathbf{q}_k 是相互正交的单位特征向量,λk≥0\lambda_k \ge 0 是对应的特征值。以最优点 θ∗\boldsymbol{\theta}^* 为原点、以 qk\mathbf{q}_k 为坐标轴,损失函数可以写成

J(θ)=J(θ∗)+12∑kλkuk2,uk=qk⊤(θ−θ∗)(51)J(\boldsymbol{\theta}) = J(\boldsymbol{\theta}^*) + \frac{1}{2}\sum_k \lambda_k u_k^2, \qquad u_k = \mathbf{q}_k^\top(\boldsymbol{\theta} - \boldsymbol{\theta}^*) \tag{51}

可见:(1)等高线(面)是以 qk\mathbf{q}_k 为主轴的椭圆(椭球),沿 qk\mathbf{q}_k 方向的半轴长与 1/λk1/\sqrt{\lambda_k} 成正比;(2)λk\lambda_k 是曲面沿 qk\mathbf{q}_k 方向的曲率,λk\lambda_k 越大,该方向越“陡”。最大与最小特征值之比

κ=λmax⁡λmin⁡(52)\kappa = \frac{\lambda_{\max}}{\lambda_{\min}} \tag{52}

称为 H\mathbf{H} 的条件数(condition number),它衡量碗的“扁平程度”:κ=1\kappa = 1 时等高线是正圆,κ≫1\kappa \gg 1 时等高线是极扁的椭圆,碗变成一条狭长的峡谷。附录 B.5 将说明,梯度下降的收敛速率正是由 κ\kappa 决定的。

B.4 学习率如何决定每个方向的变化 ​

为了定量判断学习率,需要跟踪参数与最优解之间的距离。记第 tt 步的参数误差为 e(t)=θ(t)−θ∗\mathbf{e}^{(t)} = \boldsymbol{\theta}^{(t)} - \boldsymbol{\theta}^*。由于最优点满足 ∇J(θ∗)=0\nabla J(\boldsymbol{\theta}^*) = \mathbf{0},由式 (17)、(49) 可得 ∇J(θ(t))=He(t)\nabla J(\boldsymbol{\theta}^{(t)}) = \mathbf{H}\mathbf{e}^{(t)}。代入式 (18),得到

e(t+1)=(I−ηH) e(t)(53)\mathbf{e}^{(t+1)} = (\mathbf{I} - \eta\mathbf{H})\,\mathbf{e}^{(t)} \tag{53}

把误差投影到 H\mathbf{H} 的特征向量上,记 uk(t)=qk⊤e(t)u_k^{(t)} = \mathbf{q}_k^\top\mathbf{e}^{(t)},由于 Hqk=λkqk\mathbf{H}\mathbf{q}_k = \lambda_k\mathbf{q}_k,式 (53) 分解为 d+1d+1 个互不耦合的标量递推:

uk(t)=(1−ηλk)t uk(0)(54)u_k^{(t)} = (1 - \eta\lambda_k)^t\,u_k^{(0)} \tag{54}

式 (54) 给出了可以直接检查的规律:沿每个特征向量方向,误差每一步都乘以同一个因子 qk=1−ηλkq_k = 1 - \eta\lambda_k。 下面的分类与 B.5 节的稳定条件都从这个式子出发。

根据式 (54),正文图 8 的几种行为都可以由因子 qk=1−ηλkq_k=1-\eta\lambda_k 的取值刻画。表 15 还列出了临界边界的情况。

表 15 沿某一特征方向,学习率与迭代行为的对应关系

ηλk\eta\lambda_k 的范围因子 qk=1−ηλkq_k = 1 - \eta\lambda_k该方向上误差的行为
0<ηλk<10 < \eta\lambda_k < 10<qk<10 < q_k < 1单调衰减,不越过谷底;ηλk\eta\lambda_k 越小衰减越慢
ηλk=1\eta\lambda_k = 1qk=0q_k = 0一步到位
1<ηλk<21 < \eta\lambda_k < 2−1<qk<0-1 < q_k < 0正负交替(每步越过谷底),幅度逐渐衰减
ηλk=2\eta\lambda_k = 2qk=−1q_k = -1等幅振荡,既不收敛也不发散
ηλk>2\eta\lambda_k > 2qk<−1q_k < -1正负交替且幅度不断增大,发散

表 15 只描述了单个方向。整体的行为取决于所有方向中最“差”的那一个:若某个方向 ∣qk∣>1|q_k|>1 且初始误差在该方向上非零,这个误差分量就会增大;收敛的快慢则由 max⁡k∣qk∣\max_k |q_k| 决定。

图 28 给出了一个具体的数值例子。所用数据与代码清单 2-5 第二部分相同:横坐标是 13 个常见的 Hammett 取代基常数 σ\sigma,响应 y=σ+0.03sin⁡(2.1i)y = \sigma + 0.03\sin(2.1i) 是为演示而构造的(加入了一个小的扰动项)。对这组 σ\sigma,Hessian 的两个特征值为 λmax⁡≈1.00\lambda_{\max} \approx 1.00、λmin⁡≈0.22\lambda_{\min} \approx 0.22。

学习率对优化动力学的控制
图 28 学习率对梯度下降轨迹的影响(数值实验)。 在 (w,b)(w, b) 参数平面上,从同一初始点出发迭代。(a) η=0.05\eta = 0.05:两个方向的因子分别为 0.95 和 0.99,路径平稳但进展缓慢;(b) η=0.45\eta = 0.45:因子为 0.55 和 0.90,路径单调地逼近最优点;(c) η=1.75\eta = 1.75:陡峭方向的因子为 −0.75-0.75,路径在谷底两侧来回跳跃,但幅度迅速衰减;(d) η=2.20\eta = 2.20:陡峭方向的因子为 −1.20-1.20,超过稳定界限,迭代发散。

对照表 15 来读图 28:(a)(b) 两种情况下两个方向的 ηλk\eta\lambda_k 都小于 1,路径不越过谷底;(c) 中陡峭方向的 ηλmax⁡=1.75\eta\lambda_{\max} = 1.75 落在 1~2 之间,因此出现了来回跳跃;(d) 中 ηλmax⁡=2.2>2\eta\lambda_{\max} = 2.2 > 2,迭代发散。

参数来回跨过最优点,并不一定收敛得慢。 在 (b) 中,收敛速率由平缓方向决定,max⁡∣qk∣=0.90\max|q_k|=0.90;而在 (c) 中,max⁡∣qk∣=max⁡(0.75, 0.61)=0.75\max|q_k|=\max(0.75,\ 0.61)=0.75,反而更小。因此 (c) 虽然左右摆动,却收敛得更快。读者可在 demo_playground.py 第二部分中将学习率列表改为 0.45 和 1.75,增加第 50 步的输出后比较:η=1.75\eta=1.75 的损失与最优值的相对差异已小于 10−1110^{-11},而 η=0.45\eta=0.45 时仍高出约 1%。

文献中有时借用振动力学的术语,把 (a)(b) 称为“过阻尼”、把 (c) 称为“欠阻尼”。这只是一种形象的类比:梯度下降本身并不含阻尼项,其行为完全由表 15 中的因子 qkq_k 决定。

B.5 固定学习率的稳定范围与收敛速率 ​

这里假设 Hessian 正定,讨论批量梯度下降和固定学习率。要保证从任意初始参数出发都收敛,所有方向都必须满足 ∣1−ηλk∣<1|1 - \eta\lambda_k| < 1,即

0<η<2λmax⁡(55)0 < \eta < \frac{2}{\lambda_{\max}} \tag{55}

若进一步要求各特征向量方向上的参数误差都不变号,则需 η≤1/λmax⁡\eta \le 1/\lambda_{\max}。

那么,最快的学习率是多少?收敛速率由 ρ(η)=max⁡k∣1−ηλk∣\rho(\eta) = \max_k|1 - \eta\lambda_k| 决定,而这个最大值只可能出现在 λmin⁡\lambda_{\min} 或 λmax⁡\lambda_{\max} 处。当两端的因子大小相等、符号相反时,ρ\rho 取最小值,由此得到(推导见附录 A.3)

ηopt=2λmax⁡+λmin⁡,∥e(t)∥2≤(κ−1κ+1)t∥e(0)∥2(56)\eta_{\mathrm{opt}} = \frac{2}{\lambda_{\max} + \lambda_{\min}}, \qquad \|\mathbf{e}^{(t)}\|_2 \le \left(\frac{\kappa - 1}{\kappa + 1}\right)^t\|\mathbf{e}^{(0)}\|_2 \tag{56}

式 (56) 表明:条件数 κ\kappa 越大,即使采用最优学习率,误差每步的收缩也越少。 当 κ≫1\kappa \gg 1 时,把误差缩小到原来的 ε\varepsilon 倍大约需要 κ2ln⁡(1/ε)\frac{\kappa}{2}\ln(1/\varepsilon) 步。例如 κ=104\kappa = 10^4 时,收缩因子约为 0.9998,要把误差缩小 10610^6 倍需要约 7 万步。

以上分析在真实数据上同样成立。图 29 使用第 2.5.2 节将要介绍的带隙数据集,取两个标准化后的特征(电负性差 Δχ\Delta\chi 与平均电负性 χˉ\bar{\chi})进行学习率扫描。

真实带隙数据上的学习率演化与发散临界点
图 29 带隙数据上的学习率扫描。 (a) 不同学习率下训练损失随迭代次数的变化;(b) 迭代 200 轮后的损失与学习率的关系。竖直虚线为式 (55) 给出的理论稳定上限 2/λmax⁡≈1.652/\lambda_{\max} \approx 1.65;数值实验中,学习率越过这一界限后损失急剧增大,与理论预测吻合。

对这两个特征,Hessian 的特征值为 λmax⁡≈1.21\lambda_{\max} \approx 1.21、λ=1.00\lambda = 1.00(来自截距方向)和 λmin⁡≈0.79\lambda_{\min} \approx 0.79,于是 2/λmax⁡≈1.652/\lambda_{\max} \approx 1.65,κ≈1.53\kappa \approx 1.53,ηopt=2/(1.21+0.79)=1.0\eta_{\mathrm{opt}} = 2/(1.21 + 0.79) = 1.0。图 29(b) 中损失在 η≈1.65\eta \approx 1.65 处陡然上升,正是式 (55) 的直接体现。这些特征值为什么恰好是 1±0.211 \pm 0.21 和 1,将在附录 B.6 解释。

其中 β∈[0,1)\beta \in [0, 1) 称为动量系数,常取 0.9;β=0\beta = 0 时退化为普通梯度下降。对正定二次损失,重球法取相应最优的 η\eta 和 β\beta 时,渐近收敛因子可以从 (κ−1)/(κ+1)(\kappa - 1)/(\kappa + 1) 改善为 (κ−1)/(κ+1)(\sqrt{\kappa} - 1)/(\sqrt{\kappa} + 1)。例如 κ=104\kappa = 10^4 时,前者约为 0.9998,后者约为 0.98,所需步数减少约两个数量级。

B.6 标准化与正则化怎样改变曲率 ​

标准化包括中心化(减去均值)和缩放(除以标准差),分别处理均值偏移和数值尺度。对各列应用式 (7) 后,每列特征的均值为零、方差为 1,1mX~⊤X~\frac{1}{m}\tilde{\mathbf{X}}^\top\tilde{\mathbf{X}} 中特征列与常数列的交叉项全部为零,对角元全部为 1,于是

H′=[C00⊤1](57)\mathbf{H}' = \begin{bmatrix} \mathbf{C} & \mathbf{0} \\ \mathbf{0}^\top & 1 \end{bmatrix} \tag{57}

其中 C\mathbf{C} 是各特征之间的相关系数矩阵。式 (57) 说明:

  1. 中心化使特征与截距“解耦”,截距方向的特征值恰好为 1;
  2. 缩放使各特征的曲率处于同一量级;
  3. 标准化无法消除特征之间的相关性。对两个相关系数为 ρ\rho 的特征,C\mathbf{C} 的特征值为 1±ρ1 \pm \rho,因此 κ=(1+∣ρ∣)/(1−∣ρ∣)\kappa = (1 + |\rho|)/(1 - |\rho|)。

现在可以解释附录 B.5 中的特征值了:在图 29 中,Δχ\Delta\chi 与 χˉ\bar{\chi} 的相关系数 ρ≈0.21\rho \approx 0.21,所以特征值为 1±0.211 \pm 0.21(即 1.21 和 0.79),再加上截距方向的 1。同理,图 10(b) 中 κ≈1.9\kappa \approx 1.9 而不是 1,也是因为 Δχ\Delta\chi 与 MM 之间存在一定的相关性。若特征之间高度相关,即使标准化后条件数依然可能很大——第 2.5.2 节使用 4 个特征时,标准化后的 κ\kappa 约为 41。这时需要借助 2.3.7 节的正则化,或删去冗余特征。

中心化的重要性在第 2.5.1 节的 Arrhenius 案例中体现得尤为明显:横坐标 1000/T1000/T 的数值约为 3,量级“正常”,但由于它的均值(约 3.15)远大于标准差(约 0.14),这一列几乎与常数列平行,条件数仍高达约 6×1036\times 10^3。只有同时中心化和缩放,条件数才降到 1。

岭回归的 Hessian 为 H+λ diag(1,…,1,0)\mathbf H+\lambda\,\mathrm{diag}(1,\ldots,1,0),最后的零表示不惩罚截距。若特征已经中心化,权重与截距对应的块分开,权重块的各特征值增加 λ\lambda;不能在一般未中心化的增广矩阵中,把所有特征值都简单加上 λ\lambda。正的惩罚系数能够使权重解唯一并改善某些病态问题,但包含未惩罚截距的整体条件数并不保证随 λ\lambda 增大而一直降低。

普通梯度下降下,L2 项带来的更新可写成对权重的衰减;这一等价关系不能不加条件地推广到所有优化器。

B.7 完整代码的阅读顺序 ​

先打开 linear_unit.py,按下面的顺序查阅即可,无需从头读到尾:

  1. predict、loss 和 gradient:分别计算预测、平方误差和梯度。
  2. _apply_update 与 fit:完成参数更新,控制批量大小、动量与学习率安排。
  3. StandardScaler:保存训练集的均值与标准差,再用于新数据。
  4. normal_equation 与 check_gradient:核对直接解和手写梯度。
  5. 数据划分与评价函数:支持案例中的训练集、测试集和交叉验证。

dot 是向量点积,axpy 计算 αx+y\alpha\mathbf x+\mathbf y,名称沿用 BLAS;col 取出矩阵的一列。指标函数包括 MSE、RMSE、MAE 与 R2R^2;其中 mse 没有损失函数里的 1/21/2。RMSE 和 R2R^2 的定义见式 (27)。

学习率安排 lr_schedule 支持固定值、逆时衰减 ηt=η0/(1+t/T)\eta_t=\eta_0/(1+t/T),以及按阶段减半。MinMaxScaler 将特征映射到 [0,1][0,1],最大值与最小值同样只能从训练集计算。PolynomialFeatures 生成平方项、交叉项和立方项;输入发生了变化,但模型仍对参数保持线性。

normal_equation 构造正规方程并用列主元高斯消元求解。condition_number 用幂迭代与反幂迭代估计最大、最小特征值,并把常数列计入。train_test_split 支持随机划分与按 groups 整组划分,kfold_indices 提供交叉验证所需的索引。

检查梯度时,可以用中心差分近似每个偏导数:

(∂J∂θj)num≈J(θj+h)−J(θj−h)2h,h=10−6(58) \left(\frac{\partial J}{\partial \theta_j}\right)_{\mathrm{num}} \approx \frac{J(\theta_j + h) - J(\theta_j - h)}{2h}, \qquad h = 10^{-6} \tag{58}

计算某个参数的差分时,其他参数保持不变。中心差分的截断误差为 O(h2)O(h^2),但过小的 hh 也会受到浮点舍入影响。配套程序在带隙数据上得到的最大相对误差约为 4×10−94\times10^{-9},可作为该实现的数值核对;一次核对通过并不替代对其他输入的检查。

chem_data.py 保留了 48 种元素的性质表、支持多重括号的化学式解析器,以及描述符计算函数。数据包括 73 种无机固体的带隙、C1–C20 正构烷烃的沸点、五个 N₂O₅ 速率常数、水的饱和蒸气压,以及 21 种取代基的 Hammett 常数 [5]。描述符包括电负性差、平均电负性、平均共价半径、平均主量子数、摩尔质量和第一电离能差。

带隙数值取自文献中常被使用的室温附近值,实验方法、晶型和样品不同会带来差异,应按教学数据使用。demo_playground.py 中使用 Hammett 常数构造的响应还特别标明为演示值,并非实验测量。

demo_playground.py 依次打印参数变化,比较学习率、特征缩放和批量大小。学习率实验的输出如下:

text
最小二乘解对应的最低损失 J* = 0.000204561(数据含扰动项,J* 不为 0)

     学习率 η         第 20 步 J        第 200 步 J 现象
------------------------------------------------------------------------------
      0.01         0.102187        0.0452624 仍在缓慢下降
      0.10        0.0448449      0.000217121 仍在缓慢下降
      0.50        0.0011493      0.000204561 200 步内收敛
      1.00      0.000208793      0.000204561 200 步内收敛
      2.20          2.07894      2.33822e+29 发散:一步比一步更远

这组演示数据的稳定上限约为 2。表中选取的 0.01、0.1、0.5、1.0 都能收敛,2.2 会发散;不能据此推断在整个稳定区间内,学习率越大一定越快,B.5 节给出了最优固定学习率的条件。

《原子智能》· 纸质出版预备版 · PolyAI Team 著