自回归模型（Autoregressive Models）深度教程

从链式法则到分子生成：公式推导、纯 Python 实现，与八个化学/材料实验

这是一份专门面向「人工智能 × 化学/材料」交叉方向研究生的自回归模型深度教程。 我们将从最基础的公理发问——“一个多变量的联合概率分布，究竟为什么能严丝合缝地拆解为一连串条件概率？”——并由此构建起一座通往现代分子生成的完整理论与实践大厦。全篇不仅涵盖链式分解与自动归一化证明、三角 Jacobian 变量变换、极大似然与教师强制的等价性、Yule–Walker 方程与 Levinson–Durbin 递推的归纳推导、Burg 算法、NADE 与 MADE 掩码定理、自回归流、因果卷积与因果自注意力机制、祖先采样正确性以及暴露偏差的严密数学推导；更坚持使用手写的纯 Python 代码（完全不依赖 NumPy）把推导出的每一个数学符号精确映射为计算机指令。最后，教程将在八个真实的化学与材料科学任务上接受严苛的实证检验——其中包括四个我们坦诚记录的“模型输了”的真实失败实验。

这份教程的定位：它是《循环神经网络（RNN）》与《长短时记忆网络（LSTM）》两部教程的理论与概念“上游”。如果说 RNN 和 LSTM 侧重于探讨如何设计循环单元结构、梯度如何在时间轴上传递；那么本教程则专注于更本质的核心哲学：如何将一个看似不可捉摸的高维联合分布，化整为零地拆解为具有严格因果先后顺序的条件分布序列，并以此实现逐位精准预测。无论是最早期的经典线性自回归（AR）、离散语言模型（n-gram）、掩码神经网络（NADE/MADE），还是循环神经网络语言模型、因果音频卷积（WaveNet）、现代大语言模型的基石 GPT，抑或是可逆概率流中的自回归流，本质上全都是针对这一分解原则采取的不同参数化手段。读毕全书，读者将会清晰地建立起一个信念：“自回归”并不是某个孤立的深度学习模型架构，而是人类用因果与条件概率拆解复杂世界的一种基本方式。

---

0. 写在前面

0.1 这份教程讲什么，不讲什么

翻阅当下许多讲解“自回归”的技术资料，论述往往止步于一个极简的概率公式：$p(x)=\prod_t p(x_t\mid x_{<t})$，紧接着便得出“因而只需逐个标记预测即可”的匆忙结论。这句话在数学形式上固然无误，但对于真正从事分子设计与材料模拟的研究者而言却远远不够。它既没有解释这种因果切分背后的理论代价，也未曾揭示其在面对分子多义性与长程拓扑相互作用时的脆弱。本教程的初衷，正是要把这一连串被普遍略过的核心机理彻底讲透。

在这份教程里，我们建立起一条完整的知识逻辑链。首先，在理论基石部分，我们将严格证明该条件乘积分解为何在数学上恒成立且自动满足概率归一化（附严密的数学归纳法证明），并揭示连续自回归与“三角 Jacobian 矩阵变换”同构的一体两面；紧接着，我们将推导为何概率极大似然训练在形式上**必然等价于教师强制（Teacher Forcing）**与逐位交叉熵损失；而在生成推断端，则会给出祖先采样（Ancestral Sampling）能够无偏恢复原始联合分布的正确性保障。进入经典统计与工程实现后，我们将完整展开线性 AR($p$) 模型的弱平稳性判据、Yule–Walker 方程、Levinson–Durbin 递推算法的数学归纳法证明、最小二乘与条件极大似然的渐近等价性，以及在谱学分析中具有重要地位的 Burg 最大熵算法；随后跨越至现代神经网络，推演 NADE 的前向与反向动力学、MADE 掩码因果性定理与数学证明，并贯通自 n-gram、RNN、因果卷积直到因果自注意力的统一演进脉络。最关键的是，教程将直面化学学科的核心痛点：同一个分子拓扑结构在 SMILES 字符串中对应着多种合法的书写顺序，导致自回归模型产生概率质量人为稀释的理论缺陷；最后，我们用包含四个“失败实验”在内的八项真实评测，用真实跑出来的详尽数字为读者构建清晰客观的认知边界。

与此同时，为了保持主题的高度聚焦并避免认知负荷过载，本教程也划定了明确的边界：我们假定读者已知晓梯度反向传播的基础概念，因此更底层的自动微分机制请参阅通识教程；关于循环网络中门控机制（如 LSTM/GRU）的精细演化，亦留待专门文献展开；全篇不对千亿参数分布式通信、混合精度量化及流水线工程优化做过多展开；对于扩散模型与自回归模型的全面横向竞争，我们也仅在第 9.3 节进行恰如其分的原理对比与实测测速分析。

0.2 这份教程给谁看

本教程专为在「AI × 化学/材料」这一交叉前沿领域探索的研究人员量身打造。如果你是一名刚进入实验室的研究生，本科主修化学、化工或材料科学，具备微积分、线性代数和初等概率论的基本素养；或者你掌握基础的 Python 编程技能，但过去从未从零手写过生成模型的核心逻辑；抑或是你正手握一批实验测得的分子光谱、动力学曲线或化合物组分数据，苦苦思索“当前问题到底是否适合引入自回归生成模型，若是引入又该如何科学严谨地评估其真实表现”——那么本教程就是为你而写的。

推导过程中涉及的特殊数学记号，例如代表逐元素乘积的 Hadamard 积 $\odot$、对角算子 $\mathrm{diag}(\cdot)$、多变量多元函数的导数阵列 Jacobian 矩阵，以及在时间序列分析中反复现身的 Toeplitz 对角恒定矩阵，在正文首次登场时都会给出清晰平实的解释，确保不同知识背景的学者都能顺畅阅读。

0.3 文件清单

教程的代码设计完全秉承教学透明性原则，算法核心库完全剥离了繁复的第三方框架封装：

文件	说明
自回归模型教程.md	主文件（你正在读的这份）
code/	全部可运行代码（算法部分零第三方依赖）
code/ar.py	核心库：线性 AR / NADE / MADE / 神经自回归语言模型 + 完整反向传播
code/chemdata.py	化学与材料数据集 + RDKit 工具 + 动力学模拟
code/tests_ar.py	44 项测试，含 120 项逐参数梯度检查
code/demo_*.py	八个实验
code/make_figures.py	唯一用到 matplotlib 的脚本
figures/	28 张数据图（PNG + SVG）+ results_*.json（原始数字）
images/	12 张手绘风格插图（风格 #097，图像模型生成，示意性质）
images/prompts/	生成插图时使用的完整提示词（每张图一个文件）
images/gen.sh、images/gen_all.sh	生成插图的脚本（供复核，不运行也能阅读全文）

0.4 关于"不使用 NumPy"

在编写本教程的核心算法模块时，我们坚持了一个看似极其苛刻甚至逆潮流的标准：纯 Python 裸写，不使用 NumPy。翻开 ar.py、chemdata.py、tests_ar.py 以及四个纯 Python 基础实验脚本，读者将找不到哪怕一行 import numpy。所有的矩阵与向量运算都退回到最基础的原生嵌套列表 list[list[float]]：

def matvec(A, x):
    """y = Ax，A 是 list[list[float]]"""
    return [sum(a * b for a, b in zip(row, x)) for row in A]

在这套纯净的代码体系中，唯一的例外出现在涉及 DeepChem 生态的三个实验脚本（demo_deepchem_*.py）中。这是因为 DeepChem 底层的标准数据流规范定义了 NumPy 数组，评估指标计算 dc.metrics 亦返回 NumPy 标量；在这些特定位置引入 NumPy 仅仅是为了与外部框架接口完成安全桥接，而绝非在实现生成模型的核心逻辑本身。

这种“反潮流”的代码实现方式有着明确的技术权衡。其代价显而易见：正如我们在第 9.2 节实测的那样，原生 Python 在解释执行密集算术循环时比经过 C/Fortran 深度优化的 BLAS/NumPy 慢 100 至 1000 倍。为了使所有脚本在普通个人电脑上依然能够几分钟内跑通，本教程将实验数据规模审慎地控制在小而精的数百至数千个样本量级。然而其收益却是无可估量的：这里没有任何封装在黑盒里的“底层魔法”，教程正文中出现的每一个数学公式，在代码中都有一行清晰朴素的 Python 逻辑与之严密咬合（附录 A 提供了详尽的公式代码索引）。更重要的是，所有的解析导数都可以通过最直观的中心差分法完成逐项检验（见第 7.7 节），从而确保每一个推导都经得起最严谨的数值审查。

0.5 关于数据：哪些是真的，哪些是构造的

对于注重实证与实验严谨性的化学和材料学者而言，数据的真实性边界往往决定了科学结论的推广边界。本教程坚决摒弃“只报喜不报忧”与模糊数据来源的敷衍做法，将八项实验的数据来源与真实性严格划分为四个清晰的梯级：

档位	数据	用在哪	能得出的结论
A. 真实实验数据	ESOL/Delaney（1128 个有机分子 + 实测 logS）、ThermoSol、HOPV（350 个有机光伏分子，含 220 个聚合物）、USPTO 反应、expt_gap（4598 条材料组成 + 实验带隙）	实验二~七	"在真实数据上，这个方法表现如何"
B. 真实物理模型	连串反应 A→B→C 的浓度轨迹、Brusselator 化学振荡	实验一	"在真实动力学产生的序列上，AR(p) 能表示什么、不能表示什么"
C. 真实分子、构造的序列	沿 SMILES 书写顺序取出的原子属性序列	实验一（1C）	"序列本身是真的，但'把它当作一条一维序列'是我们选的建模方式"
D. 纯构造	无	—	本教程没有用任何纯构造数据下结论

所有用于测试的数据均来自计算化学领域公认的基准数据源 DeepChem / MoleculeNet（详见 chemdata.DATA_SOURCES 说明），并随教程源码一并打包于 code/data/ 目录中，确保读者即便处于离线环境也能无缝复现全部结果。在调用 DeepChem 的三个高阶实验中，程序会优先尝试通过官方接口 dc.molnet.load_* 自动拉取最新基准，并在网络受限时稳健地回退到本地打包好的 CSV 数据与 dc.data.CSVLoader 管道。

0.6 环境

纯 Python 部分：Python ≥ 3.8，零第三方依赖
DeepChem 部分：deepchem 2.8.0、rdkit 2024.09、pandas、scikit-learn、torch 2.3
画图：matplotlib 3.9
本教程验证环境：conda 环境 deepL（Python 3.11.9），macOS 15.1，CPU

---

1. 背景：生成模型的版图，与自回归的位置

1.1 生成模型要解决什么问题

在计算化学与材料科学的研究图景中，所谓“生成”或“逆向设计（Inverse Design）”，形式化之后本质上聚焦于同一件核心任务：给定一批已知且具有特定化学性质的样本集合 $\mathcal{D}$，我们要学习一个参数化的概率分布 $p_\theta(x)$，使其能够忠实表征 $\mathcal{D}$ 所处的构象与化学空间，并允许我们从中高效采样出兼具新颖性与物理可行性的未知实体 $x$。

在这个形式体系下，变量 $x$ 的具体物理与化学内涵，完全取决于我们所设定的研究目标：

$x$ 是什么	化学任务	本教程实验
一条 SMILES 字符串	从头设计分子	实验二、三、六
一条聚合物重复单元序列	共聚物/高分子设计	实验五（HOPV 部分）
反应物 → 产物的字符串对	反应预测	实验八
化学式（无机组成）	材料组成设计	实验七
一个 128 维分子指纹	指纹密度估计、片段相关性分析	实验四
一个 8 维物理化学描述符向量	类药性/溶解度分布建模	实验四
一段化学反应动力学时间序列	过程建模与预测	实验一

1.2 五类主流生成模型，以及它们各自的"死穴"

当代机器学习领域涌现出了多种不同范式的生成框架。从统计物理与热力学状态演化的角度审视，它们各自构建概率流与自由能曲面的策略截然不同，因而在似然计算的保真度与推断采样的效率之间，展现出了不同的工程权衡：

家族	核心思想	似然	采样的代价	化学里的代表
自回归（AR）	把联合分布拆成一串条件分布，逐个预测	精确、可算	只能逐位串行	RNN 语言模型（Segler 2018）、GraphAF、Molecular Transformer、本教程全部实验
变分自编码器（VAE）	引入隐变量，最大化证据下界（ELBO）	下界	一次前向，快	分子 VAE（Gómez-Bombarelli 2018）
生成对抗网络（GAN）	生成器与判别器博弈	无	一次前向，快	MolGAN（De Cao & Kipf 2018）
标准化流（Flow）	可逆变换 + 变量替换公式	精确	一次前向，快	分子流、本教程第 4.6 节的 MAF
扩散模型（Diffusion）	学"去噪"过程的逆过程	变分下界	需要几十~上千步	3D 分子/晶体生成（Hoogeboom 2022）

在整幅生成模型版图中，自回归模型最显著也最宝贵的特质，在于它能够直接计算出精确的对数似然。这绝非一个可有可无的纯数学修饰，而是赋予了科学探索无可替代的严谨性。得益于这种精确性，研究者能够摆脱生成对抗网络中由于缺乏客观标尺而不得不依赖的启发式感知指标（如图像生成中常用的 FID），直接利用留出测试集上的平均负对数似然（NLL）对不同模型进行无偏且绝对客观的打分。不仅如此，精确似然还为我们提供了一座天然的物理“能量天平”：对于任意给定的未知化合物，模型计算出的对数概率 $\log p(x)$ 刻画了其在当前分布下的“惊讶程度”，使之能够直接充当高精度的离群结构检测器与化学合理性筛子；更进一步，在贝叶斯推断与定向分子演化中，精确似然是实施重要性采样与带拒绝概率的有保障统计推断的前提。

然而，如同热力学中能量与熵的对立制衡，这种精确性也带来了不可回避的物理代价——生成过程必须严格串行。由于每一步预测都以此前所有的生成历史为前置条件，模型在吐出第 $t$ 个标记（Token）之前，必须等待第 $t-1$ 步的状态彻底确定。倘若面对一个包含 100 个字符的复杂 SMILES 串，计算机就必须连续执行 100 次完整的网络前向传播。这一固有的因果串行依赖，正是 2020 年以后以逐步并行为特征的扩散模型在三维构象与点云生成等任务中逐渐崭露头角的关键原因，我们在第 9.3 节亦会呈现具体的基准测时数据。

1.3 自回归的定义

数学上，给定一个由 $d$ 个随机变量构成的复合系统 $x=(x_1,\dots,x_d)$，所谓的自回归模型，特指通过如下条件概率乘积形式对高维联合分布进行参数化的一类体系：

$$p_\theta(x_1,\dots,x_d)=\prod_{i=1}^{d} p_\theta\big(x_i \mid x_{<i}\big), \qquad x_{<i}\coloneqq (x_1,\dots,x_{i-1}) \tag{1.1}$$

在此定义中，每一个局部条件密度 $p_\theta(x_i\mid x_{<i})$ 均可根据具体的物理场景自由选配——它既可以是离散字符表上的 Softmax 分类器、多维二值空间的伯努利分布，亦可以是表征连续物性的高斯密度或混合密度网络。其唯一的硬性法则在于：函数的输入必须严格限制于历史变量子集 $x_{<i}$ 之内。

在深入推导之前，有三重环环相扣的认知逻辑需要向化学与材料学者交代清楚。

首先，式 (1.1) 所表达的乘积拆解并非某种粗糙的工程近似，而是一项在概率论中恒成立的精确恒等式。无论变量间的真实物理关联多么错综复杂，只要给出一个确定的先后顺序，链式法则便能在数学上绝对成立（我们将在第 2.1 节给出其严格证明）。因此，机器学习文献中常常提及的所谓“自回归假设”，其本质从来不在于分解本身是否合理，而完全取决于我们所挑选的参数化函数族（如线性模型或多层神经网络）是否具备足够的表达能力来逼近每一个局部的条件分布，以及训练优化算法能否顺利找到这组参数。

其次，变量之间展开的“因果顺序”在数学上并不存在唯一的先验法则。如果我们对变量空间施加一个任意的置换映射 $\pi$，式 (1.1) 的恒等性依然坚挺，但由此诱导出的参数化模型却会发生天翻地覆的改变，其在有限样本下学到的泛化似然亦大相径庭。在实验四中我们将用详实的实验数据证明：面对同一批 128 维分子指纹，仅仅改变维度的排列次序，留出测试集的负对数似然就会产生高达 2.8 nat 的显著波动。

最后，当面对天然具有一维链式拓扑的数据形态（如文本字符串、SMILES 表达、共聚物重复单元或反应方程式）时，物理书写的自然流向往往替我们化解了人为寻找排列顺序的难题。然而在化学世界里，这种便利随即转变为另一个更为棘手的内在挑战：同一个客观存在的分子三维拓扑，在化学信息学中往往允许存在许多个完全等价的合法 SMILES 书写序列。自回归模型在处理这一现象时，极易陷入概率质量人为散逸的“有序性假象”困境，这一关键命题将在第 6.2 节展开剖析。

1.4 自回归模型的家族树

穿透深度学习层出不穷的新名词，我们会发现式 (1.1) 宛如一条贯穿始终的金线。历史上诸多名声赫赫的模型，究其本质，无非是在这一条统一的因果分解框架下，对条件依赖函数采取了不同的逼近形式：

式 (1.1) p(x) = ∏ p(x_i | x_<i)
│
├── 线性参数化 ──────────► AR(p)、VAR、ARMA        （第 3 章）
├── 离散 n-gram ─────────► 马尔可夫链、n-gram LM    （第 5.1 节）
├── 掩码多层感知机 ──────► NADE、MADE、MAF          （第 4 章）
├── 循环网络 ────────────► RNN / LSTM / GRU 语言模型（RNN、LSTM 教程；第 5.3 节）
├── 因果卷积 ────────────► PixelCNN、WaveNet        （第 5.4 节）
├── 自注意力 ────────────► Transformer / GPT         （第 5.5 节）
└── 自回归解码器 ────────► Seq2Seq、Molecular Transformer（实验八）

这一谱系中的所有分支，无一例外地共享着自回归框架的核心数学禀赋：精确可解的似然函数、严谨易算的 NLL 目标、步步为营的串行采样机制，以及由自反馈引发的暴露偏差挑战。它们彼此之间的分野，仅仅体现在两个工程维度上：其一是采用何种非线性函数来拟合条件分布 $p(x_i\mid x_{<i})$，其二则是其内在结构究竟能够承载并记忆多长跨度的历史信息。

1.5 化学与材料里的自回归任务地图

将上述理论谱系投影至化学与材料科学的具体应用场域，我们便能梳理出一幅清晰的任务映射图景。不同任务的数据形态与所选用的条件分布各异，因而也面临着截然不同的化学物理瓶颈：

任务	$x$	条件分布	化学难点
分子从头设计	SMILES 字符串	字符级 softmax	语法（括号/环闭合）与价键约束
聚合物设计	重复单元的 SMILES / 序列	字符级或单元级 softmax	重复单元定义不唯一、性质数据极少
反应预测	反应物 → 产物	seq2seq + 自回归解码	长度不定、需要"什么时候停"
材料组成设计	化学式字符串	字符级 softmax	语法合法 ≠ 电荷平衡 ≠ 可合成
分子指纹建模	128 位 0/1 向量	逐位伯努利	维度顺序没有化学含义
描述符分布建模	8 维连续向量	逐维高斯/MoG	变量之间的强相关（MW–环数–logP）
动力学过程建模	一维时间序列	线性高斯	平稳性假设说破就破

---

2. 数学准备：链式法则、变量变换、极大似然、祖先采样

在深入具体的算法模型与代码构建之前，我们必须先在数学基石上完成四项关键推演。这四项数学准备看似极为简洁，却构成了支撑后续全部生成模型大厦的理论承重墙。

2.1 链式法则 → 自回归分解（含归一化证明）

在概率论的严格框架下，自回归模型的最根本合法性来自初等条件概率的链式法则。

定理 2.1（自回归分解） 设 $x=(x_1,\dots,x_d)$ 为定义在高维空间中的联合分布 $p(x_1,\dots,x_d)$（无论离散或连续），且所有出现在分母中的边缘密度均严格为正。记前置变量子集为 $x_{<i}=(x_1,\dots,x_{i-1})$，累积变量子集为 $x_{\le i}=(x_1,\dots,x_i)$。则对于由指标 $1,2,\dots,d$ 所指定的任意排列顺序，联合概率均可恒等分解为：

$$p(x_1,\dots,x_d)=\prod_{i=1}^{d} p\big(x_i\mid x_{<i}\big).$$

证明. 我们只需反复运用条件概率的基本定义 $p(A\mid B)=\dfrac{p(A,B)}{p(B)}$，将高维复合事件自外向内逐层剥离：

$$\begin{aligned} p(x_1,\dots,x_d) &=p(x_d\mid x_{<d})\,p(x_1,\dots,x_{d-1})\\ &=p(x_d\mid x_{<d})\,p(x_{d-1}\mid x_{<d-1})\,p(x_1,\dots,x_{d-2})\\ &=\cdots\\ &=\prod_{i=1}^{d}p(x_i\mid x_{<i}). \end{aligned}$$

在此递归链条的终点，第一项 $p(x_1\mid x_{<1})$ 对应于空条件下的无条件边缘概率 $p(x_1)$。整个推导过程的每一步，仅仅是将一个未知的多体联合分布改写为“系统的最后一个自由度在给定全部历史下的条件概率，乘以剩余少一个自由度的子系统联合分布”。这里没有引入任何物理近似或统计假设，因而该分解在纯数学意义上是绝对严密的。$\square$

更为神奇的一点在于其在测度意义上的自洽性。对于熟悉统计物理与化学热力学的研究者而言，在处理诸如伊辛模型、玻尔兹曼分布或非归一化能量模型（EBM）时，最大的噩梦莫过于求取系统的配分函数（Partition Function）$Z=\sum_s e^{-E(s)/k_B T}$。由于构象与微观状态空间随粒子数呈指数级爆炸，对全局状态空间做归一化积分通常在计算上是不可行的，这迫使人们不得不诉诸马尔可夫链蒙特卡洛（MCMC）或变分近似。然而，自回归模型却通过因果结构彻底规避了这一宏观配分函数的计算困境：

定理 2.2（自动归一化） 若模型所构造的每一个局部转移核 $p_\theta(x_i\mid x_{<i})$ 均是严格合法的条件概率分布（即对于任意给定的局部历史 $x_{<i}$，其函数值非负且对自身变量 $x_i$ 的积分恒等于 1），那么由式 (1.1) 所定义的整体联合测度 $p_\theta(x_1,\dots,x_d)$ 将自动满足全局归一化条件：

$$\sum_{x_1}\cdots\sum_{x_d}p_\theta(x)=\int\cdots\int p_\theta(x)\,\mathrm{d}x=1 .$$

证明（对变量维度 $d$ 实施数学归纳法）.

在基础情形 $d=1$ 下，$p_\theta(x_1)$ 本身就是一个合法的单一变量分布，其全空间积分自然严格为 1。

现在进入归纳步：假定结论在包含 $d-1$ 个变量的自回归分解系统中完全成立。面对 $d$ 个变量的系统，我们考虑其在整个状态空间上的全积分（或离散全求和）：

$$\begin{aligned} \sum_{x_1,\dots,x_d} p_\theta(x) &=\sum_{x_1,\dots,x_{d-1}}\Big[\underbrace{\prod_{i=1}^{d-1}p_\theta(x_i\mid x_{<i})}_{\text{前 }d-1\text{ 项的乘积}}\Big] \underbrace{\sum_{x_d}p_\theta(x_d\mid x_{<d})}_{=1}\\ &=\sum_{x_1,\dots,x_{d-1}}\prod_{i=1}^{d-1}p_\theta(x_i\mid x_{<i})=1 \quad(\text{由归纳假设即得}). \end{aligned}$$

这段证明最精妙的枢纽发生在第二行：当我们在最内层对末端变量 $x_d$ 实施遍历积分时，前置乘积项内部完全不包含变量 $x_d$。因此，前 $d-1$ 项所构成的复合因子可以直接作为常数整体提取至积分号外，留下的仅是对局部条件核自身的积分 $\sum_{x_d}p_\theta(x_d\mid x_{<d})$，而根据局部合法性定义，该项恒等于 1。同理依次向外层递归坍缩，全空间的积分便如同多米诺骨牌一般，自然而然地归结为数值 1。$\square$

这项定理揭示了自回归架构的巨大优势：在生成对抗网络（GAN）中，判别器的博弈容易陷入模式崩塌；在基于能量的物理模型中，我们必须消耗极其昂贵的算力去逼近配分函数 $Z$；而自回归模型却通过将整体联合分布化整为零，免费获得了全局归一化的理论保障。这也解释了为什么在后续第 4 章的 MADE 掩码构造以及第 5.5 节的因果注意力机制中，工程师们不惜代价去设计各类屏蔽机制——其终极目的，正是为了在神经网络内部强行保住这项定理生效的唯一前提：严格的因果隔离性。

2.2 同一个东西的另一面：三角 Jacobian

如果我们将视线从离散的分子字符转移至连续的物理场或流形空间，式 (1.1) 还隐藏着另一层极其优美的现代几何视阈：它在数学上等价于一次具有下三角 Jacobian 矩阵的可逆坐标变换。

考虑一个将复杂数据向量 $x\in\mathbb{R}^d$ 映射到无结构标准噪声变量 $u\in\mathbb{R}^d$ 的可逆非线性坐标映射 $\mathcal{G}:\mathbb{R}^d\to\mathbb{R}^d$。在自回归设定下，该变换的分量形式被构造为：

$$u_i \coloneqq F_i\big(x_i \mid x_{<i}\big),\qquad i=1,\dots,d, \tag{2.1}$$

其中 $F_i(\cdot\mid x_{<i})$ 为第 $i$ 个物理量在给定上游变量时的条件累积分布函数（CDF）。如果假设每个局部的条件累积分布均具备连续可微性与单调可逆性，根据概率论中的概率积分变换定理（Probability Integral Transform），该非线性坐标变换能够精确地将数据分布 $p(x)$ 映射为超立方体上的均匀测度 $\mathcal{U}([0,1]^d)$。借助多元微积分中的概率密度变量替换公式，相空间微元体积的变化由坐标变换的 Jacobian 行列式严格决定：

$$p(x)=\underbrace{p(u)}_{=1}\Big|\det\frac{\partial u}{\partial x}\Big| =\Big|\det\frac{\partial u}{\partial x}\Big| . \tag{2.2}$$

考察这一变换的 Jacobian 导数矩阵 $\partial u/\partial x$。由于每一个变量分量 $u_i$ 按照物理因果律只取决于 $x_1,\dots,x_i$，对于所有排在后面的下游变量 $x_j$（即 $j>i$），其偏导数 $\partial u_i/\partial x_j$ 在数学上必然恒等于 0。于是，整个变换的导数矩阵自然收缩为一个极其特殊的几何形态——严格的下三角矩阵：

$$\frac{\partial u}{\partial x}= \begin{pmatrix} \dfrac{\partial u_1}{\partial x_1} & 0 & \cdots & 0\\[4pt] \dfrac{\partial u_2}{\partial x_1} & \dfrac{\partial u_2}{\partial x_2} & \cdots & 0\\[4pt] \vdots & \vdots & \ddots & \vdots\\[4pt] \dfrac{\partial u_d}{\partial x_1} & \dfrac{\partial u_d}{\partial x_2} & \cdots & \dfrac{\partial u_d}{\partial x_d} \end{pmatrix}.$$

在线性代数中，任意三角矩阵的行列式均具有极其平凡的闭式解——它精确等于其主对角线上所有元素的简单标量乘积。结合微积分反函数定理与累积分布函数的导数即概率密度这一事实（$\partial u_i/\partial x_i = p(x_i\mid x_{<i})$），我们便得到了令人惊叹的化简：

$$p(x)=\prod_{i=1}^{d}\Big|\frac{\partial u_i}{\partial x_i}\Big| =\prod_{i=1}^{d} p\big(x_i\mid x_{<i}\big). \tag{2.3}$$

式 (2.3) 与我们最初由链式法则写出的式 (1.1) 完成了完美的闭环合流。这为我们提供了一个极其深刻的跨学科视角：所谓的自回归生成，在流体力学与连续力学的视阈下，本质上就是一个 Jacobian 矩阵处处呈下三角特征的可逆保密流演化。 在第 4.6 节中，我们将看到现代可逆生成模型中的翘楚——掩码自回归流（MAF），正是直接脱胎于这一微分几何特性。同时，三角矩阵结构也无可辩驳地从微积分层面佐证了采样的串行性：想要通过反变换求解物理量 $x_i$，方程中必须事先注入已知的前序坐标 $x_{<i}$，这种因果解耦在代数结构上是绝对不可交换的。

2.3 极大似然 = 教师强制 = 逐 token 交叉熵

建立好自回归模型的概率表达后，我们接下来审视其在计算机神经网络中的优化目标。假定我们在实验室中收集到了由 $N$ 个独立同分布样本组成的真实化学数据集 $\mathcal{D}=\{x^{(1)},\dots,x^{(N)}\}$。统计学中最标准的参数估计方法莫过于最大似然估计（MLE）：

$$\hat\theta=\arg\max_\theta \sum_{n=1}^{N}\log p_\theta(x^{(n)}), \qquad \log p_\theta(x^{(n)})=\sum_{i=1}^{d}\log p_\theta(x^{(n)}_i\mid x^{(n)}_{<i}). \tag{2.4}$$

这里展现了自回归模型在工程计算上的巨大便利：通过两边取自然对数，高维概率密度那原本难以直接处理的连乘积，瞬间转化为沿着时间序列逐项累加的求和公式。

当我们把这一纯统计学优化目标翻译成深度学习的现代语言时，三项看似不同的算法概念在底层达成了高度统一：

在损失函数的具体形式上，如果我们将条件分布参数化为神经网络末端经典的分类器 $p_\theta(x_i\mid x_{<i})=\mathrm{softmax}(z_i)_{x_i}$，那么最大化对数似然在符号取反后，在数学上完全等价于计算每个预测位置上的标准交叉熵损失 $-\log\frac{\exp z_{i,x_i}}{\sum_k \exp z_{i,k}}$。

在输入特征的构造上，式 (2.4) 的每一项都明确假定条件部分 $x^{(n)}_{<i}$ 来源于实验真实观测到的真实历史，而非模型上一时刻自己试探性生成的中间体。在深度学习文献中，这种在训练阶段无条件地向网络注入实验真值作为上下文的机制，被称为“教师强制（Teacher Forcing）”。这就好比带教导师在指导研究生设计多步有机合成路线时，无论学生上一布反应的产率预测有多么偏离，在训练下一步时，导师都会直接从试剂架上取出一瓶高纯度的真实目标中间体交给学生继续推演。

在计算图的并行效率上，由于训练阶段的所有上下文 $x_{<i}$ 全都事先静态固定在数据集里，模型并不需要等待前一步的预测输出，因此全部 $d$ 个时间步的预测 logits 与交叉熵损失可以在 GPU 或 CPU 上通过矩阵分块实现完全的并行化计算。这也深刻解释了自回归模型在“训练时极其迅速、推断时却相对缓慢”这一标志性的计算不对称现象。

然而，这种教学模式也埋下了一个隐患。在实际的推理生成过程中，真实体系中不再有导师随时纠偏，模型必须依靠自己在前一步采样出的预测值 $\hat x_{<i}$ 充当后续生成的依据。这种训练环境（依赖真实数据分布）与推理环境（依赖模型自身生成分布）之间的物理错位，构成了机器学习理论中著名的**暴露偏差（Exposure Bias）**问题。

2.4 祖先采样为什么是对的

在模型参数训练完毕后，我们如何从这个复杂的条件概率网络中源源不断地合成分子？计算机采用的标准算法被称为祖先采样（Ancestral Sampling）。

其算法流程极为朴素直观：

for i = 1, 2, ..., d:
    sample  x_i ~ p_θ( · | x_<i )      # 依据此时已经固定好的前序历史进行单步抽样
return x = (x_1, ..., x_d)

💡 交互式微实战组件

交互式推演：祖先采样的串行步进与温度调节模拟

步数 (Token 长度): 20

采样温度 (Temperature): 1.00

定理 2.3 经过上述逐层抽样生成的复合向量 $x=(x_1,\dots,x_d)$，其在测度空间中的联合分布严格服从原始目标分布 $p_\theta(x)$。

证明. 记由祖先采样过程所诱导出的真实输出测度为 $q(x_1,\dots,x_d)$。根据算法的具体执行逻辑，在生成初始分量时，我们严格按照 $p_\theta(x_1)$ 执行单步抽样，因而边缘测度满足 $q(x_1)=p_\theta(x_1)$。对于后续任意一步 $i$，由于变量 $x_i$ 是严格依据条件分布 $p_\theta(\cdot\mid x_{<i})$ 随机抛掷产生的，条件测度自然恒等于 $q(x_i\mid x_{<i})=p_\theta(x_i\mid x_{<i})$。此时，我们再次借助定理 2.1 赋予的因果链式法则，对生成测度 $q$ 进行完全展开：

$$q(x_1,\dots,x_d)=\prod_{i=1}^{d}q(x_i\mid x_{<i}) =\prod_{i=1}^{d}p_\theta(x_i\mid x_{<i})=p_\theta(x_1,\dots,x_d).$$

由此完成证明。$\square$

这项证明给广大初涉生成模型的科研人员注入了一剂强心针。由于人们容易受到 GAN 或 VAE 这种“单次网络前向即可一次性喷涌出整张分子图或完整表征”的先入为主的影响，面对自回归模型这种步步为营的串行采样，往往会下意识地怀疑：“前一步抽样一旦出现随机涨落，后续步骤会不会产生剧烈的偏差漂移，导致最终吐出的整体不再服从真正的联合分布？”上述数学推导清楚地表明，从测度论意义上，条件分布的链式级联抽样在理论上与从全局高维分布中直接做不可行的蒙特卡洛抽样是完全等价的。其串行性仅仅是一项时间与算力层面的运行效率代价，而绝非生成分布的数学保真度缺陷。

2.5 评价指标：困惑度与比特

在实验评估阶段，给定 $N$ 条由真实分子或物理过程构成的测试集序列，每条序列长度记为 $T$，我们在未参与训练的留出验证集上计算其平均负对数似然（Negative Log-Likelihood, NLL）：

$$\mathrm{NLL}=-\frac{1}{NT}\sum_{n=1}^{N}\sum_{t=1}^{T}\log p_\theta(x^{(n)}_t\mid x^{(n)}_{<t}). \tag{2.5}$$

为了赋予这一抽象数值更直观的物理与信息论内涵，学术界通常将其转化为两项标准衍生指标：

$$\mathrm{PPL}=\exp(\mathrm{NLL}),\qquad \text{bits/token}=\frac{\mathrm{NLL}}{\ln 2}. \tag{2.6}$$

其中，**困惑度（Perplexity, PPL）**在物理直觉上衡量了模型在猜测下一个化学标记时面临的“有效候选分支数”。举例而言，若一个模型在预测 SMILES 的下一个原子时 PPL 为 3.0，这意味着模型当前的认知状态等价于在一个由 3 个等概率化学符号构成的盒子里进行盲猜；当 PPL 趋近于理论极限 1.0 时，代表模型在每一步都展现出绝对的确定性（但在包含热力学涨落与结构多样性的真实化学数据上，极低的困惑度往往是模型发生严重过拟合的病态信号）。

另一项指标**比特率（bits/token）**则根植于香农信息论，代表了在理论最优编码方案下，对序列中的每一个字符进行无损信息压缩所必需占用的比特宽度。在本教程实验二中，我们构建的是字符级的 SMILES 自回归模型，采用“比特/字符（bits/char）”能够与经典计算机系统将文本直接存储为 ASCII 字符的传统开销（即固定的 8 bits/字符）展开跨维度的定量比对：

模型	验证集 NLL（nat/字符）	比特/字符
均匀分布（32 字符表）	$\ln 32=3.466$	5.00
只看字符频率（unigram）	见实验二	见实验二
本教程神经自回归（k=8）	1.09	1.57
把骨架当已知、只存支链信息	—	远低于此（说明还有多少没学）

2.6 顺序很重要：一个容易被忽略的事实

式 (1.1) 的严格数学成立性，容易让初学者产生一种虚幻的安全感，误以为在构建自回归模型时无论指定何种排列顺序都无伤大雅。然而在真实的机器学习工程中，模型的表达容量（Capacity）与参数化形式永远是有限的。顺序的变动，直接决定了模型在微观上需要拟合何种几何曲面：

若局部条件分布采用线性参数化，改变自变量顺序将直接颠倒因变量与自变量的物理映射，导致最小二乘残差产生巨大改变；即便引入具备通用逼近定理的多层非线性神经网络，权重掩码的连接模式与滑动上下文窗口的物理跨度依然紧紧依附于最初选定的顺序。考虑一个极端的物理偶联系统：假设两个变量之间存在严格的确定性约束 $x_2 = f(x_1, x_3)$，其中非线性依赖主要受 $x_3$ 主导。如果我们人为规定按照 $(1, 2, 3)$ 的自然顺序展开自回归，网络在第二步预测 $x_2$ 时由于因果隔离完全无法感知到排在后方的核心变量 $x_3$ 的存在，模型只能强行学习一个充满模糊噪声的边缘投影 $p(x_2\mid x_1)$；反之，若我们将坐标顺序重新编排为 $(3, 1, 2)$，变量 $x_2$ 便能在充足的历史信息滋养下被精确解析。

这绝非仅停留在黑板上的数学游戏。在后文的实验四中，我们对 128 维的 ECFP 分子指纹向量进行了两次完全随机的维度置换实验。在保持 MADE 神经网络拓扑深度、训练步数与学习率完全一致的前提下，仅仅因为这 128 个维度的排列先后顺序发生了变动，模型在留出测试集上的平均负对数似然便在 43.69 nat、42.75 nat 与 43.46 nat 之间发生了高达 0.94 nat（约占总不确定性 2%）的显著漂移。

这一实验事实为从事材料与化学信息学研究的学者敲响了一记警钟：在面对多维物性描述符或指纹特征时，永远不要轻信“顺序无关”的直觉假设，更不要盲目断言所谓的“化学领域专家经验顺序”必然最优。在真实的数据建模流线中，排列顺序本质上是一个极其敏感的结构超参数，它必须置于留出验证集的严苛检验之下进行筛选与优化。

---

3. 经典线性自回归 AR(p)：完整推导

3.1 定义与平稳性：特征根说了算

在探索复杂的非线性深度神经网络之前，我们首先考察自回归家族中最古老也最透彻的成员——线性高斯自回归模型。这不仅能让我们在纯解析的数学框架下洞悉因果递推的内在动力学特性，更为后续理解复杂的神经序列生成提供了重要的解析参照系。

在离散时间序列分析中，若一个随机动态过程 $\{x_t\}$ 的当前状态可以表示为过去 $p$ 个历史时刻的线性加权组合叠加一个高斯随机热涨落，我们便称其服从 $p$ 阶自回归过程 $\mathrm{AR}(p)$：

$$x_t=c+\phi_1x_{t-1}+\phi_2x_{t-2}+\cdots+\phi_px_{t-p}+\varepsilon_t, \qquad \varepsilon_t\stackrel{\text{iid}}{\sim}\mathcal{N}(0,\sigma^2). \tag{3.1}$$

将式 (3.1) 与上一章通用的自回归联合分解式 (1.1) 对照，不难发现其微观条件分布呈现出极其标准的单变量条件高斯形式：

$$p(x_t\mid x_{<t})=\mathcal{N}\Big(c+\sum_{j=1}^{p}\phi_jx_{t-j},\ \sigma^2\Big). \tag{3.2}$$

因此，经典 AR($p$) 过程本质上就是自回归分解在线性均值与高斯白噪声假定下的具象化特例。在此假定下，系统的历史记忆被强行截断于最近的 $p$ 个时间步之内，这正是典型的“有限阶马尔可夫记忆”假设。

为了深入探究系统的动态稳定性，我们引入时间序列分析中经典的后移算子（Backshift Operator） $B$（定义为 $B^k x_t = x_{t-k}$）。借助该算子，差分递推方程 (3.1) 可以凝练地表述为一个特征多项式算子作用于时间序列的形式：

$$\underbrace{\Big(1-\phi_1B-\phi_2B^2-\cdots-\phi_pB^p\Big)}_{A(B)}x_t =c+\varepsilon_t . \tag{3.3}$$

对于从事化学动力学与材料物理研究的学者而言，一个动力学系统能否自发维持在某个稳态涨落区间，而不至于随着时间发生无休止的发散崩溃，对应着系统的“弱平稳性（Weak Stationarity）”。在数学上，这一物理稳态完全受制于特征多项式的根代数：

定理 3.1（平稳性判据） 差分动力学方程 (3.1) 存在方差有限的弱平稳解，当且仅当其自回归特征多项式

$$A(z)=1-\phi_1z-\phi_2z^2-\cdots-\phi_pz^p \tag{3.4}$$

的全部复根在复平面上严格坐落在单位圆的外侧（即满足模长 $|z|>1$）。在控制理论与信号处理中，这一准则亦等价地表述为：方程 $z^p-\phi_1z^{p-1}-\cdots-\phi_p=0$ 的所有特征根 $z_1,\dots,z_p$ 均严格深敛于单位圆内部（$|z_k|<1$）。

证明（以一阶系统 $p=1$ 为例展开递归解）. 假定阻尼系数满足 $|\phi_1|<1$。我们将 $x_t$ 沿着历史时间轴不断做向后迭代展开：

$$x_t=\sum_{k=0}^{K}\phi_1^{k}\varepsilon_{t-k}+\phi_1^{K+1}x_{t-K-1}.$$

当追溯的历史步数趋向于无穷大（$K\to\infty$）时，由于收缩因子满足 $|\phi_1|<1$，初值衰减项在均方意义下必然彻底消散：$|\phi_1|^{K+1}\to 0$。因此，时间序列可以唯一地展开为白噪声驱动项的历史滑动平均级数 $x_t=\sum_{k\ge0}\phi_1^k\varepsilon_{t-k}$。由此计算系统的稳态方差，几何级数完美收敛：$\mathrm{Var}(x_t)=\sigma^2\sum_k \phi_1^{2k}=\dfrac{\sigma^2}{1-\phi_1^2}<\infty$。反之，一旦 $|\phi_1|\ge1$，方差级数必然发散，系统将退化为随机游走或指数爆炸过程，不复存在任何稳态物理意义。$\square$

在更高阶的 $p\ge2$ 情形下，只需将算子多项式做复数因式分解 $A(z)=\prod_k(1-z/z_k)$，每一对特征根均贡献一个按几何衰减的振荡或阻尼弛豫分量；只要全部极点深居单位圆外，系统对外界扰动的脉冲响应便是绝对可积的。

然而在真实实验中，这一检验有时具有高度的欺骗性。在后文的实验一中，我们模拟了连串化学反应中中间体浓度的演化。当直接将 AR(1) 强加于带有宏观单调趋势的浓度曲线时，模型拟合出的自回归系数为 $\hat\phi_1=0.9911$。从纯数学上看，其特征根确实小于 1，似乎“勉强平稳”；但深入观察其自相关函数（ACF），在连续 12 个滞后阶数上相关度几乎全部贴在 0.99 附近，这正是动力学中极为危险的准单位根（Unit Root）病态征兆。这一现象深刻提醒我们：绝不能仅凭数字上小于 1 便轻率断定系统平稳，必须结合动力学背景审视系统是否叠加了尚未消除的单向物理耗散或累积趋势。

3.2 Yule–Walker 方程：怎么把 $\phi$ 解出来

在平稳性得到保障的前提下，系统的统计矩在时间平移下保持恒定。定义系统的均值为 $\mu=\mathbb{E}x_t$，滞后 $k$ 阶的自协方差函数为：

$$\gamma_k=\mathrm{Cov}(x_t,x_{t-k})=\mathbb{E}\big[(x_t-\mu)(x_{t-k}-\mu)\big].$$

为了从观测数据中反解出未知的自回归系数向量 $\phi=(\phi_1,\dots,\phi_p)^{\top}$，我们对差分方程 (3.1) 的两端同时减去均值 $\mu$，并乘以滞后变量 $(x_{t-k}-\mu)$（取滞后阶数 $k\ge1$）。随后在方程两边取统计期望。根据自回归因果律，当前时刻的外生扰动 $\varepsilon_t$ 与任何已经发生的历史状态之间严格正交，即 $\mathbb{E}[\varepsilon_t(x_{t-k}-\mu)]=0$。于是交叉乘积项被大幅简化：

$$\underbrace{\mathbb{E}[(x_t-\mu)(x_{t-k}-\mu)]}_{\gamma_k} =\sum_{j=1}^{p}\phi_j\underbrace{\mathbb{E}[(x_{t-j}-\mu)(x_{t-k}-\mu)]}_{\gamma_{k-j}} .$$

整理后，便得到了在时序统计学中享有崇高地位的Yule–Walker 方程：

$$\gamma_k=\sum_{j=1}^{p}\phi_j\gamma_{k-j},\qquad k=1,\dots,p . \tag{3.5}$$

利用自协方差函数的内在时间反演对称性 $\gamma_{-m}=\gamma_m$，将滞后阶数 $k=1,2,\dots,p$ 全部横向展开并排列成矩阵形式，方程呈现出极其端庄的对称结构：

$$\underbrace{ \begin{pmatrix} \gamma_0 & \gamma_1 & \cdots & \gamma_{p-1}\\ \gamma_1 & \gamma_0 & \cdots & \gamma_{p-2}\\ \vdots & \vdots & \ddots & \vdots\\ \gamma_{p-1} & \gamma_{p-2} & \cdots & \gamma_0 \end{pmatrix} }_{R\ (\text{Toeplitz 对角恒定矩阵})} \begin{pmatrix}\phi_1\\\phi_2\\\vdots\\\phi_p\end{pmatrix} = \begin{pmatrix}\gamma_1\\\gamma_2\\\vdots\\\gamma_p\end{pmatrix}. \tag{3.6}$$

进一步考察零滞后阶数 $k=0$ 的边界情形。此时系统受到当前扰动噪声的直接冲击，交叉期望不再为零（$\mathbb{E}[\varepsilon_t(x_t-\mu)]=\sigma^2$）。代入原方程后，我们直接获得了稳态扰动方差的闭式表征：

$$\gamma_0=\sum_{j=1}^{p}\phi_j\gamma_j+\sigma^2 \quad\Longrightarrow\quad \sigma^2=\gamma_0-\sum_{j=1}^{p}\phi_j\gamma_j . \tag{3.7}$$

在实际计算中，我们利用观测样本计算经验自协方差 $\hat\gamma_k=\frac1T\sum_{t=k+1}^{T}(x_t-\bar x)(x_{t-k}-\bar x)$（此处分母采用总样本容量 $T$ 而非无偏估计的 $T-k$，以严格保证矩阵 $\hat R$ 的半正定性）。求解这一组线性方程即可获得所谓的 Yule–Walker 参数估计。在教程代码库中，ar.yule_walker 函数便是基于这一理论方程构建，它既可以直接调用通用的部分选主元高斯消元法，也可以通过下文阐述的高效递推算法实现降维飞跃。

3.3 Levinson–Durbin 递推：$O(p^2)$ 解 Toeplitz（含完整归纳证明）

若使用标准的高斯消元算法去求解式 (3.6) 中的线性方程组，其时间复杂度为 $O(p^3)$。然而仔细观察系数矩阵 $R$，我们会发现它每一条主对角线及其平行副对角线上的元素都是完全相同的——这正是数学上著名的 Toeplitz 矩阵。这种高度的对称性意味着矩阵内部蕴含着巨大的信息冗余，允许我们建立一套时间复杂度锐降至 $O(p^2)$ 的精巧递推机制：

定理 3.2（Levinson–Durbin 递推关系） 设初始残差方差为 $E_0=\gamma_0$，初始边界多项式系数为 $a^{(0)}_0=1$ 且对于任意 $j\ge1$ 有 $a^{(0)}_j=0$。对于阶数 $m=1,2,\dots,p$，我们按照如下四个递推步骤逐级向上攀升：

$$\boxed{ \begin{aligned} k_m&=\frac{\gamma_m-\sum_{j=1}^{m-1}a_j^{(m-1)}\gamma_{m-j}}{E_{m-1}},\\[4pt] a^{(m)}_j&=a^{(m-1)}_j-k_ma^{(m-1)}_{m-j},\qquad j=1,\dots,m-1,\\ a^{(m)}_m&=k_m,\\ E_m&=E_{m-1}\big(1-k_m^2\big). \end{aligned}} \tag{3.8}$$

递推终止于 $m=p$ 时，所得的系数向量 $(\phi_1,\dots,\phi_p)=(a_1^{(p)},\dots,a_p^{(p)})$ 严格满足原 Yule–Walker 方程，且最终残差方差恰好为 $\sigma^2=E_p$。在此递推序列中，涌现出的标量标度 $\{k_m\}$ 被称为系统的反射系数（Reflection Coefficients）。它不仅在统计意义上直接对应于偏自相关函数（PACF），而且满足 $|k_m|<1$ 是保证自协方差矩阵 $R$ 严格正定、系统严格平稳的充分必要条件。

证明（对模型阶数 $m$ 施加数学归纳法，聚焦于核心代数变换）.

设立归纳命题 $\mathcal{P}_m$：“对于所有满足 $1\le j\le m$ 的指标，均有线性组合 $\sum_{i=1}^{m}a_i^{(m)}\gamma_{j-i}=\gamma_j$ 严格成立，且残差能量满足 $\sum_{i=1}^m a_i^{(m)}\gamma_{i}=E_0-E_m$。”

在起点 $m=1$ 处，根据定义式直接有 $k_1=\gamma_1/\gamma_0$ 与 $a_1^{(1)}=k_1$。将其代入显然有 $\gamma_1=a_1^{(1)}\gamma_0$ 成立；同时残差差值为 $E_0-E_1=\gamma_0(1-(1-k_1^2))=k_1^2\gamma_0=a_1^{(1)}\gamma_1$，命题 $\mathcal{P}_1$ 无疑成立。

现在进入关键的归纳飞跃：假设命题 $\mathcal{P}_{m-1}$ 在 $m-1$ 阶下完全成立。为了构造满足 $m$ 阶方程的新多项式，我们巧妙定义算子多项式更新：$A_m(z)=A_{m-1}(z)-k_mz^mA_{m-1}(1/z)$（这恰好对应于递推式 (3.8) 的第二与第三行），其中 $A_{m-1}(z)=1-\sum_{j=1}^{m-1}a_j^{(m-1)}z^j$。算子中引入的 $z^mA_{m-1}(1/z)$ 在代数本质上是将前一阶的系数进行了空间时间的反序排列。将这一反序结构代入卷积和 $\sum_j a_j^{(m)}\gamma_{i-j}$ 中，在内部阶数 $i<m$ 时，由于反序项与原始项之间具有精准的对偶共轭对称性，高阶扰动被完全消解，前 $m-1$ 个方程得以完美维系；而在边界阶数 $i=m$ 处，方程的闭合条件恰好要求分子分母满足式 (3.8) 中对反射系数 $k_m$ 的特定比值构造。最后展开残差定义式 $E_m=\gamma_0-\sum_{j=1}^ma_j^{(m)}\gamma_j$，借助归纳假设与 $k_m$ 的定义消去交叉项，即可化简得出优雅的能量衰减律 $E_m=E_{m-1}(1-k_m^2)$。$\square$

在我们的纯 Python 库实现中，ar.levinson_durbin 模块以极其精炼的代码完整映射了上述数学构造：

for m in range(1, p + 1):
    acc = r[m]
    for j in range(1, m):
        acc -= a[j] * r[m - j]
    k = acc / e
    ks.append(k)
    anew = list(a)
    for j in range(1, m):
        anew[j] = a[j] - k * a[m - j]
    anew[m] = k
    a = anew
    e *= (1.0 - k * k)

在单元测试套件（tests_ar.py）中，这一精巧的递推算法经受住了严格的数值检验：其计算结果与直接调用全主元高斯消元求解 Toeplitz 方程所得解之间的相对误差仅为 $1.1\times10^{-16}$，牢牢贴着 64 位双精度浮点数的机器精度极限；由递推链条计算出的残差方差与理论乘积 $\gamma_0\prod_m(1-k_m^2)$ 完全契合；导出的反射序列 $\{k_m\}$ 亦与数值偏自相关函数（PACF）分毫不差。

3.4 条件极大似然 = 最小二乘

尽管 Yule–Walker 方程在理论上极其优美，但它在本质上依赖于对经验自相关系数的截断估计，这等价于在有限时间窗口的两端施加了某种隐式的窗函数平滑，因而在小样本条件下会引入不容忽视的边界截断偏差。在动力学实验与实际时序建模中，更为普遍采用的估计方法是条件极大似然估计（Conditional MLE）。

在连续高斯扰动的设定下，我们将最初的 $p$ 个实验观测点 $x_1,\dots,x_p$ 作为系统的固定历史前置条件。从第 $t=p+1$ 时刻开始直至序列终点 $T$，所有观测点在给定历史下的条件对数似然可以严格写作：

$$p(x_{p+1:T}\mid x_{1:p};\phi,\sigma^2) =(2\pi\sigma^2)^{-\frac{T-p}{2}}\exp\Big[-\frac{1}{2\sigma^2}\sum_{t=p+1}^{T} \Big(x_t-c-\sum_{j=1}^p\phi_jx_{t-j}\Big)^2\Big].$$

我们对上述对数似然函数关于未知系数向量 $\phi$ 求偏导（暂将方差 $\sigma^2$ 视为标量常数）：

$$\frac{\partial \ell_c}{\partial \phi} =\frac{1}{\sigma^2}\sum_{t=p+1}^{T}\Big(x_t-c-\sum_{j=1}^p\phi_jx_{t-j}\Big) \underbrace{\begin{pmatrix}1\\x_{t-1}\\\vdots\\x_{t-p}\end{pmatrix}}_{u_t} =\mathbf{0}.$$

令导数等于零向量并移项整理，我们赫然得到了统计回归分析中最经典的正规方程（Normal Equations）：

$$\Big(\sum_t u_tu_t^{\top}\Big)\hat\phi=\sum_t u_tx_t \quad\Longleftrightarrow\quad \hat\phi=(X^{\top}X)^{-1}X^{\top}y, \tag{3.9}$$

在此回归构型中，设计矩阵 $X$ 的每一行即为滑动特征向量 $u_t^{\top}=(1,x_{t-1},\dots,x_{t-p})$，而响应变量向量即为当前时刻观测值 $y_t=x_t$。至此，我们揭示了一项极其朴素却极为强大的统计等价性：

在高斯平稳白噪声驱动下，自回归模型 AR($p$) 的条件极大似然估计，在数学与算法层面完全等价于将滞后变量作为自变量所实施的普通最小二乘回归（OLS）。

同理，对未知方差 $\sigma^2$ 求导并令其为零，即可解出稳态扰动方差的无偏估计量 $\hat\sigma^2=\frac1{T-p}\sum_t\hat\varepsilon_t^2$（即回归残差的均方和）。

深入对比 Yule–Walker 与普通最小二乘估计，从大样本渐近理论审视，当采样长度走向无限（$T\to\infty$）时，样本协方差矩阵的渐近极限为 $X^{\top}X/(T-p)\to R$，$X^{\top}y/(T-p)\to(\gamma_1,\dots,\gamma_p)^{\top}$，两类估计量具有完全一致的渐近收敛性。然而在有限样本的现实实验中，由于 OLS 直接根据局部滑动窗口计算残差而无需在序列首尾做零填充假设，其参数估计的有偏性往往显著小于 Yule–Walker。在后文的实验一实测中，当样本长度截断至极为严苛的 $T=30$ 时，OLS 给出的预测均方根误差（RMSE）为 0.1527，明确优于 Yule–Walker 的 0.1599。

3.5 谱密度：AR 模型心里那个"共振峰"

对于习惯了红外光谱（IR）、核磁共振谱（NMR）或紫外吸收光谱的化学物理学者而言，频域往往比时域更能揭示分子的本征构象。在数学物理视角下，一个平稳的 AR($p$) 动力学系统在本质上相当于一个全极点数字线性滤波器，它的内部特征深刻折射在系统的功率谱密度（Power Spectral Density, PSD）之中。

对自回归算子差分方程 (3.3) 的两端做离散时间傅里叶变换（定义复频率变量 $z=e^{2\pi i f}$，无量纲频率区间为 $f\in[-1/2,1/2]$），可以得到算子代数式 $A(z)X(z)=E(z)$，进而有系统频响函数 $X(z)=E(z)/A(z)$。由于驱动激励 $\varepsilon_t$ 是纯白噪声，其理论功率谱密度恒为平坦常数 $\sigma^2$；根据线性系统理论，滤波器输出信号的功率谱精确等于输入谱乘以系统传递函数模长的平方 $|H(f)|^2$，在此 $H(f)=1/A(e^{2\pi if})$。由此，我们直接导出了自回归过程的谱密度解析表达式：

$$S(f)=\frac{\sigma^2}{\big|A(e^{2\pi if})\big|^2} =\frac{\sigma^2}{\big|\,1-\sum_{j=1}^{p}\phi_je^{-2\pi ijf}\,\big|^2}. \tag{3.10}$$

在底层库实现中，ar.ar_spectrum 函数正是严格按照该公式执行：针对给定的离散频率网格点，在复平面内累加求取多项式模长的平方倒数。

为了建立与化学分子振动更直观的物理对应，我们不妨亲手推导二阶自回归模型 AR(2) 的解析手算形式。对于二阶特征多项式 $A(z)=1-\phi_1z-\phi_2z^2$，假定其特征方程具有一对共轭复根，将其极坐标形式记为 $z^{-1}=re^{\pm i\theta}$。根据韦达定理，系数与极坐标参量之间存在简明的代数关系：

$$\phi_1=2r\cos\theta,\qquad \phi_2=-r^2 .$$

此时，系统的谱密度峰值（即物理上的共振吸收峰）精准出现在无量纲共振频率 $f_0=\theta/2\pi$ 处。峰的尖锐程度与品质因数完全由极径 $r$ 掌控——当阻尼极径趋近于临界值 $r\to 1$ 时，分母在共振点逼近于零，功率谱密度趋向于无穷大，展现出强烈的单频共振峰。

这一推导揭示了后文实验 1B 的物理本质：一阶系统 AR(1) 仅包含单一的实数特征根，其谱密度函数 $S(f)$ 在零频 $f=0$ 处取得绝对单调极大值并向高频光滑衰减——在数学物理上，一阶自回归过程绝对不可能自发产生任何非零内部吸收峰，因而根本无力刻画任何真实的周期性阻尼振荡动力学；只有将模型阶数提升至 $p\ge2$，系统才拥有足够的自由度在复平面上孕育出一对共轭复根，从而捕捉体系固有的特征振荡频率。

在单元测试套件中，我们专门设计了数值验证：设定阻尼比 $r=0.95$、相位角 $\theta=2\pi\times0.2$，谱密度搜索算法定位到的共振峰位置为 $f_{\text{peak}}=0.1998$，与理论物理频率 0.2 达成了极高保真度。

3.6 一步预测与 $h$ 步预测的误差传播

在完成动力学系统的参数辨识之后，最直接的科学诉求便是推演未来状态。在最小均方误差准则下，一步条件预测由条件均值直接给出：

$$\hat x_{T+1}=\mathbb{E}[x_{T+1}\mid x_{\le T}]=c+\sum_{j=1}^{p}\phi_jx_{T+1-j}, \qquad \hat x_{T+h}=c+\sum_{j=1}^{p}\phi_j\hat x_{T+h-j}. \tag{3.11}$$

当我们需要向未来的遥远视界进行 $h$ 步前瞻推演时，自回归模型采用一种自食其果式的级联插补机制：所有排在当前已测范围之外的未知历史项，均被替换为模型在此前刚刚生成的预测期望值 $\hat x$。在代码库中，ar.ar_forecast 函数中的 hist.append(nxt) 逻辑正是这一机制的原生呈现。

这种循环迭代不可避免地引发了预测不确定性的跨步累积。借助线性算子展开，我们将逆滤波器 $(1-\sum_j\phi_jB^j)^{-1}$ 在时域展开为离散脉冲响应级数 $\psi_0=1$ 以及递推式 $\psi_k=\sum_{j=1}^{\min(k,p)}\phi_j\psi_{k-j}$。于是，$h$ 步预测误差具有清晰的随机积分形式：

$$x_{T+h}-\hat x_{T+h}=\sum_{k=0}^{h-1}\psi_k\varepsilon_{T+h-k}, \qquad \mathrm{Var}\big[x_{T+h}-\hat x_{T+h}\big]=\sigma^2\sum_{k=0}^{h-1}\psi_k^2 . \tag{3.12}$$

请格外注意方差公式中的初态项 $\psi_0^2\sigma^2=\sigma^2$。它向每一位数据科学家敲响了警钟：无论模型的拟合多么出神入化，预测步长多么微小，一步预测的理论均方误差下界永远受到不可消除的外生测量噪声方差 $\sigma^2$ 的绝对钳制。在实验一的连串动力学拟合中，我们测出的一步预测均方根误差为 0.0126，而我们在模拟中人为注入的高斯实验测量噪声标准差本身就是 $\sigma=0.01$——这意味着模型的预测能力已经无限逼近了物理理论的极限。这也从根本上解释了为什么在评估时序模型时，仅仅宣称“模型的 RMSE 非常小”毫无意义，我们必须将其与实验测量环境的本底噪声尺度 $\sigma$ 做严格归一化比对。

3.7 Burg 算法：短序列上的最大熵谱估计

如前所述，Yule–Walker 估计量在小样本上会对自协方差函数做某种阻尼平滑，在波谱学中这会导致相邻的双峰发生虚假合并，谱线线宽被严重人为拓宽。为了克服这一缺陷，约翰·伯格（John Burg）在信息论的最大熵准则（Maximum Entropy Spectral Analysis）下提出了一种激进的替代方案：彻底抛弃对自协方差函数的经验预估，直接在时域通过最小化前向预测误差与后向反向预测误差的能量和，逐阶递推解出反射系数。

对于阶数 $m$，分别定义前向残差序列与后向残差序列：

$$f_m(t)=x_t-\sum_{j=1}^{m}a_j^{(m)}x_{t-j},\qquad b_m(t)=x_{t-m}-\sum_{j=1}^{m}a_j^{(m)}x_{t-m+j}.$$

Burg 算法的优化目标是最小化两项预测误差在有效采样区间上的联合能量和：

$$\mathcal{J}_m=\sum_{t=m+1}^{T}\Big[f_m^2(t)+b_m^2(t)\Big].$$

利用格型滤波器（Lattice Filter）中前向与后向误差之间的标准耦合递推关系：

$$f_m(t)=f_{m-1}(t)-k_m b_{m-1}(t-1),\qquad b_m(t)=b_{m-1}(t-1)-k_m f_{m-1}(t),$$

将这两项代入目标函数 $\mathcal{J}_m$ 中，目标函数直接展开为关于反射标量 $k_m$ 的严密二次函数。求偏导数 $\dfrac{\partial\mathcal{J}_m}{\partial k_m}=0$ 并整理，即可解析解出无偏反射系数的经典闭式解：

$$k_m=\frac{2\sum_{t=m+1}^{T} f_{m-1}(t)\,b_{m-1}(t-1)} {\sum_{t=m+1}^{T}\big[f_{m-1}^2(t)+b_{m-1}^2(t-1)\big]} . \tag{3.13}$$

实现注记：代码数组对齐与数学下标 在底层 Python 实现（[code/ar.py::ar_burg](file:///Users/polyai/Desktop/飞书/自回归模型教程/code/ar.py#L420)）中，为了让前向残差与后向残差在单个循环内按相同下标 i 索引，数组通常存储为 f[i] = f_m(t) 与 b[i] = b_m(t-1)（对应 $t=i+1$）。此时分子内积直接写为 sum(f[i] * b[i])，读者在对照代码与数学公式时需留意这一离散存储层面的时间对齐技巧。

求得当前阶的反射系数后，模型系数的更新依然无缝套用 Levinson 递推架构 $a_j^{(m)}=a_j^{(m-1)}-k_ma_{m-j}^{(m-1)}$，残差方差亦按照 $E_m=E_{m-1}(1-k_m^2)$ 逐级耗散。

在科研实战中，Burg 算法具有两项极其显著的物理优势：

首先，借由经典的柯西–施瓦茨不等式（Cauchy–Schwarz Inequality），式 (3.13) 分子中的交叉互相关与分母中的自乘积和天然满足绝对约束 $|k_m|\le1$。这意味着 Burg 算法在数学机制上永远能够自发收敛至严格平稳的动力学多项式，研究人员在拟合时完全无需担心模型发生发散溢出。

其次，在有限长度的短数据序列上，Burg 算法所恢复出的谱峰显著比 Yule–Walker 更为锐利陡峭，频率分辨率极高。在实验一的严格对比中，当采样点数仅有 $T=30$ 时，Burg 算法解析出的共振峰高达到了 Yule–Walker 的 2.17 倍；只有当数据点数充裕扩张至 $T=200$ 以上时，两者的谱峰比值才逐渐收缩抹平至 1.11 倍。这一实证强有力地证明了为何在核磁共振（NMR）自由感应衰减（FID）信号解析、红外光谱去卷积以及微弱质谱信号检测中，最大熵 Burg 方法一直是实验物理与分析化学界不可动摇的经典工具。

需要提醒读者厘清一个长期存在的概念误区：由 Burg 算法计算出的反射系数 $k_m$，在有限样本尺度下绝不能等同于 Yule–Walker 方程中的样本偏自相关系数（PACF）。两者本质上代表了两种统计假设迥异的估计量（Burg 估计本质上是对前向与后向预测误差实施调和平均加权），只有在大样本极限 $T\to\infty$ 下，两者才在概率测度上收敛至同一确定数值。在我们的单元测试套件中，对同一组 AR(2) 真实模型重复抽样测试显示，两者之间的数值鸿沟随着数据长度的增加呈几何级数消退：在序列长度 $T=500$ 时两者的最大差距为 $0.0030$，在 $T=2000$ 时降至 $0.00077$，而在超长大样本 $T=20000$ 下则微缩至 $6\times10^{-5}$。

3.8 定阶：PACF 截尾、AIC、BIC

拥有了三种各具千秋的参数估计技术之后，摆在研究人员面前的另一道科学难题是如何科学确定模型的记忆深度——即阶数 $p$ 的合理选择。在时间序列分析与动力学建模中，有三类互为补充的诊断工具构成了标准的工作流。

首当其冲的是偏自相关函数（PACF）的几何截尾特性。根据时间序列理论，对于一个真实阶数为 $p$ 的平稳自回归过程，当滞后阶数 $m>p$ 时，其理论 PACF 将发生断崖式下跌并严格归零。在实验一中，我们展示了一阶差分动力学序列的 PACF 在跨过第 1 阶之后，数值立刻彻底坠入由 $\pm1.96/\sqrt{T}$ 划定的无显著性白噪声置信带之内（代码库中 ci_band 绘制的正是这条统计警戒线），从而为将模型定为 $p=1$ 提供了铁一般的统计学依据。

然而，仅凭肉眼观察图形截尾往往伴随着主观随意性，因而统计学界引入了基于信息论的显式惩罚准则。著名的赤池信息准则（Akaike Information Criterion, AIC）定义为 $\mathrm{AIC}=-2\ell+2k$（其中 $\ell$ 为最大对数似然，$k$ 为待估参数数量）。从大样本渐近视角看，AIC 在数学上等价于最小化未来一步预测的信息损失（Kullback–Leibler 散度），但其局限在于惩罚项力度较轻，随着样本量的扩张并不具备一致性收敛保障，在实际拟合中往往倾向于选出结构过于臃肿的高阶模型。

为了抵御过拟合的风险，**贝叶斯信息准则（Bayesian Information Criterion, BIC）**在惩罚项中强行引入了样本容量的对数因子：$\mathrm{BIC}=-2\ell+k\ln n$。由于其对自由参数的惩罚力度显著重于 AIC，BIC 在理论上具备强一致性，能够在大样本极限下以概率 1 挑出真实的动力学物理阶数。

在实际操作中，研究人员必须时刻警惕定阶准则在特定非理想数据下的失效陷阱。实验 1A 生动地揭示了一个经典误区：当直接在尚未平稳化的非平稳趋势序列上盲目运行 BIC 时，BIC 曲线会呈现无节制的单调持续下降。在此情形下，模型为了被动拟合宏观的单向漂移趋势，不得不将阶数一路推高至我们人为设定的搜索上限 $p=8$。然而一旦对数据实施一阶差分彻底消除漂移后，BIC 曲线在 $p=7$ 附近迅速呈现出平缓的谷底，PACF 亦干净利落地仅在第 1 阶展现显著性，动力学内在的真实因果阶数这才真相大白。

3.9 AR 与化学的接口：三条桥

行文至此，一些从事合成化学或材料设计的读者或许会产生疑问：这些源自时序统计学与信号处理的抽象方程，究竟与我们日常关注的分子结构、聚合反应以及光谱分析有着怎样的内在交集？事实上，经典自回归理论通过三座坚实的跨学科桥梁，与化学和材料科学深层交织在一起。

第一座桥梁，连接着离散时间序列与分子的一维链式语法（马尔可夫链）。 如果我们将式 (3.2) 中连续的高斯概率核，直接替换为有限离散字符表上的多项类别分布，一阶自回归过程 AR(1) 在数学形式上便丝滑地退化为化学信息学中经典的一阶马尔可夫链（Markov Chain） $p(x_t\mid x_{t-1})$。在实验 1C 中，我们直接对真实有机分子的元素书写序列展开建模：仅仅依靠一阶马尔可夫转移矩阵，模型对下一个化学元素的预测准确率就从平凡多数类基线的 0.326 跃升至 0.663，引入二阶记忆后进一步升至 0.696（对应 NLL 从 1.112 压低至 0.999 nat）。这以极具说服力的数字表明，分子结构底层的局域化学键合规则（如碳原子的饱和连结、杂原子的交替出现），天然契合于自回归条件转移的统计本质。

第二座桥梁，沟通了连续时间演化与宏观化学反应动力学。 在化工过程与机理研究中，经典连串反应 $A\xrightarrow{k_1}B\xrightarrow{k_2}C$ 的物料浓度微分方程群（通过经典的四阶龙格–库塔法 RK4 进行数值积分），本质上构筑了一条蕴含不可逆时间箭头的非平稳演化轨迹；而诸如布鲁塞尔振子（Brusselator）或 BZ 反应这类非线性自催化体系所诱导的极限环化学振荡，则构筑了一类带有固有共振频率的准周期轨道。这两类序列全都是从最纯粹的化学与物理第一性动力学机理中天然孕育而出的。将自回归分析置于这些轨迹之上，能够严密检验统计模型在多大程度上能够还原物理常微分方程的真实自由度。

第三座桥梁，则直通现代谱学与高通量仪器测量。 式 (3.10) 中推导出的自回归功率谱密度 $S(f)$，在微观物理与傅里叶光学意义上，与核磁共振（NMR）、红外光谱（IR）以及拉曼光谱中记录下的特征吸收谱线完全是一回事——它们在本质上均是对系统平衡态涨落二阶自协方差函数实施的傅里叶泛函映射。正因如此，自回归分析在现代化学界最具天然血统的应用阵地从来不仅限于单向的时间预测，而是从受到有限扫描时间限制与仪器热噪声污染的离散 FID 谱图数据中，高保真度、高分辨率地提取分子的超精细化学位移与动力学谱线峰宽。

---

4. 把自回归写进神经网络：NADE 与 MADE

4.1 为什么不能直接用一个普通 MLP

当我们试图摆脱线性模型的束缚，将深度神经网络强大的非线性拟合能力引入自回归生成框架时，最先遭遇的却是一道看似隐蔽的拓扑陷阱。

假设我们希望为一个 $d$ 维的二值分子指纹向量 $x\in\{0,1\}^d$（例如药物化学中广泛应用的 128 位 ECFP 拓扑指纹）建立生成模型。初学者最直观的冲动，往往是直接搭建一个经典的多层感知机（MLP）：将整个向量 $x$ 作为网络的底层输入，通过若干隐层的非线性变换后，在顶层直接输出 $d$ 个位于 $[0, 1]$ 区间内的激活概率，并顺理成章地用逐位独立伯努利分布的似然目标对网络进行端到端反向传播训练：

$$q_\theta(x)=\prod_{i=1}^d q_\theta(x_i),\qquad q_\theta(x_i)\ \text{由同一个无约束 MLP 并行给出}.$$

然而从统计物理与因果律的严苛视角审视，这个架构根本不是自回归模型。由于标准 MLP 的全连接层允许所有神经元之间充分通信，网络在计算输出层的第 $i$ 个分量时，其内部计算图在物理上完全可以“偷偷借道”高层权重，窥视到输入层中本属于未来的下游分量 $x_j$（$j>i$）的信息；更致命的是，顶层各个输出分量 $q_\theta(x_i)$ 之间是相互独立的标量，它们彼此之间没有任何显式的微观条件耦合结构。换言之，该模型在本质上退化为一个披着深度学习外衣的“各维独立假设”系统，它连分子指纹中两个最基本的亚结构位点是否“协同共存”都无法表达。在后文的实验四中，我们用实测数据证明了这一架构的苍白：在 128 位 ECFP 指纹建模中，各维独立的基线在留出测试集上的 NLL 高达 47.490 nat（折合 0.535 bit/位）；而真正具备自回归结构的 NADE 与 MADE 则能将其大幅压缩至 40.649 与 43.687 nat。

要想让神经网络真正蜕变为严格的自回归模型，就必须在网络内部架设起单向导通的“因果单向阀门”，在计算第 $i$ 个维度的概率时物理隔绝一切关于未来变量 $x_{\ge i}$ 的输入。在深度学习演进史上，解决这一因果隔离挑战主要涌现出了两种经典范式：一种是以 NADE 为代表的“共享参数但逐维累加激活”策略，另一种则是以 MADE 为代表的“将因果性直接固化于权重稀疏掩码”策略。

4.2 NADE：单隐层的自回归密度估计

作为神经自回归领域的拓荒之作，神经自回归密度估计器（Neural Autoregressive Distribution Estimator, NADE；Larochelle & Murray 2011）的极简单隐层构造虽然小巧，却极具启发性。

对于给定的二值输入向量 $x$，NADE 设置了 $H$ 个共享的隐层神经元。为了确保每一个输出概率仅依赖于已经观测到的前序历史，网络在隐层引入了一种阶梯式累积机制：

$$h_j=\sigma\Big(\sum_{i<j}W_{ji}x_i+c_j\Big), \qquad \hat p_i=\sigma\Big(\sum_{j\le i}W'_{ij}h_j+b_i\Big), \tag{4.1}$$

模型在全序列上的对数似然由此严格定义为逐位二值交叉熵之和：

$$\log p_\theta(x)=\sum_{i=1}^{d}\Big[x_i\log\hat p_i+(1-x_i)\log(1-\hat p_i)\Big]. \tag{4.2}$$

检验该系统的因果性机制，我们会发现其逻辑极其精密。考察式 (4.1) 左侧的隐层前向过程，第 $j$ 个隐单元的线性组合求和严格截断于 $i<j$ 之前，因此隐状态 $h_j$ 在信息论上仅仅是前序子集 $x_{<j}$ 的纯函数。再审视右侧的输出概率计算，预测分量 $\hat p_i$ 所动用的隐单元集合被严格约束在 $j\le i$ 的下三角区间内；而这些隐单元所依赖的原始输入集合全部包含于 $x_{<j}\subseteq x_{<i}$ 之中。由此严密保证了输出量 $\hat p_i$ 无论如何演化，都仅仅是已知历史 $x_{<i}$ 的合法泛函映射，式 (4.2) 由此在神经网络内部完美践行了定理 2.1 的自回归分解法则。

深入其反向传播的梯度动力学，若令输出线性对数几率为 $z^o_i=\log\frac{\hat p_i}{1-\hat p_i}$，二值交叉熵项与 Sigmoid 激活函数的复合导数呈现出极其优美的对偶差值形式：

$$\frac{\partial}{\partial z^o_i}\Big[-\log p_\theta(x)\Big]=\hat p_i-x_i\eqqcolon \delta_i . \tag{4.3}$$

沿着计算图向浅层逐级回溯，偏置向量与输出权重矩阵的解析梯度便自然显现：

$$\frac{\partial L}{\partial b_i}=\delta_i,\qquad \frac{\partial L}{\partial W'_{ij}}=\delta_i\,h_j\ \ (j\le i), \qquad \frac{\partial L}{\partial h_j}=\sum_{i\ge j}\delta_iW'_{ij}.$$

将误差信号反向穿透隐层的 Sigmoid 非线性激活（$\dfrac{\partial h_j}{\partial z^h_j}=h_j(1-h_j)$），即可闭式导出底层权重与隐层偏置的精确梯度表达式：

$$\frac{\partial L}{\partial c_j}=h_j(1-h_j)\sum_{i\ge j}\delta_iW'_{ij}, \qquad \frac{\partial L}{\partial W_{ji}}=x_i\cdot\frac{\partial L}{\partial c_j}\ \ (i<j). \tag{4.4}$$

在生成采样阶段，NADE 严格执行祖先采样：指标 $i$ 自 $1$ 递增至 $d$，每一步利用当前已经固化好的前序子串 $x_{<i}$ 计算单步概率 $\hat p_i$，随后独立抛掷一枚伯努利硬币完成单步状态坍缩，并将所得的新位点动态注入后续计算。

在代码库中，ar.NADE 类对式 (4.1) 至 (4.4) 进行了逐行映射。在单元测试（tests_ar.py）中，我们对全部 30 个网络参数实施了高精度的中心差分微商校验，解析梯度与数值差分的最大相对误差仅为 $3.5\times10^{-6}$。在可控玩具实验中，面对人为构造的“奇数位以 92% 概率强行复制偶数位”的强关联指纹数据，NADE 成功将独立基线的 6.768 nat 负对数似然暴降至 4.227 nat，对相关位点的条件预测准确率更是达到了惊人的 0.907，为神经网络学习微观因果依赖提供了极为干净的实证样本。

4.3 MADE：把因果性写进掩码

尽管 NADE 在理论上无懈可击，但其在工程实现上却存在一个天然的痛点：由于隐层与输出层之间的可见性范围随着维度逐步扩大，网络在形式上需要进行 $d$ 次梯级累加前向传播。为了摆脱这种逐维调用的束缚，掩码自编码器（Masked Autoencoder for Distribution Estimation, MADE；Germain et al. 2015）提出了一个极具颠覆性的构想：何不保留标准多层前馈网络的整体矩阵乘法架构，转而在权重连接矩阵上直接覆盖一张由 0 和 1 构成的二值稀疏掩码，使网络内部的所有信息流动路径在拓扑层面自动坍缩为一个不可逆的下三角漏斗？

MADE 的构造核心在于为网络中的每一个神经元赋予一个度数标记（Degree）。对于给定的 $d$ 维输入系统，各层单元的度数生成法则如下：

$$\mathrm{deg}(\text{输入 }i)=i,\qquad \mathrm{deg}(\text{输出 }i)=i-1,\qquad \mathrm{deg}(\text{第 }\ell\text{ 层隐单元})=\text{在 }[0,d-1]\text{ 上均匀随机离散取值}. \tag{4.5}$$

规定前驱层神经元 $j$ 与后继层神经元 $k$ 之间能否建立突触连接，完全受制于一道简单的代数单向阀门：

$$M_{kj}=\mathbb{1}\big\{\mathrm{deg}_k\ \ge\ \mathrm{deg}_j\big\}, \qquad \tilde W = W\odot M . \tag{4.6}$$

定理 4.1（MADE 因果拓扑隔离定理） 严格按照式 (4.5) 与 (4.6) 构造的掩码全连接网络，其输出层的第 $i$ 个节点标量 $o_i$，在泛函意义上仅仅是前序输入子集 $x_1,\dots,x_{i-1}$ 的严格函数。

证明. 考察从底层输入神经元 $j$ 抵达顶层输出神经元 $i$ 的任意一条可能的信息传导路径 $j\to k_1\to\cdots\to k_L\to i$。该路径在物理上能够导通并传递有效梯度的充分必要条件，是路径上每一条边所对应的二值掩码分量均严格为 1。根据连接准则 (4.6)，这意味着整条链条上的度数必须满足一系列单调不减的链式不等式：

$$\mathrm{deg}_{k_1}\ge\mathrm{deg}_j,\quad \mathrm{deg}_{k_2}\ge\mathrm{deg}_{k_1},\quad\dots,\quad \mathrm{deg}_i\ge\mathrm{deg}_{k_L}.$$

将这一连串偏序关系首尾串联，可直接导出宏观约束 $\mathrm{deg}_i\ge\mathrm{deg}_j$。此时代入式 (4.5) 中对输入层与输出层度数的特殊赋值约定，立刻得到：

$$i-1=\mathrm{deg}_i\ \ge\ \mathrm{deg}_j=j \quad\Longrightarrow\quad j\le i-1 \quad\Longrightarrow\quad x_j\in x_{<i}.$$

因此，凡是能够对输出节点 $o_i$ 产生任何扰动影响的底层输入节点，其空间指标 $j$ 必须严格小于 $i$。特别地，对于第一个输出分量 $o_1$，其度数为 $\mathrm{deg}_1=0$，而不等式 $j\le 0$ 在定义域 $j\in\{1,\dots,d\}$ 内无解，这意味着第一个输出节点完全切断了与底层所有输入维度的联系，其预测概率仅仅由顶层的无条件偏置标量全权决定，在物理上精准对应于系统的先验边缘分布 $p(x_1)$。$\square$

这一因果拓扑定理直接引出了两项深刻的工程与理论推论。首先是在训练阶段的计算爆发力：由于因果单向阀门已经完全固化在静态的掩码矩阵 $M$ 之中，计算机只需执行单次标准的深度矩阵乘法前向传播，即可在瞬间同时获得全部 $d$ 个维度的条件概率输出。全维度并行的训练优势，是 MADE 相对 NADE 最耀眼的飞跃。然而，第二项推论再次印证了因果律的铁腕约束：尽管训练过程被彻底并行化，推断阶段的采样却依然无法逃脱串行生成的宿命。由于输出分量 $o_i$ 紧密依赖于前序历史 $x_{<i}$ 的具体数值，而在无中生有的生成场景中，前序数值本身正等待着前一轮网络的采样坍缩，因此采样器依然必须按部就班地循环调用 $d$ 次网络前向。这一对偶现象清晰表明：掩码机制仅仅解放了观测数据已知时的并行评估效率，却无法逆转生成过程中由于因果相依所固有的物理串行性。

在反向传播实现层面，稀疏掩码的引入并没有打破链式法则的光滑性。由于掩码算子实质上是对静态权重施加 Hadamard 逐元素积，其对原始未掩码参数的梯度仅仅是将未受阻断的误差梯度投影回掩码空间：

$$\frac{\partial L}{\partial W}=M\odot\frac{\partial L}{\partial \tilde W}, \qquad \text{在双曲正切 }\tanh\text{ 激活下}:\ \ \delta^{(l)}=\big(1-(h^{(l)})^2\big)\odot\big(W^{(l+1)\top}\delta^{(l+1)}\big).$$

在代码库 ar.MADE._backward_accumulate 中，我们以极为干净的原生切片实现了上述逻辑。经过连续多轮的逐参数中心差分数值检验，二值输出与高斯连续输出的梯度误差分别被牢牢锁死在 $2.1\times10^{-6}$ 和 $2.7\times10^{-6}$ 之内。尤为值得称道的是，我们还在测试集中专门加入了一条结构恒等性断言：人为对任意输入分量 $x_j$ 施加剧烈的数值扰动，随后遍历监测所有满足 $i\le j$ 的输出节点 $o_i$——其实测变动幅度必须在浮点精度下严格为零。这一测试以最严酷的方式在数值层面为定理 4.1 提供了铁证。

4.4 连续输出：高斯与混合密度

现实世界的材料与化学体系不仅包含离散的指纹编码，更充斥着连续变化的物理化学描述符（如分子量、油水分配系数 $\log P$、极性表面积 TPSA 等）。为了将自回归神经密度估计拓展至连续实数空间，我们只需将 MADE 顶层的输出单元从单一的对数几率扩充为成对的均值与方差参数集合 $(\mu_i,\ \ell_i)_{i=1}^d$（其中为了数值优化稳定性，方差项通过对数形式参数化为 $\ell_i=\log\sigma_i^2$）。将这 $2d$ 个输出神经元的度数统一指派为 $\mathrm{deg}=i-1$，便得到了优雅的高斯连续型 MADE：

$$p_\theta(x)=\prod_{i=1}^{d}\mathcal{N}\big(x_i;\mu_i(x_{<i}),\ e^{\ell_i(x_{<i})}\big), \qquad \log p_\theta(x)=-\sum_{i=1}^{d}\Big[\frac{\ell_i}{2}+\frac{(x_i-\mu_i)^2}{2e^{\ell_i}}+\frac12\ln2\pi\Big]. \tag{4.7}$$

在此物理映射下，目标函数的解析梯度展现出极具物理直觉的阻尼形式：

$$\frac{\partial L}{\partial\mu_i}=\frac{\mu_i-x_i}{e^{\ell_i}}, \qquad \frac{\partial L}{\partial\ell_i}=\frac12\Big(1-\frac{(x_i-\mu_i)^2}{e^{\ell_i}}\Big). \tag{4.8}$$

在底层数值实现中，为了防止指数方差项在梯度初期发生数值溢出或方差塌陷，代码库对对数方差 $\ell_i$ 实施了坚固的 $[-8, 8]$ 区间梯度截断保护。

然而，在复杂化合物库中，某些物理连续指标往往呈现出多模态分布（例如在类药小分子库与片段化合物库中，分子量分布往往在低分子量与优势药效团处呈现出明显的双峰或多峰特征）。单一高斯假定在面对多峰体系时往往显得捉襟见肘，迫使我们将输出层进一步升级为高斯混合密度网络（Mixture Density Network, MDN）。此时，模型在每个维度上吐出 $K$ 个子高斯分量的混合系数、均值与对数方差三元组 $(\pi_{i,k},\mu_{i,k},\ell_{i,k})$：

$$p(x_i\mid x_{<i})=\sum_{k=1}^{K}\pi_{i,k}\,\mathcal{N}\big(x_i;\mu_{i,k},e^{\ell_{i,k}}\big), \qquad \sum_{k=1}^K\pi_{i,k}=1. \tag{4.9}$$

此时的反向传播推导需要引入分类 Softmax 的交叉导数项，但整个网络深层的稀疏掩码骨架与式 (4.6) 保持着高度的同构性。需要向算法架构师强调的一项核心法则是：归属于同一个维度 $i$ 的全部 $K$ 个混合高斯分量，在度数分配时必须无条件地共享完全相同的度数标记 $\mathrm{deg}=i-1$。任何试图为同一维度的不同混合头指派差异化度数的做法，都将不可逆地在网络深层撕开一道信息泄漏的裂口，彻底摧毁全图的因果自回归性。

4.5 变量顺序：MADE 的"自由度标记"就是它选择的顺序

回顾式 (4.5) 的构造，研究者会敏锐地发现：我们在输入层按部就班赋予的度数序列 $0,1,\dots,d-1$，在本质上已经强行替模型选定了一条特定的因果演化次序。

在材料与化学信息学领域，经验主义常常引导人们相信“应当按照化学领域直觉来排布变量顺序”。例如在共聚物链中按主链骨架延伸排布，在蛋白质残基中按 N端向 C端排布，在分子物理化学性质中按照“分子量（粗粒度主干）$\to \log P$（疏水性）$\to$ 极性表面积（静电特征）”这样由宏观到局域的逻辑排布。这种专家先验并非毫无根据：当上游物理量确实对下游物性构成强力热力学支配时，顺应因果流动的顺序往往能大幅降低神经网络拟合复杂反演映射的认知门槛。

然而在缺乏确凿因果链的高维抽象特征中，这一先验却经常遭遇挑战。在后文的实验四中，我们面对 128 位的 ECFP 拓扑指纹，对比了经典的原始哈希位序与两组纯随机打乱的排列组合。实验结果令人深思：原始哈希顺序的模型测试集 NLL 为 43.69 nat，而两组随机置换给出的测试集表现分别为 42.75 nat 与 43.46 nat——随机生成的拓扑顺序不仅完全没有恶化模型的建模质量，其中一组甚至反超了所谓‘标准顺序’近 1.0 nat 之多。这一强烈的实验对照为我们确立了一条严谨的方法论底线：唯有在确知变量之间存在决定性的单向物理因果机制时，人工干预顺序才能带来确凿收益；而在绝大多数高维表征任务中，变量顺序本质上是一个极其关键的超参数，必须交给留出测试集的客观似然去决断。

4.6 与标准化流的关系：MAF

当我们将第 2.2 节所推导的三角 Jacobian 几何图像与深度神经网络深度咬合时，自回归技术便水到渠成地演进为现代生成模型中的另一大显赫流派——掩码自回归流（Masked Autoregressive Flow, MAF；Papamakarios et al. 2017）。

设目标复杂物理数据 $x\sim p_X$ 是由一个服从各向同性标准高斯基分布的潜空间潜变量 $z\sim\mathcal{N}(0,I)$ 经过连续可逆仿射变换生成的：

$$x_i=\mu_i(z_{<i})+\sigma_i(z_{<i})\cdot z_i \quad\Longleftrightarrow\quad z_i=\frac{x_i-\mu_i(x_{<i})}{\sigma_i(x_{<i})}, \tag{4.10}$$

在此体系中，平移向量 $\mu_i$ 与尺度缩放向量 $\sigma_i$ 完全由一个底层的深度高斯 MADE 神经网络统一参数化吐出。借助式 (2.3) 中下三角 Jacobian 行列式等于对角线乘积的优美特性，该可逆坐标流动的对数似然具有极其平易的闭式解：

$$\log p_X(x)=\log p_Z(z)-\sum_{i=1}^{d}\log\sigma_i(x_{<i}). \tag{4.11}$$

深入剖析 MADE 与 MAF，两者在数学本质上展现出了一种令人叹为观止的镜像对偶性：

	MADE（直接密度模型）	MAF（自回归规范流）
网络输出目标	数据空间条件分布的均值/方差参数	可逆几何变换的尺度伸缩与平移位移
对数似然评估	逐层直接评估，一次网络前向全并行	借助变量替换公式计算，一次前向全并行
推断采样生成	串行展开，必须经历 $d$ 次网络调用	潜变量到数据映射并行，单次前向全部出图
密度逆向推演	前向一步完成	需要求逆反算潜变量，回退为串行递推

这一对偶图景深刻揭示了计算维度的“守恒定律”：到底谁能并行、谁必须串行，完全取决于信息流动从潜空间通往数据空间的物理方向。MAF 换取了生成采样时无与伦比的单步并行爆发力，其代价则是牺牲了从未知样本逆推潜变量坐标时的计算速度。

需要特别向从事计算化学实践的研究人员指出的是，在广泛使用的开源库 DeepChem（dc.models.torch_models.normalizing_flows_pytorch.NormalizingFlow）中，其目前内置提供的流变换主要由标准仿射流（Affine）与实数可逆实值非体积保持流（RealNVP）构成，其内部结构中并不包含保障自回归严格因果性的 MADE 拓扑掩码。换言之，DeepChem 现存的流模型属于“仿射耦合流”范畴而非真正的 MAF。本教程在此清晰推导出 MAF 的理论骨架，但严谨起见，并未在后续实验中将 DeepChem 这一缺失掩码的组件硬套为自回归模型——在严谨的科学探索中，准确界定算法的边界与理论血统，远比含混其辞的概念套用重要得多。

---

5. 序列上的自回归：从 n-gram 到注意力

在化学信息学与材料基因组工程中，绝大多数研究对象都天然具备某种一维离散序列的形态：无论是用以唯一标识分子图拓扑的 SMILES 字符串、描述共聚物主链单体镶嵌顺序的嵌段序列，还是有机合成逆反应方程式、表征无机晶体相组成的化学式。

当我们回顾第 1 章提出的核心命题式 (1.1) 时，会发现整部现代序列深度学习的发展史，本质上就是一部围绕这一公式所展开的“四代参数化函数逼近”的学术演进史。这一谱系中的所有流派，无一例外地继承了完全一致的概率分解定理、归一化特性与串行采样律，它们彼此之间的代际跃迁，仅仅聚焦于攻克两个核心痛点：其一是如何突破有限上下文窗口的记忆牢笼，捕捉跨越几十甚至上百个字符的长程化学拓扑依赖；其二则是如何摆脱时间维度的串行循环锁死，让万亿参数的模型在现代超级计算集群上实现最大化并行吞吐。

5.1 离散 n-gram：AR(1) 的另外一个名字

若将时间回拨至统计自然语言处理的早期，对离散序列最质朴的自回归参数化当属离散 n-gram 统计模型。

给定一个由 $V$ 个基本化学符号构成的有限字符字典，最简易的一阶马尔可夫转移核（即二元模型 Bigram）直接基于频率学派的极大似然计数来定义：

$$p(x_t\mid x_{<t})=p(x_t\mid x_{t-1})=\frac{N(x_{t-1},x_t)}{N(x_{t-1})}, \tag{5.1}$$

其中 $N(\cdot)$ 代表特定字符对在整个训练分子库中协同出现的频次计数。若将历史依赖阶数适度拓宽至 $k$ 步，便得到了经典的高阶条件分布 $p(x_t\mid x_{t-k:t-1})$。

从实用主义的视角审视，这种查表式的模型有着极其清晰的透明度：其训练过程无需进行任何昂贵的梯度反向传播，仅仅是对离散事件的频率统计，且每一个条件概率输出都具备绝对无歧义的统计可解释性。然而在微观表达力上，n-gram 模型很快撞上了两堵不可逾越的高墙。第一堵墙是离散状态空间的组合爆炸：一个典型的 SMILES 字符表通常包含约 32 个有效符号，若要将记忆视界拓展至仅有 8 个字符的局域短链，模型需要分配并存储的潜在状态参数量便暴涨至 $32^8\approx 1.2\times 10^{12}$，这在内存与统计样本充分性上是完全无法承受的；随之而来的第二堵墙则是数据稀疏性引发的概率坍塌：在有限的高通量分子库中，绝大多数稍微长一点的连续原子排列模式从未被观测过，导致未见片段的经验概率被粗暴地指派为零，迫使研究者不得不发明极其繁复的人工平滑与退避（Smoothing/Backoff）规则来缝补模型。

然而，在计算化学领域，我们绝不能武断地将 n-gram 视为过时的淘汰品。在后文的实验 1C 中，当我们将一阶马尔可夫模型置于 Delaney 有机分子的真实元素序列（仅包含 13 个常见元素符号）之上时，令人惊叹的数据浮出水面：仅仅依靠前一个相邻原子的极简信息，模型对下一个化学元素的预测准确率便从多数类盲猜基线的 0.326 暴增至 0.663，进一步引入二阶记忆后则稳步攀升至 0.696（对应 NLL 从 1.112 显著降至 0.999 nat）。这一事实向我们传递了两条具有重大化学启示的结论：其一，由于有机化学有着严格的八隅体价键规则与杂原子局域配位倾向，分子序列的局域微环境展现出极强的确定性先验；其二，准确率在 0.70 附近遭遇的硬性天花板亦冷峻地指出，剩下的 30% 结构不确定性（例如分子长链远端的闭环编号配对、深层嵌套的支链收尾）深嵌在更长维度的全局拓扑之中——这正是必须由现代深度神经网络接管这一任务的根本动因。

5.2 本教程的实现：位置窗口神经自回归（NeuralAR）

为了在坚持“纯 Python 原生实现、杜绝 NumPy 任何黑盒封装”的严苛约束下，依然能够让计算在个人电脑 CPU 上流畅运转，同时确保模型严格符合自回归因果律，本教程自主设计并实现了一个轻巧却极具表现力的位置窗口神经自回归模型（NeuralAR）。

模型选定了一个固定长度为 $k$ 的局部滑动感知窗口，其微观前向数学动力学定义如下：

$$e_t=\sum_{j=1}^{k}E_j\big[x_{t-j}\big],\qquad h_t=\tanh(W_1e_t+b_1),\qquad z_t=W_2h_t+b_2,\qquad p(x_t\mid x_{<t})=\mathrm{softmax}(z_t). \tag{5.2}$$

在此构造中，$E_j\in\mathbb{R}^{V\times D_e}$ 是一组精心设计的位置专属嵌入矩阵（Position-Specific Embedding Tables）：距离当前预测点紧邻的前 1 步原子、前 2 步原子直至前 $k$ 步原子，各自在内存中拥有独立分配的物理表征空间。这种设计赋予了特征融合向量 $e_t$ 极其敏锐的时空定位感知，使其能够清晰区分“哪一个官能团紧贴着当前碳原子，哪一个原子则位于远端”。在默认超参数配置下（词表尺寸 $V=32$、窗口跨度 $k=8$、嵌入维度 $D_e=32$、隐层神经元 $H=64$），整个网络仅包含微小的 12 384 个待学习参数，却在 900 个真实有机小分子的严苛验证集上，成功将困惑度大幅压制到令人瞩目的 3.0 之内（见第 8.2 节）。

其对应的整体训练目标严格契合上一章推导的式 (2.4)，即全样本交叉熵和：

$$\mathcal{L}=-\frac1N\sum_{n=1}^{N}\sum_{t=1}^{T_n}\log p_\theta\big(x^{(n)}_t\mid x^{(n)}_{t-k:t-1}\big). \tag{5.3}$$

面对这个质朴的滑动窗口设计，一些习惯了复杂现代架构的研究者可能会质疑：“这种粗暴截断历史窗口的算法，在严格意义上真的还能被称为自回归模型吗？”答案是斩钉截铁的。回顾第 1 章对自回归的纯粹数学定义，式 (5.2) 中的所有预测输出 $z_t$ 在计算依赖上严格且仅仅受制于历史变量子集 $x_{t-k},\dots,x_{t-1}\subseteq x_{<t}$。因此，式 (1.1) 的因果链式分解在这里毫发无损，定理 2.2 的全局归一化保证坚如磐石，定理 2.3 的祖先采样无偏性亦毫无瑕疵。滑动窗口跨度 $k$ 的大小，仅仅是在模型表达力与过拟合风险之间权衡的一项工程超参数，它限制的是模型视界所能触达的物理记忆跨度，而丝毫不会动摇其身为纯正自回归模型的理论血统。

5.3 循环网络：把窗口换成隐状态

固定窗口模型的宿命短板，在于其记忆被机械地焊死在 $k$ 步之内。一旦超出这个狭隘的视野，排在 $k+1$ 步之前发生的所有关键化学事件（例如在 20 个字符之前悄然打开的一个苯环或内酯环）便彻底隐入虚无。

为了在原则上赋予模型跨越任意时间尺度的记忆潜能，循环神经网络（RNN）采取了一种动态压缩的状态机哲学：它彻底摒弃了对外部滑动窗口的依赖，转而在网络内部维持一个随着时间流逝不断自我吞吐演化的隐状态连续向量（Hidden State） $h_t$：

$$h_t=\sigma\big(W_{hh}h_{t-1}+W_{xh}x_t+b_h\big),\qquad p(x_{t+1}\mid x_{\le t})=\mathrm{softmax}(W_{hy}h_t+b_y). \tag{5.4}$$

在理想的理论假设下，隐变量 $h_t$ 如同一个高密度的信息黑洞，将序列诞生以来的全部历史轨迹有损地压缩在固定维度的几何向量之中。然而在真实的数值动力学中，由于反向传播梯度在沿着长长的时间轴反复穿透非线性雅可比矩阵时，必然不可避免地遭遇指数级的梯度弥散与爆炸，常规 RNN 在面对跨度超过 10 至 20 个步长的时间距离时，其长程调控能力便会发生严重的不可逆衰减。在 SMILES 这一特殊的分子语言中，表征分子骨架闭环的数字标识（如 C1...C1）以及长支链的括号嵌套，往往需要横跨 20 至 40 个字符才能实现拓扑闭合，这正是现代化学语言模型必须依赖门控循环结构（LSTM/GRU）或者更强劲的注意力机制才能稳定生成合规分子的内在根源。

5.4 因果卷积：并行训练的第一种做法

然而，循环神经网络那看似迷人的递归隐状态机制，在现代超大规模计算工程面前却撞上了一堵致命的高墙——串行时间依赖（Sequential Bottleneck）。由于第 $t$ 个时刻隐状态 $h_t$ 的计算必须以前一时刻 $h_{t-1}$ 的彻底完成为先决条件，即便在训练阶段所有历史真值完全给定的完美场景下，GPU 阵列也无法跨越时间步实施大规模的张量并行。

针对这一算力瓶颈，以 WaveNet 为先锋的因果卷积神经网络开辟了一条崭新的拓扑路线。其核心杀手锏是引入了空洞因果卷积（Dilated Causal Convolution）：

$$h^{(l)}_t=\phi\Big(\sum_{d\in\{1,2,4,\dots,2^{L-1}\}}\sum_{\delta=0}^{k-1} W^{(l)}_{d,\delta}\,h^{(l-1)}_{t-d\delta}\Big). \tag{5.5}$$

在这种结构中，卷积核被强行剥夺了向右侧（未来时间步）滑动的权力，仅仅向左侧单向汲取历史上下文，从而在卷积拓扑中严格保住了因果单向性；更精妙的是，随着网络层数 $L$ 的递增，各层的采样步幅（Dilation Rate）按 $2$ 的指数幂次方呈几何级数膨胀。这使得网络的**物理感受野（Receptive Field）**随着网络深度呈现惊人的指数级扩张（$O(2^L)$），用极浅的卷积层级便能横扫上千个时间步的长程历史。由于各时间步之间的特征映射在空间上不再包含循环闭环，在训练时全部时间序列可以如同处理一张二维图像一般，通过极其高效的标准卷积算子在计算设备上一键全域并行。这是自回归生成模型向大规模分布式深度学习迈进的第一座关键里程碑。

5.5 自注意力与因果掩码：GPT 的做法

然而，因果卷积网络的信息流动依然受制于固定的几何网格连接。在分子拓扑学中，一个相隔 30 个字符的跨周期相互作用，其地位往往远远重于相邻几个非关键碳氢原子的局域堆叠。为了实现真正意义上的“动态全局寻址”，以 Transformer 和 GPT 为代表的现代自注意力机制（Self-Attention）成为了终极方案。

自注意力机制通过点积相关性动态计算全序列内部任意两个原子标记之间的关联强度，而其维系自回归因果律的法宝，则是部署在注意力权重矩阵上的因果加性掩码（Causal Mask）：

$$\mathrm{Attn}(Q,K,V)=\mathrm{softmax}\Big(\frac{QK^{\top}}{\sqrt{d_k}}+M\Big)V, \qquad M_{tj}=\begin{cases}0,& j\le t\\-\infty,& j>t\end{cases} \tag{5.6}$$

在实际工程落地时，为了避免浮点溢出，矩阵中的负无穷分量通常采用极小常量（如 $-10^{9}$ 或 PyTorch 的 masked_fill）予以替代。

当我们抽丝剥茧，将式 (5.6) 中的因果掩码矩阵 $M$ 与第 4.3 节中 MADE 网络的稀疏掩码 $M_{kj}$ 放在一起审视时，会发现它们在数学拓扑上呈现出令人惊叹的完全同构性：两者的终极使命，都是在张量乘法中强行构筑一道信息单向阀门，使得未来维度的激活无法逆流污染当前的因果预测。然而在具体的表征机制上，两者却展现出了代际的飞跃：

MADE 内部的权重掩码是静态的且逐神经元固化的，其连接拓扑在初始化指派后便恒定不变，网络只能死板地读取度数严格小于自身的那一簇固定输入；而 GPT 的因果掩码则是动态的且逐输入自适应重加权的。在保证时间箭头不发生逆流的前提下，第 $t$ 个位置的原子究竟将多少注意力权重分配给前序历史中的哪一个关键基团（例如，一个待闭合的末端环编号可以直接将 90% 以上的注意力权重跨越几十个字符精准投射至与之配对的开环原子之上），完全由分子数据自身在相空间中的动态内积来决定。这种超越欧几里得距离的直接拓扑跳跃，赋予了现代语言模型理解复杂分子立体化学的非凡能力；而其对应的代价则是，自注意力矩阵计算的显存与时间复杂度与序列长度呈现昂贵的二次方依赖关系（$O(T^2)$）。

5.6 四代参数化对比

我们将贯穿自回归百年演进史的四代经典参数化框架横向并列于同一视野之下。透过复杂的网络名词，它们所共享的自回归灵魂与各自独特的工程妥协一览无余：

参数化形式	局域条件依赖函数的构造形式	理论与实用记忆跨度	训练阶段并行度	采样阶段复杂度	化学与材料领域的典型应用场景
离散 n-gram / 马尔可夫	统计共现查表，频率极大似然	$k$ 阶严格固定，无法外推	完全并行（矩阵查表）	逐位串行	元素共现基线、局域价键合理性初筛（实验一）
经典线性 AR($p$)	滞后变量的线性组合叠加白噪声	$p$ 阶严格固定，全极点滤波	完全并行（闭式最小二乘）	逐位串行	反应动力学拟合、谱线峰宽与共振解析（实验一）
掩码网络 NADE / MADE	稀疏权重掩码约束下的前馈 MLP	拓扑度数可达全域，记忆受限	NADE串行 / MADE全并行	逐位串行	分子指纹概率密度、物理化学描述符联合分布（实验四）
循环网络 RNN / LSTM	隐状态跨时间非线性递推流动	理论无限长，实际受制于梯度衰减	严格串行（时间锁死）	逐位串行	传统 SMILES 分子生成、聚合物重复单元设计（实验二/三/五）
空洞因果卷积 WaveNet	感受野指数级倍增的单向卷积	$O(k^L)$ 几何尺度的大感受野	完全并行（全域卷积）	逐位串行	材料周期性晶格序列、长程连续谱图生成
因果自注意力（GPT）	动态软对齐机制叠加因果上三角掩码	理论与实用全序列动态直达	完全并行（注意力矩阵）	逐位串行	分子大型生成模型、分子反应机理预测 Transformer（实验八）

在通读全章之后，有一项最具普适性的规律需要读者牢牢铭刻在心：

所有的自回归模型，无论其参数化结构多么复杂多变，其在计算图上永远共享着同一个根本特征：训练时可以完全并行，采样时必须严格串行。

在训练阶段，得益于教师强制（Teacher Forcing）机制，所有未来的真实上下文 $x_{<t}$ 都是白纸黑字已知的数据，因此全序列长为 $T$ 的各个位置可以毫无顾忌地通过掩码或批量矩阵一次性完成损失计算；然而在生成未知的采样阶段，由于第 $t$ 步所需要的条件上下文正等待着由第 $t-1$ 步的模型自身概率坍缩之后方能给出，信息因果流动的单向性铁律，注定了计算机必须一步一个脚印地串行推演。

---

6. 化学与材料里的自回归：四个战场

当自回归这一源自数学与计算机科学的通用理论被移植到材料与化学的研究土壤中时，它所遭遇的挑战与取得的突破，绝非简单的“调参”二字所能概括。化学实体有着严苛的立体几何、微观对称性与守恒定律约束。在这一章中，我们将聚焦自回归模型在化学界的四个标志性前沿阵地，层层剖析当概率语言模型直面分子图论、高分子多分散性、有机反应机理以及无机晶体相组成时所展现的巨大魅力与深刻裂痕。

6.1 为什么 SMILES 特别适合自回归

在计算化学界，简化分子线性输入规范（Simplified Molecular Input Line Entry System, SMILES；Weininger 1988）几乎成为了分子生成领域的通用货币。从形式语言学的视角来看，SMILES 本质上是一种基于广度或深度优先遍历、将三维分子图强行“展平”为一维字符串的受限上下文无关文法（Context-Free Grammar）。

在这套文法体系中，支链通过配对的圆括号 (...) 加以嵌套界定，开环与闭环通过成对出现的整数标签（如苯环两端的 1）予以咬合，芳香共轭体系由小写字符标识，而不同原子间的单双三键则直接映射为相邻字符的连接形式。极其微妙的一点在于：这套复杂的化学文法约束，在很大程度上展现出显著的局域相关性。判断第 $t$ 个字符在化学语法上是否成立，计算机大多数时候并不需要遍历数千个字符外的全局宏观状态，而仅仅需要追踪前序几十个字符内的局部微环境——例如当前堆栈中尚有几个未完成闭合的开括号、是否有处于悬空孤立状态的开环序号、上一个主链碳原子是否已经饱和等。

自回归模型那种沿着序列单向滑动的因果条件概率分布 $p(x_t\mid x_{<t})$，在形式上天然契合了这种局部状态机演化的需求。神经网络的隐状态或注意力和向量，正好能够作为动态的化学缓存器，隐式地记录并更新未闭合的括号数与不饱和度。在后文的实验二中，我们仅仅动用了一个包含 12 384 个参数的轻量级字符级模型，在仅有 900 个真实有机小分子的袖珍数据集上训练后，采样生成的分子便达到了 35% 的 RDKit 化学可解析率，同时展现出 0.89 的高唯一率与 0.34 至 0.55 的可观新颖率。

然而，每一个有志于从事智能分子设计的学者都必须时刻保持清醒的学术批判性：35% 的语法有效率，同时冷酷地宣告了每三个被生成的序列里，就有整整两个在化学意义上完全是无法解析的垃圾。这绝非模型代码实现中潜藏了什么缺陷，而是因为纯粹的语言模型在物理本质上只学会了局部的“字形语法拼接”，却对深层的原子价态配对能量曲面与热力学构象稳定性一无所知。

6.2 顺序不变性：自回归模型在分子上最大的理论缺陷

如果说局部语法契合度是自回归模型进军分子领域的通行证，那么**分子的顺序不变性（Permutation Invariance）**则是其在图论与热力学理论上始终无法自洽的致命阿喀琉斯之踵。

对于同一个客观存在的分子三维拓扑构型，根据起始遍历原子的选择与支链展开顺序的不同，SMILES 语法允许其衍生出多种完全合法的线性字符串。以最基础的乙醇小分子为例，化学家可以用多种等价形式将其写入文件：

  CCO        乙醇（标准直链书写）
  OCC        同样是乙醇（自氧原子逆向遍历）
  C(C)O      仍然是乙醇（将甲基视为侧基分支）

在分子的真实物理图论空间中，这三种书写方式对应着同一个无向图节点与边的完全相同的邻接矩阵；然而，自回归模型在本质上是对一维离散符号序列实施分布建模，在其机械的眼眸中，这三串字符被视作三个互不相干、占据独立坐标位置的离散样本。根据全概率公式，模型赋予真实“乙醇分子”的总概率质量，被迫在后台发生了不可逆的相空间耗散：

$$p_\theta(\text{乙醇})=p_\theta(\texttt{CCO})+p_\theta(\texttt{OCC})+p_\theta(\texttt{C(C)O})+\cdots \tag{6.1}$$

这种概率质量的人为稀释，在实践中引发了三重严重的连锁反应。

其一是客观评估体系的严重失真。当研究者试图依据留出集上的负对数似然（NLL）对两个生成架构分出高下时，计算出的绝对数值往往不再纯粹反映模型对分子物理化学特性的捕捉精度，而是剧烈依赖于训练语料库在录入时究竟偏向于哪一种特定的前处理书写风格。在建立规范的基准体系时，唯一可行的补救操作是在训练前必须动用 RDKit 等底层化学信息学引擎将所有分子强制转换为唯一正规化的规范 SMILES（Canonical SMILES）并执行全局拓扑去重（在本教程中，ESOL 原始的 1128 个分子经规范化去重后精准收敛为 1120 个唯一分子结构）。

随之而来的其二是生成空间的隐式自重叠与多样性误判。在推断阶段的祖先采样中，模型很可能在不同的采样温度下分别吐出了 CCO 与 OCC。若仅仅依据字符串字面值做哈希判重，算法会误以为发现了两个新颖的分子结构，从而显著高估了采样物种的唯一率，掩盖了模型在微观化学多样性上的贫乏。

其三是有效探索算力的巨大空耗。由于庞大的多对一映射关系，神经网络有限的学习容量被大量耗费在强行记忆同一拓扑的不同排列同义词之上，使得生成器对未知化学大分子流形的探索效率遭受了隐性的重大折损。

针对这一理论缺陷，当代学术界提出了三种渐进式的突围路径。最直接的工程防御是引入随机化 SMILES 增强（Randomized SMILES Data Augmentation）：在每一个训练周期中，人为为同一个分子实时随机生成一种非规范的书写遍历路径，借此作为无监督数据增强，强迫网络打破对特定局部书写习惯的刻板过拟合。更高维度的解决方案是引入语法约束解码（Grammar-Constrained Decoding），在每一步生成前向传播时借助形式语法状态机动态修剪非法的 Softmax 候选集，从而一举抹去那 65% 的无效语法空耗。而最具变革性的终极方案，则是彻底推翻一维序列的形式主义假设，直接转向内生具备置换不变性的分子图生成架构（如 GraphAF、GraphRNN），或是基于连续三维欧氏空间对称性群（SE(3) 等变）的扩散去噪网络。

然而，在明知其面临概率稀释缺陷的背景下，化学界为何始终不愿彻底割舍自回归模型？其根本原因在于：直到今天，自回归模型依然是全宇宙中唯一能够同时完美兼顾（a）绝对精确且闭式可算的对数似然、（b）完全免除高维状态空间配分函数求和的免费归一化、以及（c）在分子片段生长中零成本直接实施条件推断的生成范式。这一系列无可替代的优异禀赋，使得它在理性药物设计与定向衍生中依旧保有极高的学术地位。

6.3 聚合物：序列这一刀，值得切在哪里

当研究者的视线从小巧精致的药物小分子，拓展至应用于有机太阳能电池、导电塑料及高性能弹性体的高分子聚合物体系时，自回归模型遭遇了更为险峻的跨尺度深渊。

不同于结构明确的单一有机小分子，高分子给基于因果切分的自回归模型设下了三重严酷的物理关卡：

首当其冲的是最小重复单元（Repeating Unit）拓扑切分的多义性困境。对于一段结构交替的共聚物主链，化学家可以任意选取不同的官能团断裂位点作为其结构单元的描述起点。同一种物理聚合物在文献中往往存在数种同样合理的“单体单元”切分写法，这使得一维序列的起始端点缺乏天然的物理客观性。

更为严峻的第二道关卡在于尺度维度的极端非对称性——超长的字符跨度与极度匮乏的实验样本库并存。对于由 $N$ 个单体嵌段随机聚合而成的共聚物，理论上潜在的序列拓扑可能达到 $2^N$ 种极其庞大的组合空间；然而在现实世界中，由于高分子合成纯化、凝胶渗透色谱（GPC）测定与光电物性测试的成本高昂，材料研究者手中往往只能握有几十到几百个高质量的实测聚合物样本。

最后，高分子材料的宏观功能特性（例如光电转换效率 PCE、光学带隙、载流子迁移率等）本质上是单体微观序列排布、宏观化学计量比、空间立构规整度以及高分散分子量分布（$M_w/M_n$ 多分散指数 PDI）的深层多体非线性联合泛函。试图将如此宏观的连续热力学特性完全寄托于一维 SMILES 字符串的字符级局域预测，无疑是一场艰苦的跨尺度探险。

在本教程中，我们引入了哈佛有机光伏数据集（HOPV）中的 220 个真实聚合物给体材料（construction == "polymer"）作为极端研究对象。在 HOPV 总计 350 个体系中，这 220 个聚合物展现出了与常规小分子截然不同的数据面貌：其平均 SMILES 序列长度呈倍数级跃升，而实验带隙与光伏效率标签的数据收集代价极高。在后文的实验五中，实测数据将生动展示：面对这种“样本极度微小、序列极为冗长”的极端材料体系，无条件自回归生成模型在有限容量下几乎无法自发收敛；在现代材料基因工程中，更为务实的技术路线是将自回归网络下沉为局域的条件密度估计器（如第 4 章详述的高斯 MADE），或是与主动学习相结合走“高保真性质回归判别结合微量定向生成”的复合技术路线。

6.4 反应预测：同一件事，但条件是另一条序列

如果将分子的自主生成视为在空白画布上的单向书写，那么计算机辅助有机合成路线规划中的前向反应产物预测，则代表了自回归模型在序列到序列（Sequence-to-Sequence）条件生成任务中的典型应用。

在数学形式上，该任务被严格定义为一个以反应物和催化剂混合物序列为前置条件的自回归解码过程：

$$p(\text{产物}\mid\text{反应物})=\prod_{t=1}^{T}p\big(y_t\mid y_{<t},\ \text{反应物}\big). \tag{6.2}$$

在此双阶段架构中，编码器首先将包含前体原料与反应条件的字符串深度压缩为一个稠密的全局潜在物理语义张量，随后解码器网络接管因果控制权，逐个 Token 地自回归吐出产物分子的每一个基团字符直至终止符（在后文实验八中，我们依托 DeepChem 的 SeqToSeqModel 完整再现了这一机制）。

在现代计算有机化学的前沿文献中，著名的 Molecular Transformer 模型采用了 6 层、384 维的宏大自注意力网络，在多达 90 万条由美国专利数据库（USPTO）提取的真实化学反应上进行了为期数天的重度集群预训练，在 USPTO-MIT 基准上取得了高达 90% 的令人惊叹的 top-1 产物完全精确匹配率。而在本教程中，受限于教学环境个人电脑 CPU 的单核算力底线，我们构建的是该理论架构的一个袖珍迷你验证版本：包含 1500 条反应、1 层 GRU 单元与 96 维隐藏空间。

然而，实验八跑出的真实数字却展现了科学研究残酷的一面：在 100 条保留测试反应上，模型的完全精确匹配率为惨淡的 0/100；生成产物与真实目标分子的平均字符相似度仅为 0.361，甚至全面溃败于什么都不做、直接将反应物原样抄写一遍的机械基准（0.639）。这一令人震撼的负面实验结果在第 8.7 节进行了深度剖析。它向每一位材料与化学科研人员发出了最坦诚的警示：自回归理论在复杂反应动力学与化学键断裂重组上的有效性毋庸置疑，但它绝非一种可以在几十兆算力与几千条微量样本上“随便玩弄几下就能见效”的平价工具——它对于训练数据的广度与算力预算的深度，有着近乎残酷的硬性物理阈值门槛。

6.5 材料组成式：语法合法并不等于化学

告别有机分子的碳骨架世界，当我们跨入无机固态材料与晶体化学的广阔天地时，自回归模型同样被频繁运用于无机组成式（例如三元硫属化合物 Ag(AuS)2、多元固溶体 Ag0.5Ge1Pb1.75S4 等）的从头逆向设计。

从表面上看，无机化学式同样由元素周期表符号与离散数字角标紧密拼接而成，平均长度往往仅有十余个字符，自然可以使用我们构建的字符级自回归模型进行平移复用（见后文实验七）。然而在对 4598 条真实实验测得的带隙无机组成式进行模型生成与严格物理筛查后，一组高度反常的对比数据跃然纸上：

评估指标	自回归神经模型生成物	Unigram 字符频率随机基线
语法合法率（能被严格无机解析器解析为各元素化学计量比）	0.971	0.015
组分唯一率（去重后互不相同的比例）	0.988	1.000
组分新颖率（未在历史训练库中出现过的新化合物比例）	0.977	1.000
元素出现频率分布与真实自然丰度的全变差距离（TV Distance）	0.184	0.831
反常缺陷：同一元素符号不合理重复出现（如生成畸变式 KB2O7O7）	0.023	—
终极检验：符合经典化合价氧化态电荷平衡（$	\sum\nu_iz_i	\le0.5$）
对照参考：训练集真实天然无机物在上述氧化态规则下的电荷平衡率	0.425	—

仔细审视那些在形式上百分之百通过严格语法解析器校验的生成产物示例：

Ag2O3   Ag2TiCoO6   Ag3AsSr   Ag3Cr(SnS2)4   Ag4In5   Ag7(P2)3   AgCd2   AgCu4S2

这些由神经网络自回归吐出的字符排列，如果仅仅摆在不懂化学的外行面前，其外观形态与教科书上的材料相组成毫无二致。然而一旦材料学者动用基础无机化学的氧化数守恒律进行物理验算，其荒谬的本质便暴露无遗：以看似平平无奇的 Ag2O3 为例，银原子的常见稳定价态为 +1，而氧原子为 -2，其净电荷为 $2\times(+1)+3\times(-2)=-4$。在统计学上，模型生成物中竟有高达 95.3% 的组分在微观氧化态上处于严重的电荷撕裂失衡状态！而在大自然历经亿万年热力学演化沉积下来的真实晶体基准中，满足电荷平衡的有效比例高达 42.5%（即便那些不满足的残余部分，绝大多数也是由于金属互化物合金或非整比填隙缺陷等原本就不服从经典离子键化合价假定的复杂非晶体系）。

这一组深具震撼力的数据为全章画上了一个意味深长的句号：基于因果统计的自回归语言模型，凭借其精巧的局部转移概率，能够以极高的精度逼真模仿出“化学式的外观骨架”，但它在根本机制上从未真正内生理解固态物理与配位化学中最基本的电中性守恒定律。字符在统计意义上的合理拼接，距离热力学相图上的真实稳定存在，中间横亘着一道不可逾越的物理深渊。

---

7. 纯 Python 实现：公式 ↔ 代码对照

在上一章我们见证了自回归模型在化学复杂场景中的多维交锋。然而，纸上得来终觉浅。本章的核心使命，是将前文所有抽象的代数公式与因果定理，转化为可以直接在计算机芯片上逐行解释执行的真实代码。

整套算法库完全收录于随书源码 code/ar.py 中（全长约 1500 行，零第三方依赖）。为了避免枯燥的代码罗列，本章并不打算逐行贴出所有函数，而是重点剖析那些在“从数学黑板走向机器实现”时最容易滋生隐蔽 Bug、最考验数值计算功力的核心环节。附录 A 提供了详尽的公式代码索引，供读者对照查阅。

7.1 代码结构

整个工程的代码架构秉承“自底向上、模块解耦”的设计哲学。从最底层的伪随机数发生器与原生张量代数原语开始，逐层向上搭建经典时序估计器与现代神经密度模型，最终汇聚于面向化学任务的实验脚本群：

code/
├── ar.py                     核心库（零依赖）
│   ├── RNG                   可复现随机数（Box–Muller 正态）
│   ├── 张量原语               matvec / matvec_t / matmul / outer / hadamard
│   ├── 线性代数               solve（高斯消元+选主元）/ ridge_fit（闭式解）
│   ├── 时序统计               acov / acf / pacf / levinson_durbin
│   ├── AR 估计                yule_walker / ar_ols / ar_burg / ar_fit
│   ├── 平稳性与谱             poly_roots / ar_stability / ar_spectrum / ar_forecast
│   ├── class NADE             单隐层自回归密度估计 + 手写反向传播
│   ├── class MADE             掩码多层（二值/高斯两种输出）+ 手写反向传播
│   ├── class CharVocab        字符词表（含 BOS/EOS）
│   ├── class NeuralAR         位置窗口自回归语言模型 + 采样器
│   └── class Adam             手写优化器（支持矩阵参数）
├── chemdata.py               数据集 + RDKit 工具 + 化学式解析 + 动力学模拟
├── tests_ar.py               44 项测试（含 120 项逐参数梯度检查）
├── demo_ar_basics.py         实验一
├── demo_smiles_ar.py         实验二
├── demo_directed.py          实验三
├── demo_density.py           实验四
├── demo_polymer_hopv.py      实验五
├── demo_deepchem_esol.py     实验六（DeepChem）
├── demo_deepchem_materials.py 实验七（DeepChem）
├── demo_deepchem_reaction.py 实验八（DeepChem）
└── make_figures.py           画全部数据图（唯一用 matplotlib 的脚本）

7.2 张量原语：矩阵就是列表的列表

在完全不借助 NumPy 的纯 Python 环境下，多维张量退回为其最朴素的数学原型——嵌套列表（list[list[float]]）。这一设定虽然牺牲了向量化指令集的加速，却为我们理解底层内存寻址提供了最透明的窗口：

def matvec(A, x):
    """y = Ax"""
    return [sum(a * b for a, b in zip(row, x)) for row in A]

def matvec_t(A, x):
    """y = Aᵀx（不显式转置，直接按列累加，省一次拷贝）"""
    y = [0.0] * len(A[0])
    for i, row in enumerate(A):
        xi = x[i]
    if xi:
        for j, a in enumerate(row):
            y[j] += a * xi
    return y

仔细审视转置矩阵向量积 matvec_t 中的 if xi: 判断，它绝非微不足道的代码修饰。在化学计算中，分子指纹与离散字符 One-hot 编码本质上是极度稀疏的高维稀疏张量（例如 1024 维指纹中往往只有十几个位点置 1）。通过显式拦截数值为 0 的历史输入，该逻辑跳过了多达 90% 以上的无谓浮点乘加操作，在解释型语言内部换取了极其可观的时间红利。

当系统需要求解正规方程或岭回归闭式解时，算法调用了内置的 solve(A, b, ridge=0.0) 函数。为了防止由于分子特征高度共线性导致的奇异矩阵崩溃，该函数严格执行了**列主元高斯消去法（Gaussian Elimination with Partial Pivoting）**并支持 Tikhonov 正则化阻尼注入。第 3 章与第 8 章中所有基于纯 Python 岭回归的预测指标（ar.ridge_fit），全都在该数值原语上稳健运行。

7.3 AR 估计：三个函数，三套公式

针对第 3 章推导出的经典线性自回归理论，代码库提供了三套各具特色的估计器实现：

理论公式	对应代码实现	核心计算与代数特征
式 (3.6) Yule–Walker 方程	ar.yule_walker(x, p)	遍历时间序列预估自相关矩阵 $\hat\gamma$，随后交由 Levinson 递推求解
式 (3.8) Levinson–Durbin 递推	ar.levinson_durbin(r, p)	充分榨取 Toeplitz 对称反序结构，$O(p^2)$ 闭式吐出 $\phi$、$\sigma^2$ 与反射序列 $\{k_m\}$
式 (3.9) 条件极大似然估计	ar.ar_ols(x, p)	动态滑动滑窗构造特征滞后矩阵，通过正规方程组执行无偏最小二乘回归
式 (3.13) Burg 最大熵递推	ar.ar_burg(x, p)	绕开协方差截断，在前向与后向预测误差的能量和约束下自适应解算反射系数

在实现此类经典时序算法时，工程上最凶险的隐患往往不是宏观的数学公式推导，而是时域离散下标在切片时的微观对齐偏差。在 Burg 算法中，前向误差 $f_m(t)$ 与后向误差 $b_m(t-1)$ 必须沿着严格对齐的时间基准面 $t$ 进行同步递推更新：

# f_m(t)   = f_{m-1}(t)   - k_m * b_{m-1}(t-1)
# b_m(t-1) = b_{m-1}(t-1) - k_m * f_{m-1}(t)
nf = [f[i + 1] - k * b[i + 1] for i in range(len(f) - 1)]
nb = [b[i] - k * f[i] for i in range(len(f) - 1)]

在本教程最初的代码草稿中，这两个数组的切片边界曾发生过极其细微的“一格错位”。从程序运行角度看，代码没有任何语法报错，甚至能够顺利吐出貌似合理的参数数值；然而深层的数学逻辑却遭到了严重扭曲——第二阶反射系数 $k_2$ 在各种数据输入下均病态地恒等于 $-k_1$。这一隐蔽的缺陷最终被测试套件严厉捕获：根据时序大样本渐近理论，Burg 算法所解出的反射系数序列在平稳系统上必须与大样本偏自相关（PACF）高保真收敛。正是这条严格的数学断言，将我们从下标错位的泥潭中拉了回来。这一实战经历给所有科研人员留下了深刻警示：在底层数值实现中，最致命的毒药往往潜伏在看似无害的索引加减之中。

7.4 神经网络的训练循环：梯度要"缩放一次"

在 NADE、MADE 以及 NeuralAR 三个神经网络类的手写反向传播流线中，梯度计算完全抛弃了任何自动微分图引擎的辅助。在这种裸写梯度的实践中，最常诱发雪崩式灾难的，是对批量平均梯度缩放比例（Scale Factor）的错误安放。

在标准的小批量梯度下降（Mini-batch SGD）中，若批量大小记为 $B$，整个 Batch 的总损失通常定义为各个独立样本损失的代数平均值。因此，在反向传播开启时，顶层误差信号必须除以 $B$（即 scale = 1.0 / B）：

dout = [p[i] - x[i] for i in range(d)]     # 输出层预测残差
if scale != 1.0:                           # 核心法则：全局仅缩放一次！
    dout = [g * scale for g in dout]
for l in range(L, -1, -1):
    ...                                    # 沿着隐层纯净反向传递，绝不可重复乘 scale

在最初的开发迭代中，开发者由于思维惯性，在逐层反向传播的循环体内为每一个隐层参数的梯度累加都下意识地重新乘上了 scale。这一操作导致底层第一层参数的梯度被无辜地实施了二次平方级缩放（即除以了 $B^2=60^2=3600$）。若仅凭训练损失曲线的缓慢下降，这种低级错误极难被肉眼排查；然而在中心差分梯度检查的照妖镜下，它瞬间无所遁形：第一层权重的经验数值微商为 $0.006916$，而代码输出的解析导数却被稀释为 $1.92\times10^{-6}$——两者的比值精确等于 3600！这是高精度数值梯度检验在全书开发过程中第二次力挽狂澜。

7.5 MADE 的掩码怎么建

第 4.3 节详细论证了 MADE 网络的因果性定理。在代码中，这一纯理论构造被精炼地浓缩为如下两段掩码生成与应用逻辑：

# 输入节点度数严格赋予 i，输出节点赋予 i-1，隐层单元在全域离散均匀随机采样
self.din  = list(range(d))
hdegs     = [[rng.randint(0, d - 1) for _ in range(h)] for h in hidden]
self.outdeg = [i - 1 for i in range(d)]          # 高斯输出模式下，均值与方差共享相同度数

# 建立因果隔离单向阀门：严格执行 deg(目标) >= deg(源)
masks.append([[1.0 if degs[k] >= prev[j] else 0.0
               for j in range(len(prev))] for k in range(len(degs))])

在网络的前向推演与反向误差回溯中，稀疏掩码如同物理栅极一般实时钳制着信息的流向：

for i in range(len(Wl)):
    for j in range(len(h)):
        if Mi[j]:                        # 核心因果屏障：非导通连接直接断路
            s += Wi[j] * h[j]

7.6 语言模型的前向与反向（一次写清楚）

为了给读者呈现一个最纯粹、最无冗余的自回归因果语言模型切片，我们将式 (5.2) 中的位置窗口神经自回归模型（NeuralAR）的前向与反向动力学完整浓缩如下。

在前向传播中，前序历史中每一个相对位置的离散 Token 分别激活其专属的位置嵌入行向量，并在隐层完成特征汇聚与非线性激活：

e = zeros(De)
for j in range(k):                       # 遍历最近 k 个相对因果位置
    row = self.E[j].value[ctx[j]]
    for d_ in range(De):
        e[d_] += row[d_]
a = [dot(W1[i], e) + b1[i] for i in range(H)]
h = [tanh(v) for v in a]
z = [dot(W2[i], h) + b2[i] for i in range(V)]

在紧随其后的反向传播阶段，顶层分类 Softmax 与交叉熵目标协同给出了极其平易的残差驱动力 $p - y$，随后误差信号顺着计算图以优雅的纯数学节奏回溯至各个位置嵌入表的特定行：

p  = softmax(z);  dz = p;  dz[target] -= 1        # ∂L/∂z = p - onehot（优雅的对偶残差）
dW2[i] += dz[i] * h ;  db2[i] += dz[i]
dh[j]  = Σ_i dz[i] * W2[i][j]
da[j]  = dh[j] * (1 - h[j]**2)                    # 双曲正切 tanh 的解析导数
dW1[j] += da[j] * e ;  db1[j] += da[j]
de     = Σ_j da[j] * W1[j]
dE[j][ctx[j]] += de                               # 仅仅将误差反冲给实际参与激活的特定嵌入行

7.7 梯度检查：120 项逐参数中心差分

为了彻底驱除手写反向传播中潜藏的数值隐患，全书的所有神经网络模型都在单元测试套件中接受了最严苛的**中心差分微商（Finite Differences）**逐项盲测：

$$g_i^{\text{num}}=\frac{\mathcal{L}(\theta_i+\epsilon)-\mathcal{L}(\theta_i-\epsilon)}{2\epsilon},\qquad \text{相对误差}=\frac{|g_i^{\text{num}}-g_i^{\text{ana}}|}{\max(|g_i^{\text{num}}|,|g_i^{\text{ana}}|)}.$$

在微小扰动步长设定为 $\epsilon=10^{-6}$ 的极端苛刻条件下，我们对各个模型的每一类权重、偏置及嵌入矩阵实施了随机参数抽样检测（tests_ar.py::grad_check）。实测数据展现出了近乎完美的解析保真度：

参测神经网络模型	抽样检查的参数项数	解析梯度与差分微商的最大相对误差
NADE（隐层 16，$d=10$）	30 项独立参数	$3.5\times10^{-6}$
MADE（二值输出模式，128 维）	30 项独立参数	$2.1\times10^{-6}$
MADE（高斯连续输出，8 维物理描述符）	30 项独立参数	$2.7\times10^{-6}$
NeuralAR（位置窗口语言模型，$k=4$）	30 项独立参数	$3.0\times10^{-7}$
NADE 极限拓扑构型（$H<d$ 压缩型与 $H>d$ 膨胀型双重结构）	60 项独立参数	$1.7\times10^{-5}$

整套单元测试包含多达 44 个独立的自动化测试工程，在个人电脑上仅需 1.5 秒即可一键全票通过（python3 tests_ar.py）。

更为重要的是，这道严密的测试防火墙不仅涵盖了微积分导数验证，更将前文所有核心理论定理转化为可以自动化运行的断言守卫：

• 在代数运算层面，它实时复核 Levinson 递推输出与直接全选主元求解 Toeplitz 方程之间的误差上界（实测相对偏差牢牢受控在机器极限 $1.1\times10^{-16}$），并通过 Durand–Kerner 算法高保真找回实系数多项式的全部已知代数解析根；
• 在时序物理层面，它直接检验 AR(2) 共轭复根诱导的谱峰位置与理论无量纲共振频率的一致性，并在高斯白噪声驱动下坚决断言 BIC 准则绝不会误选病态高阶结构；
• 在信息因果层面，测试程序直接将定理 4.1 具象化为物理扰动检验——当人为改动输入向量的第 $j$ 位时，程序断言所有排在其前方的输出分量必须在浮点精度下纹丝不动，从根本上锁死信息泄露可能；
• 在推断生成层面，测试断言了当采样温度 $\tau\to 0$ 时概率分布严格向 One-hot 尖峰退化，并严格确认核采样（Top-p）所截取的累积概率子集满足最小性约束。

7.8 纯 Python 到底有多慢（实测）

最后，我们必须将坚持纯原生 Python 实现所带来的真实运行性能代价坦诚地摆在读者面前。下表呈现了在标准个人电脑 CPU（Apple M1/M2 架构）上，同一批任务在纯 Python 代码与经 C/BLAS 优化的 NumPy/PyTorch 方案之间的实测耗时对照：

具体的自回归建模与采样任务	实验数据与计算规模	原生纯 Python 实际耗时	经 BLAS 优化的 NumPy 预估耗时
NeuralAR 字符模型训练 1 个完整 Epoch	700 条分子 SMILES（折合约 16 000 个滑动训练窗口）	9.0 秒	约 0.05 秒
二值 MADE 神经网络训练 1 个完整 Epoch	400 个样本 × 128 维分子拓扑指纹	1.4 秒	约 0.01 秒
经典高阶 AR(20) 的 Yule–Walker 解析估计	超长时间序列长度 $T=20000$	0.05 秒	小于 0.001 秒
分子生成推断：实时采样 200 条分子 SMILES（$\tau=0.8$）	生成分子平均长度约 24 个离散字符	0.5 秒	约 0.01 秒

这组真实测时数据直观地表明，纯原生 Python 在处理密集浮点循环时比现代高性能科学计算框架足足慢了 100 至 1000 倍。这正是本教程在设计后续八个实证实验时，深思熟虑地将样本规模审慎定格在数百至数千个小样本梯级上的根本原因。

读者应当清晰意识到这一技术妥协的深层意义：如果你未来的研究目标是像文献中的 Molecular Transformer 一样，在 90 万条专利化学反应上预训练超大规模的分子反应模型，转向 PyTorch、JAX 及 GPU 算力集群是唯一的工业化出路；然而，当你手握这套零封装的原生 Python 代码时，你的核心收益在于彻底拆穿了所有黑盒封装的神秘感，将自回归模型百年演进中的每一个微积分符号与因果法则，清清楚楚、明明白白地烙印在自己的认知底层。

---

8. 八个实验：每一个数字都是跑出来的

8.0 总览

科学的价值在于接受可重复事实的检验。在前几章完成全部数学推导与纯 Python 代码构建之后，本章将模型推向包含有机小分子、共聚物光伏材料、无机晶体带隙以及专利化学反应在内的八个真实任务。

下表系统汇总了八个实验的核心任务、所用数据、关键结论以及对应的可视化图谱索引。值得向读者特别强调的是：本章毫无保留地完整公开了四个“模型被彻底击败”的真实负面实验。在探索前沿交叉科学的过程中，弄清楚一个模型“在什么场景下必定失效以及为何失效”，其启发意义往往远远胜过展示几个经过精心挑选的成功案例。

实验编号	实验名称	实验数据依托	核心物理与化学结论	数据图表索引
一	经典线性 AR 的物理体检	连串反应动力学、Brusselator 振荡轨迹、Delaney 分子原子序列	建模前必须严查平稳性；一阶 AR(1) 在数学物理上无法刻画周期振荡；离散拓扑类别序列的可预测性显著超越连续物理量	a01–a08
二	字符级神经自回归分子生成	Delaney/ESOL 900 个真实有机小分子	仅需 12 384 个参数与 5 分钟 CPU 训练，有效率达 0.35、唯一率 0.89；深刻揭示过拟合临界点与核采样陷阱	l01–l05
三	性质导向的定向分子生成	ESOL 分子库 + 8 维物性描述符闭式岭回归预测器	拒绝采样成功将预测水溶性 $\log S$ 从 −2.31 提升至 −0.73，但其代价是分子量均值从 126 缩水至 86；前缀生成展现官能团控制力	c01–c03
四	分子高维特征的自回归密度估计	128 位 ECFP 拓扑指纹、8 维物理化学连续描述符	自回归条件网络比各维独立模型少损失 6.8 nat；MADE 在随机掩码下的表达力意外败于 NADE；边际分布逼真但联合高阶相关仍有偏差	d01–d05
五	聚合物长序列挑战（失败案例一）	哈佛有机光伏 HOPV 库（220 个真实共聚物给体）	困惑度指标更优（2.3 vs 3.0）但分子有效率发生断崖式崩塌（0.025）：在小样本长序列上，似然优势与采样质量彻底分道扬镳	p01–p02
六	DeepChem 生成–判别闭环（失败案例二）	MoleculeNet ESOL 官方 Scaffold 骨架切分基准	在新骨架泛化测试中，ECFP-MLP 深度模型测试 RMSE 为 1.704，大幅败给仅依赖 8 个物性特征的纯 Python 线性岭回归（1.170）	e01
七	无机材料组成的自回归生成（失败案例三）	expt_gap 4598 条真实无机物实验带隙与化学式	字符级模型语法合法率高达 0.971，但电荷平衡率仅有极其惨淡的 0.047（真实基准为 0.425）：模型仅学到了字形，未理解守恒律	m01–m02
八	逆合成与反应产物预测（失败案例四）	USPTO-50K 专利子集（1500 条单组分短反应）	100 条测试集完全精确匹配率为 0/100，平均字符相似度（0.358）甚至显著低于直接照抄反应物的平庸基准（0.639）：小算力欠拟合	r01–r02

在单核个人电脑 CPU 上的基准运行耗时为：实验一 2 秒、实验三 7 秒、实验二 336 秒、实验四 374 秒、实验五 173 秒、实验六 45 秒、实验七 188 秒、实验八 260 秒。读者可通过附录 B 的指令直接复现全部图表与指标。

8.1 实验一：线性自回归的"体检"

8.1.1 连串反应：先检验平稳性

在实验 1A 中，我们首先审视经典反应工程中的单向连串反应 $A\xrightarrow{k_1}B\xrightarrow{k_2}C$。设定速率常数为 $k_1=0.8, k_2=0.35$，借助经典四阶龙格–库塔法（RK4）积分生成中间产物 $B$ 的浓度瞬态轨迹，并叠加标准差为 $\sigma=0.01$ 的高斯测量本底噪声。从物理图像上看，中间体浓度经历先上升后消耗的单峰演化，整体具有强烈的不可逆宏观趋势。

当我们不加审视、直接在这段具有明显趋势的浓度曲线上拟合一阶自回归 AR(1) 时，算法输出了表面上看似完美的估计结果：回归系数 $\hat\phi_1=0.9911$，其自相关函数（ACF）在连续 12 个滞后步长上全部顽固地保持在接近 1.0 的超高位（0.99, 0.99, 0.98, 0.97...）；同时 BIC 定阶曲线呈现无底洞般的持续下降，一路强行选到了我们设定的上限阶数 $p=8$；此时模型的一步预测均方根误差（RMSE）处于 $0.0126\sim0.0138$ 的极低区间。初学者极易被这组数据所蒙蔽，误以为模型精准掌握了反应动力学；然而冷峻的事实是：我们在合成该数据时人为注入的仪器热噪声标准差原本就是 $\sigma=0.01$。模型之所以表现出超小的 RMSE，仅仅是因为相邻采样点之间由于宏观漂移具有极强的平滑惯性，模型在本质上退化为“用当前步直接预测下一步”，对于化学反应的内在动力学机制一无所知。

随后，我们对浓度序列执行了一阶时域差分 $\Delta B_t = B_t - B_{t-1}$。消除了宏观漂移之后，物理真相彻底大白：差分序列的自回归系数瞬间跌回正常的负相关弛豫状态 $\hat\phi_1=-0.2504$，自相关函数应声坍塌至 0.25 以下并在高阶迅速落入置信噪声带，BIC 准则在 $p=7$ 附近平缓收敛。此时模型的一步预测 RMSE 为 0.0126，而对比基准——仅仅依据历史均值进行盲猜的朴素估计——其 RMSE 亦仅为 0.0139。自回归模型相对于简单均值基线的预测提升仅仅只有区区 9%。

这组对比为从事动力学时序分析的学者确立了三条坚实的经验准则。首先，一旦在实验拟合中遭遇 $\hat\phi_1\approx 1$ 伴随自相关函数在所有滞后步长上居高不下的反常现象，第一反应绝不应当是盲目堆叠更高阶数 $p$，而必须意识到系统存在未被消除的宏观漂移，必须果断实施去趋势或差分预处理；其次，评估时序预测模型的好坏，其误差绝对值不能简单与零对比，而必须以实验测量的物理本底噪声尺度 $\sigma$ 作为唯一的天花板标尺；最后，差分后仅有 9% 的微弱边际改善深刻说明：对于一个微观机理明确由常微分方程（ODE）决定的确定性物理过程，强行套用黑盒统计自回归模型是极其苍白的——面对此类体系，拟合真实的阿伦尼乌斯速率方程与动力学级数，远比拟合差分统计系数具有高得多的科学价值。

8.1.2 化学振荡：AR(1) 为什么不可能表示振荡

在实验 1B 中，我们转向了非线性耗散结构理论中的经典模型——布鲁塞尔振子（Brusselator，参数设定为 $a=1, b=3$）。该体系在相空间展现出标准的极限环动力学，每隔 0.2 个时间单位进行一次等距离散采样。经实验测量，其极限环零交叉法所确立的真实物理振荡周期为 7.18 个时间单位。

我们分别运用 AR(1) 至 AR(4) 对这一非线性周期振荡序列进行拟合，下表完整展示了各阶模型的残差能量、特征根模长与频域共振峰的表现：

动力学模型类别	残差方差 $\hat\sigma^2$	最大特征根模长	谱峰所对应的物理振荡周期
AR(1) 线性系统	0.1205	0.928	完全无内部共振峰（谱密度在零频 $f=0$ 处取得平凡极大）
AR(2) 线性系统	0.0623	0.835	4.38 个时间单位
AR(3) 线性系统	0.0577	0.750	完全无内部共振峰
AR(4) 线性系统	0.0548	0.840	5.08 个时间单位

数据呈现出了震撼的物理阶跃：将阶数由 1 提升至 2 时，残差方差瞬间被砍去整整 48%（相对比值达 1.93）。更具决定性意义的是，AR(2) 模型输出的系统特征方程解出了一对共轭复根 $0.787\pm 0.276i$——根据第 3.5 节的数学推导，共轭复根的出现，正是自回归模型在数学上能够承载周期性物理共振的唯一指纹。相比之下，AR(1) 仅有孤立实根，无论参数如何调优，其频域谱线永远呈现单调低通衰减，在理论上根本不可能自发描绘任何振荡吸收峰。

然而，细心的读者必定会捕捉到表格最右列暴露的严重偏差：AR(2) 谱密度给出的振荡周期为 4.38，与体系真实物理周期 7.18 之间存在着不可忽视的鸿沟。这一理论偏差必须被客观正视：布鲁塞尔振子在物理本质上属于非线性弛豫振荡（Relaxation Oscillation），其微观轨迹在漫长的慢弛豫漂移与瞬间的快跳变之间剧烈切换；而经典 AR($p$) 在本质上是一个全局恒定系数的线性阻尼振子模型，当它强行使用光滑的正弦波去拟合带有剧烈拐点的弛豫轨迹时，必然会在频域发生谱峰蓝移，导致估计周期严重缩水。要想精准复原真实的极限环，必须引入后续章节的非线性神经自回归网络，或者直接注入非线性动力学的先验常微分方程。

8.1.3 真实 SMILES 的原子序列：连续 vs 类别

在实验 1C 中，我们将目光投向真实有机分子。选取 Delaney 溶解度数据集中的 1128 个真实化合物，严格沿着其 SMILES 字符串的书写流向依次抽取出原子序列（保留有效长度不小于 5 的 1061 条长链），并分别提取连续物理属性与离散化学符号展开建模比对：

考察的序列物理属性形态	池化自相关系数 ACF(1..3)	最佳自回归阶数	留出测试集 RMSE 对比朴素均值基线
沿链原子相对质量（连续实数标量）	0.037 / 0.118 / 0.052	$p=1$	6.4110 vs 6.5311（仅微弱改善 1.8%）
沿链 Pauling 电负性（连续实数标量）	0.011 / 0.138 / 0.051	$p=1$	0.3344 vs 0.3370（仅微弱改善 0.8%）

实验数据表明，连续的物理化学数值（原子量、电负性）在顺着 SMILES 的一维书写展开时，其自相关系数在各阶滞后上极其微弱，线性自回归模型在均方误差上几乎完全无法战胜最平凡的历史均值盲猜。

然而，一旦我们将建模目标切换为离散的元素符号类别序列（采用多项分布马尔可夫转移核），模型的表现瞬间发生质的飞跃：

离散类别序列建模方案	留出验证集“下一个元素符号”预测准确率	验证集平均负对数似然（NLL）
多数类固定盲猜基线（在有机物中恒猜碳原子 C）	0.326	—
一阶马尔可夫链转移模型（等价于离散 AR(1)）	0.663	1.112 nat
二阶马尔可夫链转移模型（等价于离散 AR(2)）	0.696	0.999 nat

这组鲜明的实证数据揭示了分子信息学中一条极其关键的分水岭定律：化学分子在序列维度上的可预测性，绝大部分深植于“离散的键合语法与原子类别”之中，而非“连续物性的空间平滑性”。沿分子骨架书写时，原子质量并不存在类似宏观物体的连续惯性漂移；然而“碳原子与氧原子相邻、氮原子与氢原子配对”的离散化合价规则，却在局部构筑了极强的因果转移概率。同时，0.70 的准确率瓶颈亦再次证明了局部记忆的局限性：剩下的 30% 结构信息需要更长维度的全局上下文，这正是后续构建深度神经自回归模型的充分理由。

8.1.4 三种估计量与短序列谱估计

为了在真实数据上严密厘清普通最小二乘（OLS）、Yule–Walker 与 Burg 算法的实战优劣，我们在真实的 AR(2) 平稳过程（真值参数设定为 $\phi=(0.6, -0.35)$）下，在不同采样长度 $T$ 上进行了每档 60 次的蒙特卡洛重复实验：

采样时间长度 $T$	OLS 估计均方根误差 RMSE($\phi_1$/$\phi_2$)	Yule–Walker 估计均方根误差	Burg 最大熵算法均方根误差
$T=30$（极短数据序列）	0.1527 / 0.1466	0.1599 / 0.1302	0.1413 / 0.1486
$T=80$（中等序列长度）	0.1137 / 0.0790	0.1153 / 0.0784	0.1127 / 0.0797
$T=400$（长序列充分采样）	0.0491 / 0.0382	0.0487 / 0.0375	0.0487 / 0.0381

在参数点估计的精度上，三种算法在统计学意义上几乎平分秋色，其误差差距仅体现在小数点后第三位。然而，当我们将同一批模型解算出的参数代入频域做功率谱密度（PSD）复原时（真值极径 $r=0.95$、共振频率 $f_0=0.25$），两类算法在谱峰保真度上展现出了天壤之别：

采样序列长度 $T$	谱峰中心位置误差（YW / Burg）	谱峰高度保真度（YW / Burg）	峰高恢复比值（Burg / YW）
$T=30$	0.0080 / 0.0083	91.8 / 199.2	2.17 倍
$T=40$	0.0064 / 0.0066	109.0 / 188.3	1.73 倍
$T=80$	0.0038 / 0.0038	116.7 / 150.1	1.29 倍
$T=200$	0.0021 / 0.0021	104.4 / 115.9	1.11 倍

数据展现了无可辩驳的工程定论：Burg 最大熵算法的不可替代性，高度聚焦于极短数据序列（如小样本量下）的微弱谱峰解析。当数据点数极其匮乏时（$T=30$），Burg 算法测出的谱峰高度达到了 Yule–Walker 的 2.17 倍，极为完美地抵御了由于协方差截断窗函数所诱发的谱线展宽效应；而一旦样本长度扩充至数百点以上，两者的频域响应便逐渐同流归一。这一结论指导着化学仪器数据的预处理策略：若面对扫描时间有限、点数极为宝贵的高分辨波谱解析，应当毫不犹豫地选用 Burg 算法；而在海量采样的工业连续流反应器监测中，计算简洁的普通最小二乘法（OLS）已完全足够。

8.2 实验二：字符级自回归语言模型生成分子

在实验二中，我们正式启动了基于纯 Python 手写的神经自回归模型（NeuralAR）。实验基于 Delaney/ESOL 数据集，去除拓扑异形后保留 1120 个唯一有机分子，划取前 900 个作为训练集，其余 220 个作为绝对隔离的留出验证集。网络词表包含 30 个唯一的 SMILES 字符，设置滑动因果位置窗口 $k=8$、嵌入空间 32 维、单隐层 64 维（全网络总参数量精巧控制在 12 384 个）。采用手写的 Adam 优化器，学习率设为 $3\times 10^{-3}$，批量大小 32，共训练 25 个 Epoch。

下表记录了模型在漫长训练周期中的泛化动力学演变：

训练轮次（Epoch）	训练集平均负对数似然（NLL）	留出验证集平均 NLL	留出验证集困惑度（PPL）
初始第 1 轮	1.5698 nat	1.3332 nat	3.79
黄金折点第 11 轮（模型最优态）	0.9272 nat	1.0872 nat	2.97
训练终点第 25 轮	0.8027 nat	1.1240 nat	3.08

这条收敛曲线生动展示了机器学习中最经典的过拟合悲剧。在第 11 轮之前，训练损失与验证损失协同下降，困惑度平稳压制在 3.0 以下；然而跨过第 11 轮之后，尽管训练集 NLL 凭借网络记忆力一路下探至 0.8027，留出验证集的损失却开始不可逆地掉头向上攀升（1.0872 $\to$ 1.1240）。这有力地警示我们：在仅有数百个分子的小样本场景下，哪怕只有微小的 12 384 个参数，神经网络依然极易陷入局部记忆的泥潭。在科研实践中，必须死死盯住留出验证集的客观似然指标来决定早停截断时机。

采样策略：温度与核采样的虚假繁荣陷阱

在训练好的最优检查点上，我们开展了不同生成超参数下的采样实验（每组独立采样 200 条分子序列），严格利用 RDKit 解析器统计其化学有效率（Validity）、经 Canonical 规范化后的结构唯一率（Uniqueness）、以及与 900 个训练分子比对后的结构新颖率（Novelty）：

采样温度 $\tau$	化学有效率（可被 RDKit 成功解析为分子）	结构唯一率（解析分子互不相同的比例）	结构新颖率（不在训练集中的比例）	生成分子的平均字符长度
$\tau=0.5$（低发散度、保守生成）	0.675	0.637	0.593	21.0
$\tau=0.7$	0.415	0.880	0.521	24.3
$\tau=0.8$（默认均衡态）	0.350	0.886	0.339	23.7
$\tau=1.0$（标准未经缩放采样）	0.275	0.945	0.500	25.1
$\tau=1.2$（高发散度、高随机性）	0.200	0.900	0.444	27.3

进一步考察截断采样技术，下表呈现了核采样（Top-p Nucleus Sampling）对生成指标的剧烈塑造：

截断阈值 Top-p	化学有效率	结构唯一率
Top-p = 0.50（极度激进的概率核截断）	1.000（看似完美）	0.010（实质完全崩溃）
Top-p = 0.80	0.380	0.645
Top-p = 0.95	0.355	0.831
Top-p = 1.00（全分布自由采样）	0.300	0.833

请所有读者务必在 Top-p = 0.50 这一行久久驻足：该配置下的化学有效率达到了近乎神话般的 100%，而其结构唯一率却断崖式暴跌至 0.010（即 1%）！深入翻阅采样记录，模型连续生成的 200 个样本，在本质上全都是同一个极度简单的微型分子的机械自我复制。倘若某个科研团队在发表论文时，仅仅片面孤立地宣传其模型“分子生成有效率高达 100%”，那么它极大概率是通过极端限制采样熵、陷入模式坍塌所制造的虚假学术繁荣。这一深刻教训确立了一条不可动摇的黄金法则：在任何分子生成论文中，化学有效率、唯一率与新颖率三大指标必须同台呈现，且必须巨细靡遗地标明采样时所使用的真实温度与截断超参数。

教师强制与自由运行下的暴露偏差实测

通过对比教师强制（训练态）与自由运行（推断态）的微观行为，自回归模型的内在脆弱性被直观解剖： 在教师强制下，模型依赖给定的真值上下文，在留出验证集上的逐位字符预测准确率稳定在 0.55 至 0.71 之间波动，仅在序列末尾由于长支链收尾难度加大而略显吃力；然而在自由运行的自主采样流线中，监测模型输出分布的信息熵，数值从第 1 步的 0.64 nat 单调不绝地膨胀至第 11 步的 0.76 nat。这种随着自主生成步长延伸、模型对当前局势的认知不可遏制地陷入巨大迷茫与不确定性的现象，正是暴露偏差（Exposure Bias）在信息论层面的最真实投影。

8.3 实验三：用自回归模型做定向生成

在实验三中，我们探讨如何将无条件自回归模型引导至特定的功能分子空间。首先，我们基于 8 维 RDKit 经典物理化学描述符（分子量 MW、脂水分配系数 $\log P$、极性表面积 TPSA、氢键供体 HBD、受体 HBA、可旋转键数、芳香环数以及碳 $sp^3$ 轨道杂化比例），通过闭式岭回归构建了一个水溶性（$\log S$）判别器。在 80/20 独立随机切分下，该判别器展现出极高保真度：测试集 RMSE 为 0.895 $\log S$ 单位，拟合优度 $R^2=0.829$。特征权重分析表明，标准化系数值最大的三个主导特征分别为 $\log P$（−1.44，疏水性强力削弱溶解度）、HBA（+0.41，氢键受体促进水合）以及 MW（−0.40，大分子量阻碍水溶）——完全符合经典物理化学常识。

随后，我们利用实验二训练好的生成模型采样 1200 条分子（获得 419 条合法分子），并通过该判别器实施目标性质 Top 10% 的拒绝采样（Rejection Sampling）：

筛选策略与分子群落	预测水溶性 $\log S$ 均值	分子量 MW 均值	环结构数量均值	Lipinski 五规则完全达标率
原始无条件自由采样（419 条合法物种）	−2.31	126.0	0.42	0.99
定向拒绝采样保留的 Top 10% 分子群	−0.73（水溶性显著暴涨）	86.0（严重小型化）	0.12（环结构基本消失）	1.00
实验基准：训练集全部分子的真实 $\log S$ 均值	−3.06	—	—	—
实验基准：训练集中实测水溶性最强的 Top 10%	约 +1.0 量级	—	—	—

面对表面上水溶性均值由 −2.31 跃升至 −0.73 的“巨大成功”，我们必须保持极度清醒的物理反思。拒绝采样确实在数值上大幅推高了预测性质（净增 +1.58）；然而深入化学结构审视，模型在本质上是通过走捷径（Shortcut）实现了这一目标——分子量均值从 126 暴跌至 86，环结构数量被砍去 70% 以上，生成的绝大多数是结构极其琐碎的微型极性分子。这是计算化学任务中极为典型的病态现象：在物理化学上，分子越小、环结构越少，原本就更容易溶解。更为关键的是，判别器自身的测量误差 RMSE 高达 0.895，而生成分子群落的性质预测分布宽度（标准差）约为 0.98——这意味着筛选出的理论收益与判别器自身的本底噪声处于完全相同的量级。如果缺乏对物理化学结构变化的审慎审视，研究人员极易陷入将预测器的随机噪声误判为算法优化能力的自我欺骗之中。

前缀条件生成（自回归模型的"免费"超能力）

得益于自回归框架中天然存在的微观条件概率，我们在代码中无需重训网络，只需通过 model.sample(prefix=...) 强行将特定功能团注入前序上下文中，即可零成本实现分子片段的主动生长与拓扑衍生：

人为注入的分子起始前缀基团	生成序列的合法可解析率	生成物预测水溶性 $\log S$	生成物分子量均值	生成物极性表面积 TPSA 均值
c1ccccc1（苯环芳香骨架）	0.50	−2.04	107	8
CC(=O)O（亲水性羧基官能团）	0.46	−0.78	104	29
N（碱性脂肪胺类基团）	0.28	−2.11	130	35
O（单一氧杂羟基/醚键）	0.19	−1.71	148	42
C(F)(F)F（高电负性三氟甲基）	0.05（发生严重坍塌）	−0.97	70	0

实验数据精确复刻了深层化学直觉：强制要求以极性羧基或羟基为先导的衍生分子，其极性表面积 TPSA 显著增加，预测水溶性稳步改善。尤其耐人寻味的是三氟甲基（C(F)(F)F）前缀的极低有效率（仅有区区 0.05）——这是由于基础训练库 ESOL 中含有氟原子的分子比例极度稀缺，神经网络在面对这三个连续的强电负性氟原子时，其局域条件概率迅速遭遇了知识盲区，不知后续应如何合理接续碳链。这一发现为材料设计提供了一套极为实用的诊断工具：通过测试模型在特定活性片段引导下的生成有效率，可以敏锐探测该模型对特定化学空间流形的覆盖丰度与认知边界。

8.4 实验四：自回归密度估计（NADE / MADE）

128 位 ECFP 拓扑指纹的微观相关性

在实验四中，我们选取 600 个真实药物分子（480 个训练 / 120 个留出测试），提取其 128 位 Morgan/ECFP 指纹向量（每个分子平均激活置 1 的位点数为 19.4）。我们对比了各维独立假设、单隐层 NADE（96 个隐单元）与双隐层 MADE（拓扑深度 96×48，实施严格因果掩码）的密度估计能力：

概率建模架构方案	留出测试集平均 NLL	压缩比特率（bit/位）	活跃网络参数量总量
独立伯努利基准（每维仅依赖自身边缘频率）	47.490 nat	0.5353 bit/位	128 个标量频率
NADE（单隐层阶梯累加架构）	40.649 nat	0.4582 bit/位	24 800 个参数
MADE（稀疏掩码多层感知机网络）	43.687 nat	0.4924 bit/位	11 963 个有效连接

这组实验给出了两个极具洞见的观察结果。首先，自回归模型通过在因果掩码中强制建立位点间的条件依赖，将测试集的无序不确定性大幅削减了 6.84 nat（NADE）和 3.80 nat（MADE），这以无可辩驳的证据证明了分子指纹中不同亚结构位点之间绝非独立存在，自回归模型成功捕获了丰富的官能团共存规律。然而，第二个观察却耐人寻味：MADE 的实际泛化表现明确输给了构造更古朴的 NADE（43.69 nat > 40.65 nat）。为了探究原因，我们曾尝试将 MADE 的隐层拓扑大幅拓宽至 128×128，结果验证集 NLL 反而进一步恶化至 46.82 nat。深入分析其微观机理，根源在于：MADE 采用随机抽样的方式为隐层单元分配度数标记，这导致相当一部分被随机赋予极低度数的隐神经元在物理上“仅仅能够感知极少数几个最前排的输入位点”，造成了网络容量的大面积闲置与浪费；反观 NADE，其前向计算采用了全连接下的严格历史累积卷积，每一个隐状态单元均能饱满地吸纳前序的所有微观历史。这一对比清晰表明：算法在理论上的单步全并行优势，在特定的局域小样本任务中，可能会因为随机掩码引发的容量空耗而付出一定的泛化精度代价。

变量顺序敏感性与高阶相关矩阵失真

保持 MADE 网络拓扑与超参数完全冻结，仅仅将 128 个指纹位点的排列顺序实施两次纯随机置换（Permutation），留出测试集 NLL 呈现出显著波动：

维度排列次序方案	留出测试集平均 NLL
原始 ECFP 默认哈希位序	43.687 nat
纯随机排列方案 A	42.750 nat
纯随机排列方案 B	43.457 nat

各排列之间的最大极差达 0.94 nat（占总熵值的 2% 以上），且随机顺序中有一组（42.750 nat）明显优于默认的化学信息学哈希顺序。这坚决印证了第 2.6 节的推论：变量顺序不是理论游戏，而是直接决定模型容量分配的关键超参数。

进一步考察采样生成的 128 位合成指纹，系统呈现出了所有生成模型共同面临的深层顽疾： 在单维度的置位频率直方图上，生成样本与真实训练集之间的平均绝对误差仅为 0.0199（相对于 0.15 的底态概率极其精准）；然而，一旦我们将视线聚焦于“最常出现的 20 个特征位点之间的成对相关性矩阵”时，真实体系的绝对相关性均值为 0.156，生成样本仅有 0.132，两者的二阶协方差张量呈现出高达 2.09 的 Frobenius 范数偏差。一阶边缘统计特性高度吻合，二阶乃至更高阶的联合拓扑相关却在生成中遭到部分平滑抹杀——这正是广大科研学者绝不能仅凭边缘直方图便断定生成模型“已经完全掌握了分子真实分布”的深层原因。

8 维连续物理化学描述符：高斯 MADE 的统治力

在连续物性空间中，高斯连续 MADE 在 8 维描述符上展现出了压倒性的优势：留出测试集平均 NLL 达到了 5.2214 nat，将对角独立高斯基线的 11.2128 nat 彻底击溃（相对信息量暴增 5.99 nat）。

物理分析表明，这高达 6 个 nat 的巨大信息收益，几乎全部来自于对物理量之间内在强耦合的精确还原（例如分子量 MW 与芳香环数之间的内生协同膨胀，$\log P$ 与极性表面积之间的负相关消长）。真实数据中变量间绝对相关系数均值为 0.339，高斯自回归模型完美再现了 0.330，而对角独立假定在此处的数据完全为零。这一对比生动表明：若直接使用每维独立的高斯去采样虚拟化合物，生成的物理向量在现实中往往对应着诸如“分子量仅有 80 却包含 5 个苯环”的物理荒谬物种；而自回归结构则牢牢守护住了物性空间的物理守恒流形。

在单元测试（tests_ar.py）的基准玩具实验中，面对“奇数位精准复制偶数位（伴随 8% 翻转热噪声）”的强二值系统，NADE 模型以无可争议的表现将各维独立基线的 6.768 nat 压制到 4.227 nat，并以 0.907 的高保真度精准找回了这一因果规则，为自回归架构能够有效捕捉微观条件依赖提供了绝对坚实的代码与理论背书。

8.5 实验五：聚合物上，自回归模型还灵吗

在实验五中，我们将自回归模型推向哈佛有机光伏聚合物数据集（HOPV，包含 350 个高分子给体光伏体系，筛选出 220 个高质量共聚物给体分子，其中 174 条具备实测光学带隙数据，220 条具备实测光电转换效率 PCE 标签）。

数据本身的物理尺度立刻构成了第一道天堑：共聚物 SMILES 的中位长度高达 67 个字符，峰值长达 137 个字符，而作为对照的 ESOL 药物小分子的中位长度仅有区区 20 个字符。

跨域测试的严酷现实

我们首先直接调用在小分子库 ESOL 上预训练完成的最优神经模型（该模型在其自身验证集上的 NLL 仅为 1.087 nat），去直接评估聚合物 SMILES 的对数似然。实验数据显示了巨大的跨域鸿沟： 小分子模型在聚合物序列上的平均每字符 NLL 暴涨至 3.289 nat（测试误差急剧恶化整整 3 倍之巨）；更为尴尬的是，在聚合物的字符序列中高频涌现出了许多小分子词表中完全缺失的陌生字符集（如表征离聚物电荷状态的 +、-，大共轭刚性稠环的高阶数字编号 8、9，以及特定的芳香小写杂原子 e、i）。这以最冷酷的事实告诫我们：化学语言模型的“化学域（Domain）”壁垒是不可逾越的物理现实；在常规药物小分子上预训练的模型，面对大共轭高分子材料的特殊书写体系，无法直接展现出平移通用性。

核心反思：困惑度更低，生成样本却彻底崩溃

随后，我们动用同样的网络架构，直接在这 187 条聚合物长链训练集上从头训练（严格隔离 33 条作为留出验证集），并在第 15 轮收获了收敛模型：

评估指标类别	药物小分子模型（ESOL 验证集表现）	聚合物专用模型（HOPV 验证集表现）
留出验证集平均每字符 NLL	1.087 nat/字符	0.814 nat/字符（数值表象更佳）
留出验证集困惑度（PPL）	3.0	2.3（不确定性显著下降）
采样生成分子的 RDKit 化学可解析率	0.350（三分之一可用）	0.025（仅剩百分之二，实质全面坍塌）
采样生成分子的结构唯一率	0.886	1.000

困惑度指标显著优于小分子（2.3 远优于 3.0），然而实际采样生成的化学有效率却由 0.35 断崖式坠落至仅剩 0.025！

为什么在统计似然上“学得更好”的模型，在实际采样生成时却几乎只能吐出完全无法解析的化学垃圾？这一矛盾的深层物理机制源自两重效应的残酷叠加：

其一是自回归误差在超长序列上的指数级乘性爆炸。对于一个仅有 20 个字符的药物小分子，假定网络在每一步的单字容错率为 99%，整条序列能够顺利闭合全合法分子的概率约为 $0.99^{20}\approx 0.82$；然而对于一个长达 70 个字符的共聚物大分子，同样的单步错误率将被指数级放大，使得全序列的存活概率暴跌至 $0.99^{70}\approx 0.50$。随着长度的拉长，哪怕最微小的局域扰动，都会在链式演化中累积成为破坏整个分子拓扑的毁灭性灾难。

其二是字符级困惑度指标在长重复序列上的严重虚标。高分子 SMILES 内部充斥着大量周期性重复出现的单体构件（如噻吩环、苯并二噻吩等高度僵化的局部字串）。对于这些高度同质化的局域字串，神经网络只需凭借记忆力便能极度轻松地将其准确预测，从而在宏观统计上把平均困惑度刷得极低极好看；然而，字符级模型在深层机制上从未真正建立起宏观的“高分子立体拓扑配偶状态机”——一旦在几十个字符前打开了一个复杂的稠环编号，模型在经历了一连串局部低熵的平庸单体填充后，完全无力在准确的物理位置上将其闭合。

这构成了整部教程中极具启迪意义的一座警示灯塔：它以无可辩驳的真实量化数据，将统计学“似然指标（NLL/PPL）”与材料学“样本实际物理品质”之间的巨大裂痕昭示于天下——如果盲目仅仅依靠困惑度的高低来挑选生成模型，研究人员极大概率会挑中那个在物理现实中彻底崩溃的模型。

8.6 实验六：DeepChem 生成–判别闭环（ESOL）

在实验六中，我们将纯 Python 生成体系与现代计算化学框架 DeepChem 进行深度闭环打通。实验采用 Delaney 数据集官方推荐的严苛 Scaffold 骨架拓扑切分协议（将数据划分为包含完全不重叠核心骨架的 902 个训练分子、113 个验证分子与 113 个测试分子）。

在判别模型侧，我们调用 DeepChem 构建了一个以 1024 位高维圆形拓扑指纹（Circular Fingerprint）为输入的深度神经网络回归器（MLP [128, 64]，注入 Dropout 0.3 与 L2 权重衰减 0.01，训练 300 轮）；与此同时，作为对照，我们在完全相同的骨架切分上，运行了我们手写的、仅以 8 维物理化学描述符为输入的纯 Python 线性岭回归判别器：

判别模型架构体系	新骨架测试集实测 RMSE（单位：$\log S$）	泛化表现综合评价
盲猜常数基线（无脑恒定预测训练集均值）	2.315	绝对底层基线
1024 维指纹 + 深度神经网络 MLP（DeepChem 实现）	1.704	$R^2=0.354$，发生不可忽视的过拟合
8 维物性描述符 + 线性岭回归（纯 Python 原生手写）	1.170（以巨大优势胜出）	泛化稳健，显著超越深度网络

面对这一结果，我们必须秉承实事求是的科学态度把话说透：在这项严苛的分子骨架外推测试中，一个参数庞大、基于 1024 维稀疏指纹的现代深度多层感知机，被仅仅依赖 8 个物性特征的原生线性模型彻底击败。

这一“深度学习败北”现象的本质并不在于代码或框架本身，而在于化学先验与数据尺度的对立。Scaffold 切分的本质是强迫模型面对它从未见过的全新骨架体系。1024 维的局域子结构指纹极度稀疏且彼此割裂，深度网络极易凭借其庞大的容量把训练集特定骨架上的偶然噪声死死背诵下来（我们在监控中捕获到：深度 MLP 在训练集上的 RMSE 达到了极度夸张的 0.31，而在测试集上瞬间坍塌至 2.08，展现出严重的病态过拟合）；相反，以分子量、$\log P$、极性表面积为代表的 8 个宏观物理化学描述符，凝聚了人类化学家两百年来的宏观物理先验——无论分子的底层碳骨架如何千变万化，溶解度的热力学分配规律依然牢牢受制于极性与分子尺度的制约。在小样本外推场景下，高维统计特征的表达力在面对物理先验时全面败下阵来。

这一负面实验给“生成–判别闭环”体系带来了极其深刻的学术启示：在逆向分子设计中，外挂判别模型的泛化天花板，在物理本质上直接决定了整个生成闭环的真实可信度上限。如果用于筛选的判别模型自身在测试集上有着高达 1.70 的严重误差，那么后续用它筛选出的所谓“极高活性/极高水溶性分子”，其背后的化学成色将变得极难厘清。

尽管如此，当我们把自回归模型生成的 800 条虚拟分子（经 RDKit 过滤得到 271 条有效分子，有效率 0.339、唯一率 0.624、新颖率 0.550）注入判别器闭环后，数据依然给出了有价值的宏观趋势：生成分子群体的预测水溶性均值为 −2.38，而真实测试集的实测均值为 −3.80；在“高水溶性候选物（$\log S \ge -2$）”的富集率上，生成物达到了 0.450，显著超越真实测试集的 0.292。正如实验三所指出的那样，模型自发偏爱生成分子量更小、更紧凑的易溶结构——读者在审视这一闭环结果时，必须时刻保持对判别器本底误差的敬畏。

8.7 实验七：材料组成的自回归生成

在实验七中，我们跨入无机固态材料的版图。实验依托 Materials Project 体系下的 expt_gap 数据集，收集了 4598 条经真实物理实验严格标定的无机化学组成式及其对应的实验测定电子带隙（Bandgap，数据集中材料化学式的平均长度约 12 个离散字符）。

在判别模型侧，我们利用 DeepChem 构建了一个以 40 维元素化学计量分数为输入的材料带隙预测回归器，在独立测试集上测得 MAE 为 0.735 eV，$R^2=0.326$。在生成模型侧，我们将第 5 章构建的字符级自回归模型直接套用于无机化学式文本序列（因果滑动窗口设为 6，模型参数量 12 201，训练 12 轮）。

模型在生成推断阶段展现出了令人叹为观止的表面指标（见第 6.5 节总表）：语法合法率高达 0.971，不仅将简单统计基线的 0.015 彻底踩在脚下，且生成化学式的元素自然丰度与真实地壳元素分布之间的全变差距离仅有 0.184（真实反映了氧、硅、铁等主族元素在材料界的极高占有率）。

然而，正是我们在算法中额外嵌入的两项基于无机固态化学的物理检验，彻底戳穿了这种表面的“完美”：

Ag2O3   Ag2TiCoO6   Ag3AsSr   Ag3Cr(SnS2)4   Ag4In5   Ag7(P2)3   AgCd2   AgCu4S2

考察上述这些全部通过严格字符解析器校验的生成产物。在微观晶体化学层面，首先浮现的是病态的元素重复拼接缺陷（在生成物中占 2.3%）：模型由于在滑动窗口中缺乏对全序列全局状态的显式追踪，生成了诸如 KB2O7O7 这种将同一种元素角标强行拆分重复书写的畸变怪物。

更为致命的一击来自于对经典化合价与氧化态电荷守恒律的物理裁决：当我们动用最常用稳定氧化态计算全体系净电荷分布时，生成物中满足电荷平衡（$|\sum\nu_iz_i|\le 0.5$）的比例仅仅只有极其微弱的 0.047（即 4.7%）！换句话说，模型吐出的无机化学式中有高达 95.3% 的体系在离子晶体模型下直接面临严重的静电排斥崩溃。与之形成鲜明对比的是，大自然真实的材料样本库在完全相同的氧化态核查标准下的合格率达到了 0.425（其余未通过者大多为不服从经典离子价态假设的合金互化物）。

更为微妙的偏差隐藏在能量维度的分布坍塌中：我们将判别器对准全部生成产物，其计算出的生成组成平均预测带隙仅为 0.76 eV，而真实测试集的物理均值高达 1.01 eV；特别是在“宽带隙半导体（带隙 $\ge 3$ eV，在紫外光电与耐高压器件中具有核心价值）”的发现比例上，生成样本中仅有极其贫瘠的 0.021，而真实材料库中该比例高达 0.109。这揭示了一个深具警示意义的技术暗礁：纯粹基于字符自回归的生成模型，不仅在深层物理机制上对守恒定律视而不见，其隐式学习到的几何偏置往往还会发生系统性的相空间偏航——如果材料科学家未加甄别地将其用于宽带隙功能材料的自主研发，你将彻底被模型自身的统计偏见带入歧途。

8.8 实验八：DeepChem SeqToSeq 做反应预测

作为全书在实验维度的终极攻坚战，实验八旨在检验自回归模型在有机合成逆反应与前向反应机理预测中的真实工程极限。

我们从著名的美国专利反应数据集 USPTO-50K 中，严格筛选出 15 936 条反应物与产物长度均被严格截断在 40 个字符以内的单组分纯净短反应，截取前 1500 条作为微型训练样本，保留独立 100 条作为终极测试基准。模型采用 DeepChem 框架内的原生架构 SeqToSeqModel，底层由 1 层 GRU 编码器与 1 层负责自回归解码的 GRU 生成器构成，特征嵌入维度设为 96 维，在单核 CPU 上高负荷训练 25 轮（训练交叉熵损失自 2.669 持续下降并稳定收敛至 1.449）。

在 100 条独立保留反应上，模型的终极测试成绩单如下：

反应产物预测方案与推断配置	产物完全精确匹配率（Top-1 Exact Match）	逐字符局部预测准确率	字符级平均编辑相似度（$1 - \text{编辑距离}/\text{长度}$）
极简平庸基准：直接将反应物原文原样照抄为产物	0/100	0.381	0.639（以巨大优势领先神经网络）
神经 SeqToSeq 贪心自回归解码（Beam Search = 1）	0/100	0.335	0.358
神经 SeqToSeq 束搜索解码（Beam Search = 5）	0/100	—	—（未能产生任何质的改善）
对照参考：模型直接在自身训练集前 100 条上的复现测试	0/100	0.345	0.366

在这项实验中，我们遭遇了全书最彻底、最具震撼力的全面溃败：模型不仅在 100 条测试反应上的完全匹配率尴尬地定格在绝对的 0/100；在更加平缓的平均字符相似度指标上，神经自回归模型交出的 0.358，竟远远被什么都不做、直接将反应物原样照抄一遍的机械惰性基准（0.639）甩在身后！尤为值得注意的是，哪怕我们回退至模型反复学习过的训练集自身前 100 条样本，其复现指标亦完全在同一水平线上徘徊（0.366 vs 0.358）。这冷酷地表明，模型在这里根本不是遭遇了过拟合，而是陷入了更深沉的严重欠拟合泥潭——受制于极小的容量，模型在本质上退化为一个在输出端毫无目标地随意涂抹高频常见字符的平庸随机发生器。

为什么在经典自然语言翻译中屡试不爽的 SeqToSeq 自回归架构，在化学反应预测面前会败得如此体无完肤？将本教程的教学实验与文献中取得巨大成功的 Molecular Transformer 进行横向并列，其深层原因昭然若揭：

实验关键支撑维度	本教程轻量级教学实验环境	Molecular Transformer 工业级基准（Schwaller et al. 2019）
参与预训练的专利反应总数	仅有微弱的 1 500 条	逼近百万级的 ~900 000 条（跨越近 3 个数量级）
编解码网络模型底层深度架构	1 层极简 GRU，96 维隐状态	6 层工业级深层 Transformer，384 维稠密特征
全网络所容纳的参数量规模	约 $10^5$ 个可学习参数	逼近 $4\times 10^7$ 个参数（扩充近 400 倍）
承担训练的底层硬件基础设施	个人电脑单核 CPU 运行	顶尖多卡 GPU 高性能计算集群持续并行
训练所耗费的绝对时间尺度	约 4 分钟即告收敛截断	数天乃至数周的高负荷计算
在 USPTO 基准上的产物完全精确匹配率	惨淡的 0%（全面溃败）	惊人的 ~90%（全面超越人类普通化学家）

这组极具反差的残酷对比，其教学与科研意义远远超越了任何花哨的成功粉饰：自回归模型在有机反应机理与合成预测中确实是一柄威力无穷的利刃，但它绝不是一个凭借几兆内存与几千条微量样本、在个人笔记本上“玩票式跑跑 Demo”就能轻易斩获成果的廉价玩具。它对底层数据流形的跨度与计算资源的丰沛度，有着近乎严苛的规模法则（Scaling Laws）准入门槛。在资源极度受限的前提下，最宝贵的科研素养是保持客观的清醒，坦承“在当前算力下我们无法复现”，而绝不能掩耳盗铃地将 0% 的彻底溃败粉饰为“已具备初步可行性”。

8.9 把所有实验放在一起看：五条结论

将贯穿本章的八个实验、28 张数据图谱以及四个坦诚公开的失败案例汇聚于同一宏观视阈下，自回归模型在化学与材料交叉学科中的真实全貌得以彻底定格为五项深具指导价值的核心认知结论：

其一，自回归底座在纯数学维度上是绝对自洽且“零成本赠予”的。无论是第 2 章证明的因果链式恒等分解、全局积分的自动免费归一化，还是祖先采样在测度论层面的无偏正确性，在数学本质上不需要引入任何人为近似，亦绝不因后续参数化函数的改变而发生丝毫动摇。在实验中遭遇的所有挫败与变形，其根源百分之百来自具体的非线性函数逼近能力、数据流形的局限性以及算力预算的边界，而绝非源自“自回归”这一概率拆解哲学本身。

其二，在开展复杂的深度神经网络拟合之前，必须对底层物理时间序列开展严格的平稳性与因果流向体检。无论面对的是反应动力学曲线还是分子链拓扑，一条暗含未消除单向趋势的时序信号（如实验 1A 中的连串动力学曲线）或者缺乏局域因果相关性的连续数值流（如实验 1C 中的原子质量序列），都极易制造出看似拟合极佳实则退化为平庸盲猜的病态模型。科学的前提永远是对物理先验的严谨审视。

其三，在包含超长序列与微量样本的材料体系中，统计学的似然指标（NLL/PPL）与最终产物的真实物理品质必然分道扬镳。HOPV 聚合物实验（实验五）以最惨烈的实证向全行业确立了一条底线：困惑度降低 30% 并不能阻止分子有效率暴跌 14 倍的悲剧发生。任何声称其自回归生成模型取得突破的学术报告，必须将似然指标、化学有效率、唯一率、新颖率以及透明的采样超参数置于同台接受审判。

其四，由离散字符诱导出的“形式语法合法”，与真实物理世界的“热力学与守恒律成立”之间横亘着巨大的认知鸿沟。在无机材料组成生成实验（实验七）中高达 97.1% 的语法合法性与仅有 4.7% 的电荷守恒率形成了荒诞的对立；在小分子 SMILES 生成中高达 65% 的无效语法空耗亦时刻提醒着我们——纯粹的字符串概率模型骨子里仅仅掌握了字形的拼接艺术，要想真正合乎物理现实，必须在解码层显式注入化合价、电中性以及相图守恒律的物理约束。

其五，下游判别模型与物性预测器的泛化质量，直接决定了整个材料逆向设计闭环的理论真实上限。ESOL 骨架切分实验（实验六）以极其鲜活的事实证明，脱离了物理常识先验的深度黑盒模型完全可能在真实外推中全面败退于朴素的化学描述符线性回归；在一切声称“成功借助生成模型将某种材料物性推高了若干个量级”的乐观论断面前，我们都必须首先拷问其物性预测器自身的本底测量误差——如果预测误差的波动与所谓的性能提升处于同一个数量级，那么这场轰轰烈烈的“定向生成”，很可能只是在机器构建的随机噪声丛林中进行的一场虚妄追逐。

---

9. 优缺点、常见坑与实践清单

在经历了理论推导、代码实现与八个真实实验的全面淬炼之后，我们终于能够站在一个超脱而客观的科学高度，对自回归模型在材料与化学领域的真实疆界进行系统复盘。

自回归模型既不是无所不能的炼金术，也不是一无是处的玩具。作为一名理性的科研工作者，唯有深刻理解其微观力学机制中的长板与硬伤，才能在面对具体的科研课题时，做出最富成效的架构抉择。

9.1 优点：为什么化学界一直没有放弃它

尽管自 2020 年以来，以扩散模型和三维几何图神经网络为代表的新范式在计算材料学界声名鹊起，但在分子逆向设计、反应预测与化合物库扩增的一线实战中，自回归模型始终牢牢占据着不可替代的核心生态位。化学界之所以对其青睐有加，源于其五大深具物理穿透力的内生禀赋。

最根本的理论底气在于其绝对精确且闭式可求的对数似然，以及完全免费的全局概率归一化。根据第 2.1 节定理 2.2 的证明，只要网络在局部输出合法的条件概率，整体联合分布在全状态空间上的积分便天然等于 1。这一特性直接绕开了统计力学与能量模型（EBM）中令人窒息的配分函数 $Z$ 计算困境，使得自回归模型无需借助任何高方差的蒙特卡洛积分或变分下界（ELBO）近似，便能直接赋予研究者一把绝对客观的“能量标尺”。在真实的科研中，这意味着我们可以直接依赖留出测试集上的负对数似然（NLL），对不同网络架构或超参数配置进行无偏的优劣裁决，正如实验二中第 11 轮与第 25 轮之间的过拟合拐点，正是依靠这一精确指标被敏锐捕捉。

随之而来的是其天然支持局域微观条件化、实现零成本定向生成的能力。在自回归的因果链条中，条件概率 $p(x_{i:d}\mid x_{1:i-1})$ 本身就是模型固有的原生组件。这使得研究者在开展骨架跃迁（Scaffold Hopping）或官能团修饰时，无需像扩散模型那样额外训练复杂的梯度引导分类器（Classifier Guidance），亦无需像条件 VAE 那样在隐空间中进行费力且缺乏物理保证的流形搜索；在代码层面，仅仅通过传入一个固定的起始字符串（如实验三中的羧基前缀），模型便能自然而然地沿着指定的化学子空间继续演化生长。

此外，这种精确概率赋予了模型极高透明度的可解释性与异常诊断潜能。对于任意给定的分子构象或晶体组成式，自回归网络能够直接量化其在当前模型视野下的“惊讶程度” $-\log p(x)$。这一特性在主动学习（Active Learning）中可以直接充当高精度的主动采样不确定度指标，在合成路线安全性筛查中可作为离群反应识别器，在材料相图探索中亦能敏锐标记出与已知晶相背道而驰的异常构型。

在架构的适用谱系上，自回归理论展现出了极其宽广的普适性。从一维离散符号（SMILES）、连续多维物理化学向量（描述符分布），到长度未知的序列到序列映射（反应机理预测），同一套基于链式分解的数学语言可以无缝套用（如第 5 章系统梳理的那样），其数学形式在不同数据形态之间展现出令人惊叹的高度对称性。

最后，从认知心理学与信息学视角来看，自回归模型的因果展开流向，在物理形态上天然契合了人类化学家对于分子结构的感知与书写直觉。无论是有机化学中从主链向支链展开的命名法则，高分子聚合过程中单体由链引发向链终止方向的活化增长，还是生物大分子中沿着 N端向 C端翻译的肽链合成，自回归的时间箭头与化学演化的因果流向达成了完美的共振。这种直觉同构性，使得研究人员能够清晰追踪网络在每一步决策时的微观状态——例如，通过观察模型在生成第 12 个字符时的局部熵增，化学家可以直接定位出当前分子骨架在立构选择性或环化闭合上的认知不确定性。

9.2 缺点：什么时候它会让你失望

然而，正如物理学中没有免费的午餐，自回归模型在享有精确似然与因果便利的同时，也背负着七座难以逾越的沉重枷锁。

其最为人诟病的工程死穴，是生成阶段不可规避的串行时间瓶颈。由于每一步预测都必须以前一步的状态坍缩为输入条件，模型在生成一个长达 100 字符的分子时，必须在时间轴上机械重复 100 次完整的网络前向传播。尽管在本教程受控的小样本实验中，纯 Python 采样 200 条分子耗时仅需半秒左右，但在万亿参数的大型模型或大规模虚拟化合物库的高通量筛选中，这种无法被硬件并行的串行锁死，成为了制约其工业化吞吐的致命痛点。相比之下，扩散模型与全并行可逆流模型虽然在似然评估上稍逊风骚，却能在推断端展现出惊人的单步全域爆发力。

紧随其后的理论暗礁，是训练环境与推断环境之间的物理脱节——暴露偏差（Exposure Bias）。在基于极大似然的教师强制训练中，网络在每一步都被无条件地喂入真实数据集中的标准前序历史；然而在实际生成未知样本的推断舞台上，失去了“教师纠偏”的网络只能完全依赖自己上一时刻生成的、带有微小统计涨落的中间体继续推演。实验二中自由运行模式下输出熵由 0.64 nat 持续膨胀至 0.76 nat 的实测数据清晰地印证了这种不确定性的扩散。一旦前期生成了某个边缘字符，微小的误差就会在链式反馈中被级联放大，最终将整条分子引向物理崩溃的深渊。

而在面对长链高分子与复杂大分子体系时，自回归模型暴露出更为致命的长序列误差指数乘性累积效应。假定模型在局部的单字符预测正确率高达令人赞叹的 99%，在仅有 20 个字符的短小药物分子上，全长拓扑保持完全合法的理论概率约为 $0.99^{20}\approx 0.82$；然而一旦面对如实验五中中位长度达 67 个字符的聚合物共聚物链时，这一联合存活率将在指数乘方下断崖式暴跌至 $0.99^{70}\approx 0.50$。正如我们在 HOPV 实验中亲眼见证的那样，采样有效率由 35% 瞬间瓦解至可怜的 2.5%——序列的长度，成为了自回归模型最不可承受的沉重税负。

在化学学科特有的表征层面，分子的顺序不变性（Permutation Invariance）缺失构成了深刻的理论内耗。同一分子图在 SMILES 空间内所拥有的多重等价遍历形式，被自回归模型机械地判定为多个占据独立坐标的离散样本。这种概率质量的被动稀释不仅严重干扰了基于 NLL 的模型公正性评估，更导致生成空间充斥着大量的伪新颖同义异构物，严重蚕食了模型对未知有效化学空间的探索带宽。

更为关键的是，纯粹基于局域因果滑动的自回归网络在底层机理上完全缺失全局守恒律的硬性约束。模型通过条件概率所习得的，仅仅是局域字符共现的统计平滑性，而对于化学键八隅体价态闭合、超精细立体配位以及晶体整体电中性等跨越全序列的全局守恒法则，它只能被动地进行弱统计逼近。实验七中无机材料化学式那高达 97.1% 的虚假语法合法性与仅剩 4.7% 的真实电荷平衡率之间的荒诞对比，正是这一本质缺陷的最无情揭露。

此外，变量排布顺序本身构成了一个缺乏先验指导的隐蔽超参数。正如实验四中对 128 维指纹置换实验所揭示的那样，仅仅打乱维度的先后次序，留出集损失便会剧烈浮动近 1.0 nat 之多；在高维且缺乏天然因果流向的无机物性或组分建模中，寻找真正的“最优解构顺序”在组合数学上是一个 NP-hard 的难题。

最后，由本教程所选取的纯原生 Python 裸写方案，直接带来了在解释执行循环中高达 100 至 1000 倍的性能衰减。虽然这一决策完美服务了教学透明性与零黑盒封装的初心，但它也直接锁定了我们在全书所能展开的实验样本尺度。

9.3 与其他生成模型的正面对比

为了帮助科研人员在纷繁复杂的生成模型技术选型中建立全局图景，我们将自回归模型（AR）与变分自编码器（VAE）、生成对抗网络（GAN）、标准化流（Flow）以及扩散模型（Diffusion）并列展开全方位的多维横向比对：

评估维度	自回归模型（AR）	变分自编码器（VAE）	生成对抗网络（GAN）	标准化流（Flow）	扩散模型（Diffusion）
似然评估精度	绝对精确，闭式可解	仅给出变分下界（ELBO）	完全缺失似然定义	绝对精确，可逆换元	仅给出变分下界
采样生成速度	极其缓慢（需串行 $T$ 步）	极快（单次网络前向）	极快（单次前向出图）	极快（单次正向流动）	较慢（需数十至上千步去噪）
训练优化稳定性	极高（纯凸极大似然）	高（重参数化光滑）	极低（易模式崩塌）	高（依赖雅可比约束）	高（去噪匹配目标稳定）
条件生成难度	天然支持（前缀即条件）	需额外拼接条件编码	需条件判别器外挂	需特殊条件可逆块	需外挂引导网络（Guidance）
全局拓扑约束	较弱（易在长程失谐）	中等（受隐空间平滑支配）	中等（依赖全局对抗）	较强（严格保双射）	极强（渐进全局去噪成形）
最契合的化学场域	SMILES、反应式、单体序列	分子连续潜空间贝叶斯优化	2D 分子图拓扑快速生成	连续物性分布、空间坐标流	3D 构象生成、固态晶体生成

基于这一多维全景，科研决策者可以清晰确立两条简洁明了的选择边界：

在以下科学场景中，请坚决避免优先使用自回归模型： 当你试图生成的物理实体是高度依赖三维空间欧氏对称性（SE(3) 等变）或包含极强全局封闭几何约束的对象时（例如金属有机框架 MOF 的三维晶格坐标、全原子蛋白质大分子折叠后的立体构象），现代等变扩散模型是更为天然的选择；当你手中仅有极长的主链序列而实验测定的高质量样本却极度匮乏时（例如实验五所示的共聚物体系），强行上马无条件生成自回归模型只会收获一堆语法乱码，此时构建稳健的性质判别模型才是科研的正道；当你唯一的科研目的是在低维连续空间中执行高斯过程贝叶斯优化（Bayesian Optimization）以实现分子定向突变时，具备连续正态隐空间的分子 VAE 显然比基于离散 Token 阶梯自回归的解码器更为亲和。

相反，在以下场景中，自回归模型应当作为你的首选利刃： 当你的研究客体在信息学本质上天然呈现为离散的一维链式序列时（如经典有机小分子的规范 SMILES、线型高分子的嵌段单元、多肽氨基酸序列以及合成逆反应方程式）；当你必须依赖绝对精确的对数似然进行严密的假设检验、多模型公平比对或高精度化学异常离群点探测时；当你需要对分子实施极其精细的前缀引导、骨架连续生长或局部官能团定向衍生时；以及——最核心的前提——你手中掌握的数据集规模与你的计算硬件预算，能够跨过该任务所必需的有效信息量阈值之时。

9.4 实践清单：面向化学/材料学者的实验室操作流规范

为了将上述全书的理论推演与排错教训沉淀为可以直接指导科研实战的标准操作程序（SOP），我们彻底打破碎片化的清单，将其重组为横贯四大学术研究生命周期的实验室操作流叙事指南。

第一阶段：数据准备台前的先验沉淀

在任何一行自回归模型代码被敲下之前，研究人员对化学数据的预处理水准往往已经决定了后续实验 80% 的成败命运。 首要的操作铁律是对分子实施严格的拓扑规范化与等价去重。研究人员必须动用 RDKit 等专业工具中的 Chem.MolToSmiles 逻辑，将原始文献或实验库中形态各异的书写方式统一转化为唯一规范的 Canonical SMILES，并在此基础上坚决剔除由于命名异形带来的假重复样本（正如本教程将原始 1128 个分子严谨收敛至 1120 个唯一分子一样），从源头上遏制概率质量的人为稀释。

随后，面对任何时间序列或空间扫描信号，研究者必须启动严格的平稳性物理体检。通过绘制自相关函数（ACF）图谱、监控一阶自回归系数 $\hat\phi_1$ 是否病态逼近 1.0，敏锐辨识系统是否叠加了尚未消除的单向动力学漂移或积累趋势。在未经差分或消除趋势的非平稳数据上，盲目依据 AIC 或 BIC 准则进行定阶不仅毫无科学意义，而且必然会被宏观漂移带偏至虚假的高阶泥潭。

在开展任何跨领域或迁移学习推断之前，研究人员必须建立严密的化学词表边界核查机制。小分子模型直接用于聚合物时发生的崩溃现象深刻警示我们：必须预先扫描目标材料域中是否潜伏着训练集词表中完全未定义的带电符号、多位稠环数字或特殊杂原子，严防由于未知 Token 引发的下游概率雪崩。

最后，在数据集的划分方案上，研究者必须摒弃偷懒的纯随机打乱，坚定实施契合真实化学发现场景的 Scaffold 骨架拓扑切分。随机切分往往会让测试集充斥着与训练集骨架高度同源的近亲分子，从而在准确率上制造出严重的虚假自嗨；唯有面对完全未曾谋面的全新核心骨架，模型在真实泛化能力上的成色才会被彻底检验。

第二阶段：网络架构设计与因果防线建立

当数据清洗完毕、进入神经网络架构设计阶段时，防范隐式的信息泄漏是守护自回归模型纯洁性的生命线。 最值得推崇的开发习惯，是将自回归因果性直接固化为自动化单元测试中的硬性断言。正如本教程测试套件所践行的一样，算法工程师应当编写自动化程序，人为改动底层输入向量的第 $j$ 个分量，并遍历断言所有排在其前方的输出分量必须在浮点精度下保持绝对恒定。这种依靠程序逻辑守护因果防线的做法，远比人工肉眼通读多层循环代码可靠得多。

与此同时，对于任何手写实现的神经网络反向传播，必须毫不妥协地执行逐参数中心差分梯度核查。本教程中由 120 项微商检查先后捕获的 Burg 算法切片错位（导致 $k_2\equiv -k_1$）以及批量梯度二次平方级缩放（导致梯度微缩 3600 倍）两次重大险情深刻昭示：微积分导数的正确性是不可动摇的底线，唯有通过高精度的数值微商比对，才能彻底驱除潜伏在下标与循环体内的致命幽灵。

在高维特征（如分子指纹）建模中，研究者必须将变量排列顺序视为核心超参数纳入搜索体系。切莫轻信所谓的化学主观直觉顺序，在探索阶段至少应当构建两到三组纯随机置换的排列作为对照实验，交由留出集的客观似然做出抉择。

此外，在滑动窗口模型的构建中，记忆窗口 $k$ 绝非越大越好。窗口每向历史延伸一步，网络需要配置的位置专属嵌入参数便成倍增加，极易诱发剧烈的过拟合。在确定窗口尺寸时，应当以偏自相关函数（PACF）的截尾步长或低阶 n-gram 统计量的衰减曲线作为物理下界的先验参考。

最后，在定义损失函数时必须严格厘清分类任务与密度任务的边界：针对离散分子指纹向量，必须坚定选用多维伯努利交叉熵（BCE）；而面对连续的物理化学描述符，则必须选用高斯连续负对数似然（NLL），并强迫网络在输出端同时预测条件均值 $\mu$ 与对数方差 $\log\sigma^2$。

第三阶段：模型训练中的收敛掌控与尺度边界

在模型被送入算力引擎展开训练迭代的过程中，科学的监控纪律是抵御过拟合与算力空耗的护身符。 首要法则是在训练全程死死锚定留出验证集的负对数似然（NLL）作为模型早停（Early Stopping）的唯一客观裁判。实验二中第 11 轮（验证集最优）与第 25 轮（严重过拟合）的背道而驰生动表明：纯粹盯着训练集损失的持续下降，只会把研究者带入模型狂背训练样本的虚假繁荣之中。

在面对小规模化学样本时，研究者应当严格践行奥卡姆剃刀原则，优先尝试具有清晰物理先验的简易模型。实验六中 8 维物性描述符线性岭回归以巨大优势击溃 1024 维指纹深度 MLP 的铁证告诉我们：在小数据外推场景下，人类数百年沉淀下来的化学物理先验，其泛化价值往往远远胜过由高维稀疏特征与复杂黑盒堆砌出的虚幻拟合力。

同时，任何严肃的科研实验报告，都必须巨细靡遗地记录并公开训练所消耗的真实物理时间、底层硬件配置以及模型的精确参数量规模。实验八中因 3 个数量级的算力预算鸿沟而导致的惨烈溃败表明：参数量与硬件条件的数量级，在深层物理机制上直接锁定了结论所能成立的科学边界。

第四阶段：分子生成与物性评估的审慎检验

当训练好的生成模型开始对外吐出全新的虚拟分子或材料体系时，审慎严谨的评估伦理构成了科研工作者的最后一根坚实防线。 最为关键的一项行业操守，是在报告分子生成质量时，必须无条件公开全部推断采样超参数。采样温度 $\tau$、Top-k 门槛以及 Top-p 核截断阈值，对生成物种的分布具有翻云覆雨的重塑力。在极端的 Top-p = 0.5 下取得的“100% 有效率伴随 1% 唯一率”的模式坍塌灾难必须时刻警醒后人——脱离了采样超参数的生成指标报告，在学术上不具备任何真实的评估价值。

在指标呈现维度上，化学有效率（Validity）、结构唯一率（Uniqueness）与结构新颖率（Novelty）三项核心标尺必须三位一体同时完整披露。特别需要强调的是，新颖率的比对基准必须严格限定为“当前模型的训练集本身”，而绝不能投机取巧地与全人类已知的泛化学大分子库相比。

为了赋予上述比例指标严密的统计学意义，评估报告必须明确标明采样抽取的样本容量规模。在经典的 200 个抽样样本尺度下，根据二项分布理论，比例指标的单标准误波动范围约在 $\pm 0.03$ 左右。这意味着对于两组超参数配置之间小于 0.06 的细微指标差异，研究人员绝不能轻易妄下断言或进行主观排名。

最后，建立在整个定向生成研究之上的终极警钟：在宣称“我们成功借助生成模型将某种材料物性推高了若干量级”之前，必须首先完整披露所用判别模型自身的均方根误差（RMSE）与本底噪声水平。如果下游物性预测器自身的测量误差波动，与生成候选物所展现的性能提升在数量级上完全相当，那么这场所谓的“定向突破”，在微观本质上极大概率只是在机器构建的随机噪声森林中，完成了一次对离群极值的虚妄捕捉。

---

10. 参考文献

自回归的经典统计基础

1. Yule, G. U. (1927). On a method of investigating periodicities in disturbed series, with special reference to Wolfer's sunspot numbers. Philosophical Transactions of the Royal Society A, 226, 267–298.
2. Walker, G. (1931). On periodicity in series of related terms. Proceedings of the Royal Society A, 131, 518–532.
3. Levinson, N. (1947). The Wiener RMS error criterion in filter design and prediction. Journal of Mathematics and Physics, 25, 261–278.
4. Durbin, J. (1960). The fitting of time-series models. Revue de l'Institut International de Statistique, 28, 233–244.
5. Burg, J. P. (1967). Maximum entropy spectral analysis. 37th Annual International Meeting, Society of Exploration Geophysicists.
6. Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19, 716–723.
7. Box, G. E. P., Jenkins, G. M., Reinsel, G. C., & Ljung, G. M. (2015). Time Series Analysis: Forecasting and Control (5th ed.). Wiley.

自回归作为生成模型

8. Larochelle, H., & Murray, I. (2011). The neural autoregressive distribution estimator. AISTATS.
9. Germain, M., Gregor, K., Murray, I., & Larochelle, H. (2015). MADE: Masked autoencoder for distribution estimation. ICML.
10. Papamakarios, G., Pavlakou, T., & Murray, I. (2017). Masked autoregressive flow for density estimation. NeurIPS.
11. Van den Oord, A., Kalchbrenner, N., & Kavukcuoglu, K. (2016). Pixel recurrent neural networks. ICML.
12. Van den Oord, A., et al. (2016). WaveNet: A generative model for raw audio. arXiv:1609.03499.
13. Vaswani, A., et al. (2017). Attention is all you need. NeurIPS.
14. Radford, A., et al. (2018). Improving language understanding by generative pre-training. OpenAI technical report.
15. Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. NeurIPS.
16. Bengio, S., Vinyals, O., Jaitly, N., & Shazeer, N. (2015). Scheduled sampling for sequence prediction with recurrent neural networks. NeurIPS.

化学与材料中的应用

17. Weininger, D. (1988). SMILES, a chemical language and information system. Journal of Chemical Information and Computer Sciences, 28, 31–36.
18. Gómez-Bombarelli, R., et al. (2018). Automatic chemical design using a data-driven continuous representation of molecules. ACS Central Science, 4, 268–276.
19. Segler, M. H. S., Kogej, T., Tyrchan, C., & Waller, M. P. (2018). Generating focused molecule libraries for drug discovery with recurrent neural networks. ACS Central Science, 4, 120–131.
20. Gupta, A., Müller, A. T., Huisman, B. J. H., Fuchs, J. A., Schneider, P., & Schneider, G. (2018). Generative recurrent networks for de novo drug design. Molecular Informatics, 37, 1700111.
21. Schwaller, P., Laino, T., Gaudin, T., Bolgar, P., Hunter, C. A., Bekas, C., & Lee, A. A. (2019). Molecular Transformer: A model for uncertainty-calibrated chemical reaction prediction. ACS Central Science, 5, 1572–1583.
22. You, J., Ying, R., Ren, X., Hamilton, W. L., & Leskovec, J. (2018). GraphRNN: Generating realistic graphs with deep auto-regressive models. ICML.
23. Shi, C., Xu, M., Zhu, Z., Zhang, W., Zhang, M., & Tang, J. (2020). GraphAF: a flow-based autoregressive model for molecular graph generation. ICLR.
24. Jin, W., Barzilay, R., & Jaakkola, T. (2018). Junction tree variational autoencoder for molecular graph generation. ICML.
25. Popova, M., Isayev, O., & Tropsha, A. (2018). Deep reinforcement learning for de novo drug design. Science Advances, 4, eaap7885.
26. De Cao, N., & Kipf, T. (2018). MolGAN: An implicit generative model for small molecular graphs. ICML Workshop.
27. Hoogeboom, E., Satorras, V. G., Vignac, C., & Welling, M. (2022). Equivariant diffusion for molecule generation in 3D. ICML.
28. Kusner, M. J., Paige, B., & Hernández-Lobato, J. M. (2017). Grammar variational autoencoder. ICML.

数据集与工具

29. Ramsundar, B., Eastman, P., Walters, P., & Pande, V. (2019). Deep Learning for the Life Sciences. O'Reilly.
30. Wu, Z., et al. (2018). MoleculeNet: a benchmark for molecular machine learning. Chemical Science, 9, 513–530.
31. Delaney, J. S. (2004). ESOL: Estimating aqueous solubility directly from molecular structure. Journal of Chemical Information and Computer Sciences, 44, 1000–1005.
32. DeepChem: https://github.com/deepchem/deepchem
33. RDKit: https://www.rdkit.org
34. Lopez, S. A., et al. (2017). The Harvard organic photovoltaic dataset. Scientific Data, 4, 170086. （HOPV 数据集来源）
35. Lowe, D. M. (2012). Extraction of chemical structures and reactions from the patent literature（USPTO 反应数据的来源）.

化学振荡与动力学（实验一用到的模型）

36. Prigogine, I., & Lefever, R. (1968). Symmetry breaking instabilities in dissipative systems. II. Journal of Chemical Physics, 48, 1695–1700. （Brusselator）
37. Field, R. J., & Noyes, R. M. (1974). Oscillations in chemical systems. IV. Journal of Chemical Physics, 60, 1877–1884. （Oregonator / BZ 反应）

---

附录 A：公式 ↔ 代码对照总表

公式编号	理论数学内容	在纯 Python 源码中的具体映射位置
(1.1)	基础自回归因果条件概率分解	ar.NeuralAR.seq_logprob / ar.MADE.log_prob / ar.NADE.log_prob
(2.1)–(2.3)	三角 Jacobian 行列式与保密流映射	见 4.6 节 MAF 理论推导（保持纯粹性，本教程未实现外部流库）
(2.4)	极大似然估计与逐 Token 交叉熵等价性	NeuralAR._accumulate（p[target] -= 1 优雅残差）
(2.5)–(2.6)	负对数似然 NLL、困惑度 PPL 与信息比特	ar.perplexity / ar.bits_per_token / NeuralAR.nll_windows
算法 2.1	逐层祖先采样正确性定理	NeuralAR.sample、MADE.sample、NADE.sample
(3.1)	经典线性自回归过程 AR($p$) 定义	ar.ar_simulate（纯 Python 动态模拟器）
(3.4)	特征多项式根代数与弱平稳性判据	ar.poly_roots（Durand–Kerner 算法）/ ar.ar_stability
(3.6)	Yule–Walker 矩阵自协方差正规方程	ar.yule_walker（经由 acov 与 levinson_durbin 高速求解）
(3.8)	Levinson–Durbin $O(p^2)$ 递推关系与反射系数	ar.levinson_durbin（Toeplitz 矩阵降维闭式解）
(3.9)	条件极大似然与普通最小二乘（OLS）等价性	ar.ar_ols（滑动特征矩阵 _lagged_design + 选主元消元）
(3.10)	自回归功率谱密度 PSD 与共振峰计算	ar.ar_spectrum / ar.ar_spectral_peak
(3.11)–(3.12)	一步前瞻预测与 $h$ 步前瞻预测误差递推	ar.ar_forecast（级联历史插补机制）
(3.13)	Burg 最大熵自适应反射系数递推	ar.ar_burg（前向/后向双向残差能量极小化）
AIC / BIC	信息准则与惩罚项模型定阶选择	ar.aic / ar.bic / ar.ar_order_selection
(4.1)–(4.4)	NADE 单隐层阶梯累加前向推演与反向梯度	ar.NADE.probs / ar.NADE.fit
(4.5)–(4.6)	MADE 单元度数标记分配与静态稀疏掩码拓扑	ar.MADE.__init__（静态掩码张量 masks 生成）
(4.7)–(4.8)	高斯连续型自回归输出层与对数方差梯度	ar.MADE._forward / ar.MADE._backward_accumulate
(4.10)–(4.11)	掩码自回归流（MAF）可逆变换理论映射	第 4.6 节公式推导说明
(5.2)	位置专属嵌入窗口神经自回归模型（NeuralAR）	ar.NeuralAR._forward（无依赖位置感知前向）
(5.3)	语言模型全序列交叉熵训练目标优化	ar.NeuralAR.fit（配合手写原生 Adam 优化器）
(5.6)	现代因果自注意力与上三角因果加性掩码	第 5.5 节理论推导对比
采样过滤机制	温度缩放 Softmax、Top-k 截断与核采样 Top-p	ar.softmax_t / ar.top_k_filter / ar.top_p_filter
分子生成指标	RDKit 语法有效率、结构唯一率与新颖率	chemdata.generative_metrics（集成 RDKit 拓扑解析引擎）
晶体电荷平衡	无机化学化合价电中性与元素重复核查	chemdata.net_charge / chemdata.repeated_element

附录 B：复现指南

cd code

# 1) 算法核心自检：44 项全自动单元测试，含 120 项逐参数梯度微商核查（零依赖，约 1.5 秒）
python3 tests_ar.py

# 2) 实验一：经典线性自回归物理体检（动力学、振荡与原子链，约 2 秒）
python3 demo_ar_basics.py

# 3) 实验二：字符级神经自回归分子生成（约 6 分钟；使用 --quick 模式约 90 秒）
python3 demo_smiles_ar.py

# 4) 实验三：性质导向的定向分子生成（依赖实验二产出的最优模型权重，约 7 秒）
python3 demo_directed.py

# 5) 实验四：NADE 与 MADE 分子高维特征密度估计（约 6 分钟）
python3 demo_density.py

# 6) 实验五：HOPV 共聚物长序列挑战实验（依赖实验二的小分子预训练模型，约 3 分钟）
python3 demo_polymer_hopv.py

# 7) 实验六~八：调用 DeepChem 工业生态的闭环综合实验（需要 deepchem + rdkit + torch 环境）
python3 demo_deepchem_esol.py        # 实验六：Scaffold 骨架切分闭环（约 45 秒）
python3 demo_deepchem_materials.py   # 实验七：无机带隙组成式与电荷守恒检验（约 3 分钟）
python3 demo_deepchem_reaction.py    # 实验八：USPTO 专利逆反应产物预测 SeqToSeq（约 4.5 分钟）

# 8) 重新渲染并重画全书全部 28 张高分辨率数据图谱（依赖 matplotlib）
MPLCONFIGDIR=/tmp/mplcache python3 make_figures.py

# 9) 重新生成全书 12 张手绘风格示意插图（需要联网与云端图像生成 API 支持）
bash ../images/gen.sh ../images/fig00_cover.png ../images/prompts/fig00_cover.txt

在运行实验脚本时，加入 --quick 模式标志会将轻量测试数据隔离写入 *_quick.json 结果文件中，绝不会覆盖破坏全书主实验所测得的严谨基准数字。

数据来源说明：全部数据集均源自 DeepChem 与 MoleculeNet 官方公开发布的基准数据流，已离线预打包至源码 code/data/ 目录之中（包括 delaney-processed.csv、thermosol.csv、expt_gap/、hopv/ 以及 USPTO_50K.csv）。在运行 DeepChem 的三个大型实验时，程序会默认优先通过官方接口 dc.molnet.load_* 自动校验云端最新缓存（下载存放在 code/data/dc/ 目录），若遇离线或网络波动，将无缝、自动且平滑地回退调用本地随书打包好的 CSV 文件配合 dc.data.CSVLoader 离线加载。

附录 C：术语中英对照

中文规范术语	英文对应学术名词	面向化学/材料研究者的微观物理内涵与一句话解释
自回归模型	autoregressive (AR)	将一个多体联合概率分布，按特定次序化整为零地拆解为一连串条件概率乘积的建模范式
条件概率分布	conditional distribution	在系统给定已经发生的历史上下文微环境下，当前未知状态的转移概率 $p(x_i\mid x_{<i})$
因果性 / 因果掩码	causality / causal mask	物理时间箭头不可逆的单向法则，在网络权重或注意力中强行切断任何对未来信息的可见性
教师强制	teacher forcing	训练网络时每一步均由外部环境无条件注入真实的实验历史中间体，实现全时步的无阻塞并行训练
暴露偏差	exposure bias	训练时依赖完美实验真值、推断时依赖自身预测中间体所引发的环境分布错位与误差级联放大
祖先采样	ancestral sampling	严格依据因果条件概率分布，沿着时间轴由前向后逐个变量分量实施蒙特卡洛状态坍缩的生成方式
精确似然	exact likelihood	能够直接以解析形式计算出的对数概率 $\log p(x)$，无需引入任何变分下界或状态空间近似
归一化常数 / 配分函数	normalizing constant	使得概率测度在全状态空间上的连续积分（或离散求和）严格等于 1 的全局常数因子
困惑度	perplexity (PPL)	负对数似然的指数化指标（$\exp(\text{NLL})$），刻画模型预测下一步时所面临的等价不确定性候选分支数
偏自相关函数	partial autocorrelation (PACF)	在严格剥离所有中间滞后变量的线性间接影响后，时间序列两点之间最纯粹的直接因果关联度
反射系数	reflection coefficient	Levinson–Durbin 递推算法中动态涌现的标度系数 $k_m$，刻画能量在滤波格型结构中的逐级耗散
功率谱密度	spectral density	动力学涨落二阶自协方差函数的连续傅里叶变换，物理上直接映射为体系的特征波谱吸收峰与峰宽
掩码自编码器	masked autoencoder (MADE)	通过在全连接多层网络中为突触连接覆盖二值稀疏掩码，单次前向即可输出全部条件概率的自回归神经架构
掩码自回归流	masked autoregressive flow (MAF)	借助 MADE 参数化下三角可逆坐标变换、在潜空间标准高斯分布与复杂数据分布之间建立的概率流动模型
采样温度	temperature	在推断阶段除以预测 Logit 的缩放标量，用以连续调节分子生成是偏向保守高确定性还是发散高多样性
核采样	nucleus sampling (Top-p)	仅从累积概率质量刚刚超过给定置信阈值 $p$ 的最小动态 Token 核心子集中开展截断随机抽样的技术
化学有效率	validity	生成的一维 SMILES 字符串能够被 RDKit 底层化学图论引擎成功解析为合法稳定分子的百分比
结构唯一率	uniqueness	在所有顺利通过化学解析的生成物中，经规范化（Canonical）去重后互不相同的物理分子比例
结构新颖率	novelty	在所有合法的生成分子中，其化学拓扑从未在原始训练数据库中出现过的新颖未知结构的比例
有序性假象	ordering artifacts	同一客观分子拓扑存在多种合法 SMILES 字符串，导致自回归模型将其误判为异构样本并稀释概率的现象
电荷平衡	charge balance	无机固态晶体中所有原子的经典稳定化学氧化数与其化学计量比的代数乘积和严格满足电中性约束

---

写在最后

合上这份沉甸甸的教程，我们完成了从纯粹初等概率论公理出发、一路穿透时序滤波、深度掩码网络、因果注意力机制，直到在八项严苛化学与材料实证任务中全面搏杀的壮丽航程。整份教程涉及的全部核心代码、基准测试集、多维评估数据、28 张高精度数据图表与 12 幅概念插图，完全集中收录在同一套目录体系之中，附录 B 的复现指令随时等待着读者的检验与挑战。

如果在这趟漫长的智力求索之旅终点，只保留一句话作为赠言，请读者务必牢记：

“自回归”从根本上说从来不是“某一个具体的深度学习算法模型”，而是人类科学家“拆解复杂多体概率体系的一种最朴素、最严密的方式”。

只要你选定了一条前行的因果次序，你便可以用最简单的普通最小二乘线性回归、用离散计数马尔可夫链、用稀疏掩码前馈多层网络、用循环递归神经元、用空洞因果卷积、抑或是用最强大的自注意力 Transformer，去分别逼近每一个局部的微观条件概率——

但无论你的网络包装得多么前沿现代，你都必须时刻谦卑地面对那一组冷峻坚固的客观数学规律与物理常识： 全局归一化是因果隔离免费赠予的礼物（定理 2.2），采样生成的串行时间之箭在数学上无法被逆转（定理 2.3），训练与推断之间的暴露偏差需要被严肃正视；而你在数据前处理中做出的每一个关于变量顺序与序列长度的抉择，都将从底层深刻决定——你的模型最终究竟是真的领悟了天地万物的化学守恒律，还是仅仅在计算机屏幕上学会了笨拙地拼凑几个看似体面的字符玩具。