扩散模型（Diffusion Models）深度教程

从「把一条分子推进噪声里」到「定向生成新材料」：公式推导、纯 Python 实现，与六个化学/材料实验

这是一份专门为「人工智能 × 化学/材料」交叉方向研究者撰写的扩散模型深度教程。

在传统的计算化学与材料设计中，我们习惯于通过量子化学或分子动力学从已知的分子结构出发求解其能量与物理性质。然而，「逆向材料设计」恰恰相反——它要求我们从目标性质出发，在近乎无限且高度离散的化学空间中逆向搜寻甚至创造前所未有的分子与晶体结构。如果我们试图直接让神经网络一步生成一个符合特定能量基态或构象的分子，往往会因化学空间极其崎岖的势能面而陷入绝境。

本教程正是为了系统拆解这一难题而生。我们将从“为什么不能直接一步生成一个分子”的物理与数学根源讲起，逐步推导支撑现代扩散模型的核心理论大厦：高斯链合并引理的方差相加机制、贝叶斯后验的二次型配方闭式解、变分下界的两种独立推导路径、将复杂 KL 散度项严格化简为“预测噪声”均方误差的完整推导、Tweedie 公式与得分向量场（Score）的内在等价性、DDIM 确定性轨迹积分采样的数学构造、分类器引导与无分类器引导的概率分布锐化机制、三种输出参数化形式背后的信噪比梯度尺度缩放、min-SNR 损失权重的设计原理，以及针对原子类型与分子图的离散吸收态扩散转移矩阵与损失函数。

为了让每一个抽象符号都能落地为真实的计算过程，我们采用纯 Python 标准库从零实现了底层的线性代数、残差神经网络与自动微分，全程不依赖 NumPy 与任何深度学习框架。最后，教程不仅在二维几何玩具与解析可算的线性高斯体系上给出了严谨的理论体检，更在三个真实的 DeepChem 科学基准数据集上完成了闭环探索——涵盖 ESOL 水溶性小分子、HOPV 有机光伏供体聚合物以及 Materials Project 无机晶体形成能。在这些真实的实验记录中，我们不仅记录了成功的闭环，更如实记录了因小样本数据塌缩而导致的“负结果”与数据体检现场。

这份教程的定位：本篇与同系列中的《自回归模型》《变分自动编码器》《生成对抗网络》《循环神经网络》《长短时记忆网络》构成了互为映衬的知识图景。在探索高维数据分布的道路上，自回归模型选择将复杂的联合概率拆解为按步生长的条件概率链；变分自动编码器（VAE）通过引入连续隐变量来寻找紧致的数据流形并最大化变分下界；生成对抗网络（GAN）则放弃显式似然建模，转而借助判别器与生成器的极小化极大博弈获取驱动信号。扩散模型则另辟蹊径，走出了第四条道路：它将极其艰难的“单步高维构象生成”任务，拆解为数百乃至上千个连续而微小的“局部退火去噪步骤”。在每一个微小的微元步长内，模型所面对的不再是深不可测的高阶物理势阱，而是一个近乎不可能学错的局部均方误差回归任务——“从当前混合态中减掉微量的高斯热涨落”。它巧妙融汇了 VAE 的变分下界准则、动力学模拟的迭代演化思想以及朗之万采样中的梯度得分场数学，正在分子三维构象采样、晶体晶格预测与全长蛋白质定向设计等前沿领域展现出统治性的生成能力。

---

目录

0. 写在前面
1. 背景：为什么化学需要「加噪再去噪」
2. 数学准备：高斯、KL、得分、Tweedie
3. 前向过程：把分子推进噪声里
4. 反向过程与训练目标：从变分下界到预测噪声
5. 采样：DDPM、DDIM、概率流 ODE
6. 条件生成与引导机制
7. 变体与家族：潜空间、流匹配、离散、等变
8. 化学与材料应用全景地图
9. 纯 Python 实现：公式 ↔ 代码对照
10. 六个实验：每一个数字都是跑出来的
11. 优缺点、常见坑与实践清单
12. 参考文献

附录 A 公式 ↔ 代码对照总表 · 附录 B 复现指南 · 附录 C 术语中英对照

---

0. 写在前面

0.1 这份教程假设你知道什么

为了让阅读过程既严密又高效，我们假定读者已经掌握工科与物理化学专业通行的大学基础数学与编程工具。这包括高等微积分中的多元微积分、复合函数链式求导法则与二次配方法；线性代数中的矩阵乘法、特征分解与对称正定矩阵性质；初等概率论中的条件概率、贝叶斯定理、数学期望与方差运算，以及经典高斯分布的代数性质。在编程方面，读者只需熟悉 Python 语言的基本控制流与面向对象概念，即使从未接触过 PyTorch 或 TensorFlow 也完全不妨碍研读。

相应地，我们并不假定读者具备严苛的测度论随机分析基础，也不要求提前掌握非平衡统计物理中的随机微分方程、得分匹配理论或复杂的变分推断前置知识。凡是超出基础微积分与概率论范畴的高阶概念，本教程都会从最底层的物理图像与离散差分格式起步就地推导。例如在探讨连续时间随机微分方程（SDE）时，我们将始终依托“离散微元时间步在极限下收敛”的直观动力学视角展开，完全规避晦涩抽象的测度论形式主义。

0.2 这份教程的三条主线

为了让繁复的公式推导与代码逻辑条理分明，整份教程紧密交织着三条核心叙事主线。

第一条主线是讲透“不可解性”与扩散机制的巧妙解法。 一切生成模型的核心雄心都在于最大化观测数据的边缘对数似然 $\log p_\theta(x)$。然而在包含了原子类型、键合拓扑与空间几何的高维化学空间中，真实数据分布的归一化配分函数以及边缘化积分是根本无法直接解析求解的。不同于变分自编码器借助编码器隐变量寻求下界的妥协方案，扩散模型采取了一种更为彻底且富有物理直觉的退避策略：它不再强行直接刻画静态的高维数据分布本身，而是引入一条从分子结构到热力学热平衡态（高斯白噪声）的人工扩散通道，转而训练神经网络去精确刻画“当一个有序的分子构象被热涨落随机扰动之后，如何一步步沿自由能梯度将其还原逆转”。教程的第 3 节与第 4 节将把这条数学与物理双重交织的链条从头至尾完整推导开来。

第二条主线是讲透“变分下界为何最终归结为噪声预测”。 初学者在接触扩散模型的损失函数时，常常产生一种错觉，认为那不过是一个凭工程经验随意指定的加权均方误差。然而在数学深处，这个异常简单的目标函数其实是多维隐变量变分下界（ELBO）在连续高斯假设下经过精密配方与逐项抵消后得到的必然产物。教程将在第 4.4 节展现这一核心推导过程，带领读者逐行见证庞大复杂的相对熵求和是如何像热力学状态函数抵消一样，奇迹般坍缩为一个直观优雅的多尺度去噪回归目标。

第三条主线是讲透“扩散模型在化学与材料领域中的学科本色”。 在材料科学与化学信息学中，扩散模型绝不是停留在合成二维图像层面的黑盒工具，它已经在分子三维构象生成、晶体周期性原子坐标优化、光电高分子共聚序列设计以及酶催化活性位点构建等硬核课题上成为了攻坚主力。然而，生成模型的成败在本质上并不单单取决于网络深度，更取决于化学家为物理系统所选取的表示空间（Representation Space）。在经过降维的连续主成分（PCA）流形上进行扩散，与在高度离散且语法苛刻的 SMILES 字符序列上扩散，遵循着截然不同的热力学约束与解码法则。为此，教程在第 8 节精心绘制了化学表示决策地图，并在第 10 节将所有算法落地于真实的化学与材料数据集上，通过六个贯穿全程的实证实验展现模型的威力与局限：

实验	数据	规模	你要看到什么
一、二维玩具	环形 8 个高斯团 + two moons	3000 点	DDPM/DDIM、调度、参数化、加权的差别
二、解析体检	线性高斯（闭式可算）	—	Tweedie、ELBO 分解、方差选择、采样器正确性
三、小分子	DeepChem ESOL（Delaney）	1128 分子	描述符 PCA 空间上的条件扩散 + 逆设计闭环
四、聚合物	DeepChem HOPV 有机光伏供体	350 条	记忆检查 + 条件生成（部分失败）
五、材料组成	MP formation energy	15000 条	单纯形上的 ALR 扩散 + 三个基线对照
六、离散扩散	MP 元素序列	12177 条	吸收态离散扩散 + 共现对检验

0.3 可复现性

科学教程的灵魂在于可验证性。为了确保文中的每一个公式不仅在纸面上成立，更能经受住最严苛的代码检验，我们为本教程确立了三条坚如磐石的工程准则。

首先是计算内核的零外部黑盒化。本教程全部核心算法代码（包括 diffusion.py 中的动力学演化与 chemdata.py 中的特征提取变换）完全使用 Python 官方标准库编写，拒绝调用诸如 NumPy、PyTorch 等高度封装的第三方张量库。唯一引入的第三方绘图库 matplotlib 也仅用于最后的结果渲染。这种近乎严苛的设计使得从矩阵求迹、雅可比矩阵乘积到自动微分反向传播的每一行循环逻辑，都赤裸裸地暴露在读者的视线之下，彻底杜绝了黑盒广播可能掩盖的数学混淆。

其次是全生命周期的确定性随机模拟。计算化学家深知，若随机数发生器的种子游离不定，微观动力学轨迹便无法精确复现。在本套代码中，所有高斯涨落与离散采样的随机性均由显式种子注入的纯算法级随机数引擎（基于 xorshift64* 算法与 Box-Muller 极坐标变换）严格接管。这意味着任何读者在相同架构的计算终端上执行代码，都将复现出逐位一致的浮点数轨迹。

最后是全覆盖的数学单元验证与透明的数字记录。代码库附带了包含整整五十项独立断言的 tests_diffusion.py 测试套件，构建了一道涵盖微观导数到宏观统计极限的质量防火墙。这其中包括逐参数有限差分梯度校验、单步闭式加噪与多步马尔可夫链演化的分布一致性检验、Tweedie 公式与数值贝叶斯后验的逼近度检验，以及变分证据下界（ELBO）在理论上严格低于真实负对数似然（NLL）的数学不等式校验。正文中出现的每一个实验指标，读者都可以在 figures/results_*.json 中找到原始数据落脚点，确保整份教程透明可溯。

0.4 记号表

为了在后续密集的矩阵推导与统计力学变换中保持语意清晰，我们将全文统一使用的数学符号梳理如下：

记号	含义
$x_0$	干净数据（分子描述符、构象坐标、材料组成…）
$x_t$	第 $t$ 步的带噪数据，$t=1,\dots,T$
$\epsilon$	标准高斯噪声，$\epsilon\sim N(0,I)$
$\beta_t$	第 $t$ 步的噪声方差（调度）
$\alpha_t=1-\beta_t$	保留系数
$\bar\alpha_t=\prod_{s\le t}\alpha_s$	累积保留系数
$q(x_t\mid x_{t-1})$	前向（加噪）转移
$q(x_{t-1}\mid x_t,x_0)$	真实后验（闭式可算）
$p_\theta(x_{t-1}\mid x_t)$	学出来的反向转移
$\epsilon_\theta(x_t,t)$	去噪网络（预测噪声）
$\mathrm{SNR}_t=\bar\alpha_t/(1-\bar\alpha_t)$	信噪比
$\nabla_x\log q(x)$	得分（score）
$d$	数据维度

---

1. 背景：为什么化学需要「加噪再去噪」

1.1 化学里的生成任务长什么样

对于习惯于处理二维图像的计算机视觉学者而言，图像生成本质上是在一个连续、稠密且平滑的像素矩阵空间中分配 RGB 强度值。然而，当化学与材料领域的研究人员试图在计算机中从零构建一个新分子或新晶体时，所面临的物理与数学边界要严苛得多。

化学实体天然具有离散与拓扑的本质。无论是一串线性的 SMILES 文本字符、图论意义下的分子拓扑图，还是无机固态化学中的“空间群 + 晶格矢量 + 原子分数坐标”组合，其底层结构都是离散的量子态或拓扑连接。在这些离散对象上，我们根本无法定义传统微积分意义下的连续平滑导数，更不可能直接通过对数据本身求梯度来优化结构。更棘手的是，化学体系被无比严格的自然物理法则所支配：原子的最外层共价价电子必须守恒配对，晶体成分的摩尔化学计量比必须精确归一，而空间三维原子间的键长与范德华排斥半径则受制于极其陡峭的 Lennard-Jones 势能面。这意味着在辽阔的几何构象相空间中，绝大多数微观态在物理上都是能量急剧发散的荒谬结构，哪怕随手在空间中扰动零点几埃的原子距离，采样出的结构有百分之九十九以上都会因立体位阻冲突或价键断裂而成为化学上的无用“垃圾”。此外，评价一个分子“像不像合理结构”与它“在目标器件中是否具备优异的光电/催化性能”往往存在巨大断层，后者往往需要耗费数十甚至上百核心时的密度泛函理论（DFT）计算或昂贵的湿化学合成来验证；而我们在很多特种材料探索领域，手头积累的高质量实验样本往往仅仅只有数十到几百个。

正是在这重重约束下，扩散模型在近年来计算化学界异军突起的原因显而易见：它提供了一种极其优雅的“连续松弛与势能平滑”范式。一方面，它巧妙地绕开了离散拓扑上的梯度缺失，选择先将离散的分子图或构象坐标映射到连续的物化特征流形（如分子描述符连续空间、主成分坐标或图连续表征），并在该连续空间内展开扩散；另一方面，它通过将物理约束（例如晶体成分的非负单纯形约束、空间欧氏三维坐标的旋转平移等变性）在网络底层进行内构嵌入，成功将原本极其崎岖、遍布深渊的化学自由能势能面，转化为一条可以通过退火机制渐进消除热扰动的可学习通道。

1.2 扩散模型的一句话版本

一句话：定义一个在形式上将有序化学数据逐渐扰动退化为标准各向同性正态分布的前向扩散过程，进而训练一个参数化神经网络去逐级反演这一热力学退化轨迹，在每一个极其微小的微元时间步上仅仅剔除少量的确定性噪声。

在形式化语言中，整个体系由在时间维度上互为逆流的两个随机过程紧密拼合而成：

$$\underbrace{q(x_t\mid x_{t-1})}_{\text{前向：加噪，无参数}} \qquad\text{和}\qquad \underbrace{p_\theta(x_{t-1}\mid x_t)}_{\text{反向：去噪，要学}}$$

在这里，前向扩散过程是一个纯粹由物理参数预设控制的马尔可夫链，它完全不需要任何机器学习参数的参与，其作用是确定性地将任意复杂的真实结构分布逐渐推向绝对混乱的各向同性高斯先验态 $N(0,I)$。反向去噪过程则由神经网络深度参数化。当我们需要定向生成全新结构时，只需从处于完全热平衡的随机高斯噪声 $x_T\sim N(0,I)$ 出发，驱动神经网络倒着执行 $T$ 步精细的动力学积分，便能奇迹般地从混沌虚无中析出结构清晰、符合物理规律的干净分子构象 $x_0$。

1.3 它和本系列前几篇的关系

在生成模型的百花园中，扩散模型的坐标极为独特。为了帮助读者建立宏观的方法论视野，我们将它与同系列各篇中的生成范式进行横向对照：

模型	核心动作	似然	采样方式	化学里的典型代表
自回归	拆成一串条件分布	精确可算	逐 token	分子语言模型、聚合物序列生成
VAE	隐变量 + 变分下界	下界	一次前向	SMILES VAE、JT-VAE、CDVAE
GAN	对抗信号	不可算	一次前向	MolGAN
标准化流	可逆变换	精确可算	一次前向	分子构象的流模型
扩散	学一堆小的去噪步骤	下界（ELBO，可算）	迭代 10–1000 步	GeoDiff、DiGress、RFdiffusion

细心审视这一坐标系，读者会发现扩散模型兼具了多种经典模型的优点。与 VAE 相似，它具备数学上严密推导的变分下界，使得研究者能够精确汇报对数似然估计，从而在量化层面上客观裁决两个模型究竟“谁更深刻地理解了材料数据的真实物理分布”；与此同时，它又吸收了 GAN 的迭代生成思想与得分匹配的场论精髓，完全不苛求隐变量空间必须具备高度自洽的低维语义聚合性。最关键的是，扩散模型将原本极其困难的分布匹配任务分解为数百个极其平稳的单步最小二乘回归任务，这使得它成为了当前所有主流深度生成模型中训练稳定性最为卓越的一类。

当然，天底下没有免费的午餐，扩散模型取得超凡生成品质所付出的核心代价便是采样延迟。正如 DDPM 开山论文在标题中坦陈的那样，为了精确再现复杂的物理构象分布，模型在逆向生成时往往需要执行成百上千步迭代，这种计算开销是传统单次前向模型所不可比拟的。

1.4 化学里已经跑通的那些工作

在深入数学腹地之前，我们先鸟瞰当前人工智能化学界最具代表性的破局之作。无论论文包装得多么前沿繁复，决定一个扩散模型物理能力边界的核心问题永远只有一个：它究竟是在何种物理与数学空间中进行扩散演化的？ 下表梳理了这些代表性工作的脉络，本教程后续的推导与实验设计正是汲取了这些工作的底层精粹：

工作	年份	扩散空间	任务	关键设计
GeoDiff / EDM	2022	3D 原子坐标	分子构象生成	等变网络 + 坐标扩散
torsional diffusion	2022	二面角（环面）	构象生成	只在可旋转键上扩散，维度大降
CDVAE	2022	晶格 + 原子坐标 + 组成	晶体生成	三种变量分别扩散
DiffCSP / FlowMM	2023	分数坐标 + 晶格	晶体生成	周期性边界 + 流匹配
DiGress	2023	图的节点/边类别	分子图生成	离散扩散（转移矩阵）
RFdiffusion / Chroma	2023	蛋白质主链坐标	蛋白质设计	等变扩散 + 条件引导
MDLM / DFM	2024	离散 token 序列	序列生成	吸收态（mask）离散扩散
本教程的实验三～六	—	描述符 / PCA / ALR / 元素序列	逆设计	把上面这些思想压到纯 Python

---

2. 数学准备：高斯、KL、得分、Tweedie

如果将扩散模型的整个数学大厦拆解到底层，读者会发现它其实完全建立在三个极其基础的概率与线性代数支柱之上：高斯随机变量的线性相加、高斯条件概率的共轭后验，以及两个高斯分布之间的相对熵（KL 散度）。对于从事计算化学与材料模拟的研究者而言，高斯分布绝不陌生——它不仅是分子谐振子基态波函数的概率分布形式，也是分子动力学热浴中描述热涨落碰撞（如白噪声随机力）的基石。

为了让后续各个章节的动力学推导畅通无阻，本节将集中打通这些必备的数学工具箱。读者无需死记硬背这些式子，本教程附带的测试套件 tests_diffusion.py 已经为文中的每一个关键数学结论配备了逐行的数值校验。

2.1 高斯分布的必备数学工具

在连续多维物理空间中，一个 $d$ 维连续随机变量如果服从多元正态分布，其概率密度函数由均值向量 $\mu$ 与对称正定协方差矩阵 $\Sigma$ 共同确定：

$$N(x;\mu,\Sigma)=\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} \exp\!\Big[-\tfrac12 (x-\mu)^\top\Sigma^{-1}(x-\mu)\Big].$$

在材料与构象扩散的实践中，为了兼顾极高的数据维度与极简的计算复杂度，绝大多数标准扩散模型都采用对角协方差矩阵 $\Sigma=\mathrm{diag}(\sigma_1^2,\dots,\sigma_d^2)$。这意味着不同空间坐标轴或物化特征维度之间的热涨落被假设为统计独立的，整个多元高斯密度函数因而退化为一连串一维高斯密度的简单标量乘积。因此，在随后的绝大多数矩阵推导中，我们都可以放心地将高维运算视为“逐维独立处理的标量微积分”。

在求解高斯后验分布时，最为频繁且关键的代数技巧莫过于多维二次型配方法。对于任意对称正定矩阵 $A$ 以及向量 $b$，恒有如下配方恒等式成立：

$$\begin{aligned} -\tfrac12 x^\top A x + b^\top x &=-\tfrac12 (x-A^{-1}b)^\top A\,(x-A^{-1}b)+\tfrac12 b^\top A^{-1}b . \end{aligned}$$

要证明这一等式十分直观：只需将右侧的二次展开项逐项乘开，注意到对称性带来的交叉项抵消，即可直接验证移项后的恒等关系。这一看似平淡无奇的代数变换，正是扩散模型中“为什么前向加噪的逆条件后验依然严格保持为高斯分布”的根本奥秘——因为在贝叶斯公式中，两个指数二次型概率密度相乘，其指数部分相加后依然是一个严格的关于变量 $x$ 的二次型，经过配方法归拢之后，必然对应着一个全新的高斯分布，其逆协方差矩阵（精度矩阵）正是二次项系数矩阵 $A$，而均值中心则精准落在 $A^{-1}b$ 处。

进一步地，当我们需要计算模型预测误差或损失期望时，经常需要对二次型求统计期望。借助线性代数中的迹技巧（Trace Trick），若随机变量 $x$ 的均值为 $m$、协方差矩阵为 $\Sigma$，且 $A$ 为对称矩阵，则二次型的期望可解析表述为：

$$E\big[(x-m_0)^\top A (x-m_0)\big]=\operatorname{tr}(A\Sigma)+(m-m_0)^\top A(m-m_0).$$

该性质的证明只需令偏差量 $\delta = x - m_0$，展开期望并利用向量内积与矩阵迹的交换律即可得证。这一技巧使得我们在后续评估变分下界时，无需进行耗时的高维数值积分，便能直接将期望转化为矩阵对角线元素与确定性均值偏差的简单加和。

此外，统计物理中广为人知的独立高斯随机变量相加性质构成了时间步累加的基石：如果两个独立体系分别受到 $X\sim N(\mu_1,\Sigma_1)$ 与 $Y\sim N(\mu_2,\Sigma_2)$ 的高斯扰动，则它们的合成位移依旧严格服从高斯分布，其均值与协方差直接线性叠加：

$$X+Y\sim N(\mu_1+\mu_2,\ \Sigma_1+\Sigma_2).$$

这一性质通过特征函数（统计力学中的配分函数傅里叶变换）的独立乘积性可以瞬间获证。最后，我们还需要关注连续高斯分布的微分熵（Differential Entropy）：$h(N(\mu,\Sigma))=\tfrac12\log\det(2\pi e\Sigma)$。对于对角体系，它直接等于 $\tfrac12\sum_j\log(2\pi e\sigma_j^2)$。值得材料与化学学者格外警惕的是，连续变量的微分熵与统计力学中基于微观离散状态数的玻尔兹曼熵不同，当局部尺度方差 $\sigma_j^2$ 极度缩小时，微分熵完全可能为负数，这一微妙的数学性质将在后续第 4.6 节引发关于分子连续对数似然度量约定的深度探讨。

2.2 高斯链合并引理：前向过程的一步到位

在扩散模型的正向演化中，我们直观地将数据破坏过程定义为一条按离散微元步长逐步推进的马尔可夫加噪链。在每一个离散时间步 $t$，系统在前一步状态 $x_{t-1}$ 的基础上注入少量的局部高斯扰动：

$$q(x_t\mid x_{t-1})=N\!\left(\sqrt{\alpha_t}\,x_{t-1},\ \beta_t I\right), \qquad \alpha_t=1-\beta_t . \tag{2.1}$$

若以随机动力学仿真的采样格式写出，它表现为典型的朗之万差分离散形式：

$$x_t=\sqrt{\alpha_t}\,x_{t-1}+\sqrt{\beta_t}\,\epsilon_t, \qquad \epsilon_t\sim N(0,I),\ \epsilon_t \text{ 相互独立}. \tag{2.2}$$

如果我们必须像真实的分子动力学模拟那样，亦步亦趋地从 $t=1$ 连续积分迭代数百步才能得到第 $t$ 步的含噪分子构象 $x_t$，那么训练一个深度神经网络将变得无比缓慢且充斥着误差累积。然而，高斯分布独特的代数结构赋予了我们一个极其优美的数学特权——高斯链合并引理。

引理（闭式单步加噪）. 对于任意给定的演化时间步 $t\ge 1$，在已知初始无噪声干净构象 $x_0$ 的条件下，$x_t$ 的条件边缘概率分布具有如下严格解析的单步闭式解：

$$\boxed{\;q(x_t\mid x_0)=N\!\left(\sqrt{\bar\alpha_t}\,x_0,\ (1-\bar\alpha_t)I\right), \qquad \bar\alpha_t=\prod_{s=1}^t\alpha_s\;} \tag{2.3}$$

这意味着，我们随时可以通过一次简单的正态抽样，直接从 $x_0$ 跳跃生成任意时间步的带噪状态：$x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon$，其中 $\epsilon\sim N(0,I)$。

严谨归纳证明： 我们对演化步数 $t$ 施加数学归纳法。当 $t=1$ 时，由于 $\bar\alpha_1 = \alpha_1$，式 (2.3) 与正向过程单步定义 (2.1) 完全重合，命题自然成立。现在假设该闭式解在第 $t-1$ 步依然成立，即 $x_{t-1}=\sqrt{\bar\alpha_{t-1}}x_0+\sqrt{1-\bar\alpha_{t-1}}\,\bar\epsilon$，其中 $\bar\epsilon\sim N(0,I)$ 且与当前步的新增扰动 $\epsilon_t$ 相互独立。我们将这一递推归纳假设直接代入动力学方程 (2.2) 中：

$$\begin{aligned} x_t&=\sqrt{\alpha_t}\Big(\sqrt{\bar\alpha_{t-1}}x_0 +\sqrt{1-\bar\alpha_{t-1}}\,\bar\epsilon\Big)+\sqrt{\beta_t}\,\epsilon_t\\ &=\underbrace{\sqrt{\alpha_t\bar\alpha_{t-1}}}_{=\,\sqrt{\bar\alpha_t}}\,x_0 +\underbrace{\sqrt{\alpha_t(1-\bar\alpha_{t-1})}\,\bar\epsilon +\sqrt{\beta_t}\,\epsilon_t}_{\text{两个独立零均值高斯变量之和}} . \end{aligned}$$

观察式子右端的随机涨落项，它是两个相互独立、中心化的高斯扰动的线性组合。根据我们在前文确立的独立高斯相加定理，其合成方差可以直接标量相加：

$$\alpha_t(1-\bar\alpha_{t-1})+\beta_t =\alpha_t-\alpha_t\bar\alpha_{t-1}+(1-\alpha_t) =1-\bar\alpha_t .$$

由高斯分布的尺度变换性质可知，一个总方差为 $1-\bar\alpha_t$ 的中心化高斯分布，完全等价于一个标准高斯随机变量 $\epsilon\sim N(0,I)$ 乘上方差开根号项 $\sqrt{1-\bar\alpha_t}$。至此，归纳证明严密闭合。$\square$

这个引理在计算化学扩散模型的工程实现中具备决定性的物理与算力意义：在神经网络的整个反向传播训练过程中，我们根本无需实际模拟繁重的多步扩散链条。无论目标时间步是第 10 步还是第 1000 步，研究人员只需耗费 $O(1)$ 的单次常数级计算开销，便可瞬时将一个分子构象直接“瞬移”至指定的受扰动状态。

2.3 真实后验的闭式解：配方法的首次实战

在理解了如何将干净分子加噪之后，我们面临着生成模型真正的核心命题：如果已知当前时间步的带噪状态 $x_t$，我们应当如何沿着时间之箭反向倒退一步，求出前一状态的条件分布 $q(x_{t-1}\mid x_t)$？

直接求解该分布极其困难，因为边缘化积分散布在整个化学构象空间中。然而，如果我们在训练场景下同时已知终点带噪态 $x_t$ 与始发干净分子构象 $x_0$，那么这一局部反向跃迁条件分布 $q(x_{t-1}\mid x_t, x_0)$ 便可以通过初等贝叶斯定理精确求出。在物理图像上，这相当于在已知始末端点边界条件的情况下，求解粒子在中间时刻的条件概率分布。

根据先验与条件似然定义，我们已知系统具备以下两个高斯分布关系：

$$\underbrace{q(x_{t-1}\mid x_0)=N(\sqrt{\bar\alpha_{t-1}}x_0, (1-\bar\alpha_{t-1})I)}_{\text{由闭式加噪引理 (2.3) 提供的先验信息}} \quad\text{以及}\quad \underbrace{q(x_t\mid x_{t-1})=N(\sqrt{\alpha_t}x_{t-1},\beta_tI)}_{\text{前向单步转移似然}} .$$

根据贝叶斯反演法则，当把 $x_t$ 与 $x_0$ 视为已知观测条件，而将待求解的微观态 $x_{t-1}$ 视为积分变量时，其后验概率密度在正比常数意义下可写为两项指数二次型的乘积：

$$q(x_{t-1}\mid x_t,x_0)\ \propto\ \exp\!\Big[-\frac{\|x_{t-1}-\sqrt{\bar\alpha_{t-1}}x_0\|^2}{2(1-\bar\alpha_{t-1})}\Big] \exp\!\Big[-\frac{\|x_t-\sqrt{\alpha_t}x_{t-1}\|^2}{2\beta_t}\Big].$$

为了利用配方法重构该分布，我们将似然项中关于 $x_{t-1}$ 的二次式展开提公因式：

$$\begin{aligned} \frac{\|x_t-\sqrt{\alpha_t}x_{t-1}\|^2}{2\beta_t} &=\frac{\alpha_t}{2\beta_t}\Big\|x_{t-1}-\frac{x_t}{\sqrt{\alpha_t}}\Big\|^2\\ &=\frac{\alpha_t}{2\beta_t}\Big[\|x_{t-1}\|^2 -\frac{2}{\sqrt{\alpha_t}}x_{t-1}^\top x_t+\frac{\|x_t\|^2}{\alpha_t}\Big]. \end{aligned}$$

将先验二次项与似然二次项合并整理，我们可以精确提取出待求变量 $x_{t-1}$ 的二阶精度矩阵系数 $A$ 以及一次线性项系数 $b$：

$$A=\Big(\frac{1}{1-\bar\alpha_{t-1}}+\frac{\alpha_t}{\beta_t}\Big)I, \qquad b=\frac{\sqrt{\bar\alpha_{t-1}}}{1-\bar\alpha_{t-1}}x_0 +\frac{\sqrt{\alpha_t}}{\beta_t}x_t .$$

对精度矩阵标量因式进行严密通分，并利用恒等代换 $\beta_t=1-\alpha_t$ 与 $\bar\alpha_t=\alpha_t\bar\alpha_{t-1}$：

$$A=\frac{\beta_t+\alpha_t(1-\bar\alpha_{t-1})}{\beta_t(1-\bar\alpha_{t-1})}I =\frac{1-\bar\alpha_t}{\beta_t(1-\bar\alpha_{t-1})}I ,$$

由此立即可得该反向高斯分布的后验协方差方差 $\tilde\beta_t = A^{-1}$：

$$\boxed{\ \tilde\beta_t:=A^{-1}=\frac{\beta_t\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\ } \tag{2.4}$$

随后代入二次型配方法，概率密度核心指数项为 $-\tfrac12(x_{t-1}-A^{-1}b)^\top A(x_{t-1}-A^{-1}b)$，这意味着后验均值 $\tilde\mu_t$ 恰好等于 $A^{-1}b$。将标量乘开化简，便得到了整个扩散理论体系中最为关键的均值公式：

$$\boxed{\ \tilde\mu_t=A^{-1}b =\frac{\sqrt{\bar\alpha_{t-1}}\,\beta_t}{1-\bar\alpha_t}x_0 +\frac{\sqrt{\alpha_t}\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t\ } \tag{2.5}$$

公式 (2.4) 与 (2.5) 构成了整个扩散模型反向过程与变分下界推导的绝对物理地基。在代码实现中，它们分别严密对应着调度器类中的 Schedule.posterior_var 以及高斯扩散模块中的 GaussianDiffusion.q_posterior_params。

为了检验这一推导的物理合理性，我们可以从物理极值直觉上做双向考察。当噪声系数 $\beta_t\to 0$ 时，表明该演化阶段几乎没有注入随机热运动，后验方差 $\tilde\beta_t$ 迅速归零，后验分布自然退化为一个绝对确定的狄拉克 $\delta$ 函数，系统退化为确定性的经典可逆运动；而当演化时间极长（即 $t$ 趋向无穷大，信息完全遗忘，$\bar\alpha_t\to 0$）时，后验方差 $\tilde\beta_t$ 逼近于当前步的加噪方差 $\beta_t$，说明初始分子构象 $x_0$ 的记忆在物理上已经被剧烈的高斯热噪声彻底洗刷殆尽。

2.4 高斯之间的相对熵（KL 散度）

在变分推断框架下，训练生成模型的本质目标是迫使神经网络参数化的反向转移概率分布 $p_\theta(x_{t-1}\mid x_t)$ 尽可能地贴近真实的物理后验分布 $q(x_{t-1}\mid x_t, x_0)$。衡量这两个连续多维分布之间差异的标准统计距离即是 Kullback-Leibler（KL）散度。

设两个一般形式的多元高斯分布分别为 $p_1=N(\mu_1,\Sigma_1)$ 与 $p_2=N(\mu_2,\Sigma_2)$，则两者间的相对熵具有如下精确闭式解析解：

$$\boxed{\ \mathrm{KL}(p_1\|p_2)=\tfrac12\Big[ \log\frac{\det\Sigma_2}{\det\Sigma_1}-d +\operatorname{tr}(\Sigma_2^{-1}\Sigma_1) +(\mu_2-\mu_1)^\top\Sigma_2^{-1}(\mu_2-\mu_1)\Big]\ } \tag{2.6}$$

严谨解析证明： 依据连续分布相对熵的数学定义，$\mathrm{KL}(p_1\|p_2)=E_{p_1}[\log p_1(x)-\log p_2(x)]$。我们分别求解这两项关于分布 $p_1$ 的对数密度期望。第一项展开为：

$$E_{p_1}[\log p_1(x)]=-\tfrac d2\log(2\pi)-\tfrac12\log\det\Sigma_1-\tfrac12 \underbrace{E_{p_1}[(x-\mu_1)^\top\Sigma_1^{-1}(x-\mu_1)]}_{=\,\operatorname{tr}(\Sigma_1^{-1}\Sigma_1)=\operatorname{tr}(I)=d}.$$

对于第二项对数期望，我们运用均值偏差代换技巧，将变量项改写为 $x-\mu_2=(x-\mu_1)+(\mu_1-\mu_2)$，代入后交叉乘积项在期望下因对称性而归零，进而得到：

$$E_{p_1}[\log p_2(x)]=-\tfrac d2\log(2\pi)-\tfrac12\log\det\Sigma_2 -\tfrac12\operatorname{tr}(\Sigma_2^{-1}\Sigma_1) -\tfrac12(\mu_2-\mu_1)^\top\Sigma_2^{-1}(\mu_2-\mu_1).$$

将上述两式相减，归一化常数与 $-\tfrac d2\log 2\pi$ 完美对消，代数因式归纳整理后便直接导出公式 (2.6)。$\square$

特别地，当两个分布都采用对角各向同性协方差且方差完全相等时（即 $\Sigma_1=\Sigma_2=\sigma^2I$），协方差行列式之比为 1，迹项 $\operatorname{tr}(I)=d$ 与常数项 $-d$ 完全相消。此时整个繁琐的矩阵相对熵公式奇迹般地退化为极其简洁的形式：

$$\mathrm{KL}=\frac{\|\mu_1-\mu_2\|^2}{2\sigma^2}. \tag{2.7}$$

也就是说，在方差匹配的理想条件下，高斯分布间的相对熵本质上就是均值中心在欧氏空间中的平方距离除以两倍方差。这个形式极其优美的式 (2.7) 构成了后文将复杂的变分下界逐项化简为去噪神经网络均方误差的全部数学秘密；而原始完整版公式 (2.6) 则将在后续第 10.2 节关于模型是否学习后验方差的严密解析实验中被全面唤醒。

2.5 得分与 Tweedie 公式：场论视角的等价统一

在非平衡统计力学与概率场论中，一个分布密度 $q(x)$ 的**得分向量场（Score）**被严格定义为其对数概率密度的空间空间梯度：

$$s(x):=\nabla_x\log q(x).$$

对于习惯于分子力场模拟的化学学者而言，可以建立一个极其直观的物理对应：在分子动力学中，分子所受的力场保守力等于势能面梯度的负值 $F(x) = -\nabla V(x)$；而在统计分布空间中，由于概率密度常服从玻尔兹曼分布 $q(x)\propto \exp(-V(x)/k_BT)$，其对数梯度 $\nabla_x \log q(x) = -\frac{1}{k_BT}\nabla V(x)$ 在本质上就是指向高密度低势能稳定化学结构的最陡热力学驱动力场。值得重点强调的是，得分求导的对象是物理构象数据空间坐标 $x$，而非神经网络的可训练权重 $\theta$。

与得分紧密交织在一起的数学明珠是经典经验贝叶斯学派中的 Tweedie 公式。设有一随机物理量 $x=\mu+\sigma\epsilon$，其中信号 $\mu$ 服从未知先验分布 $p(\mu)$，而测量扰动 $\epsilon\sim N(0,I)$，则在观测到带噪状态 $x$ 后，真实信号 $\mu$ 的后验条件期望可以通过观测密度自身的对数梯度精确闭式表达：

$$\boxed{\ E[\mu\mid x]=x+\sigma^2\nabla_x\log q(x),\qquad q(x)=\int p(\mu)N(x;\mu,\sigma^2I)\,d\mu\ } \tag{2.8}$$

解析证明（以一维为例，多维按轴独立同理）： 记高斯转移核为 $g(x,\mu)=N(x;\mu,\sigma^2)$。根据高斯核的空间微积分导数性质，直接求导可得 $\partial_x g(x,\mu)=-(x-\mu)/\sigma^2\,g(x,\mu)$。将这一空间导数直接代入边缘分布 $q(x)$ 的积分表达式内部：

$$\nabla_x q(x)=\int p(\mu)\,\partial_x g(x,\mu)\,d\mu =-\frac{1}{\sigma^2}\int p(\mu)(x-\mu)g(x,\mu)\,d\mu =-\frac{x-E[\mu\mid x]}{\sigma^2}q(x) ,$$

在上述最后一步中，我们自然代入了后验贝叶斯密度定义 $p(\mu\mid x)=p(\mu)g(x,\mu)/q(x)$ 以及全概率归一化性质 $\int p(\mu\mid x)d\mu=1$。将等式两端同时除以 $q(x)$ 并稍作移项，式 (2.8) 便跃然纸上。$\square$

现在，我们将高斯扩散模型的闭式转移公式 $x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon$ 严丝合缝地代入 Tweedie 公式 (2.8) 中，对应令先验变量为 $\mu=\sqrt{\bar\alpha_t}x_0$，扰动方差为 $\sigma^2=1-\bar\alpha_t$：

$$E\big[\sqrt{\bar\alpha_t}x_0\mid x_t\big]=x_t+(1-\bar\alpha_t)\nabla_{x_t}\log q(x_t).$$

经过简单的代数因式整理，我们便揭示出了现代生成扩散模型中三套看似迥异的理论表述之间完全等价的内在物理统一性：

$$\underbrace{E[x_0\mid x_t]=\frac{x_t-\sqrt{1-\bar\alpha_t}\,E[\epsilon\mid x_t]}{\sqrt{\bar\alpha_t}}}_{\text{预测原始数据 }x_0\text{ 的视角}} \quad\Longleftrightarrow\quad \underbrace{E[\epsilon\mid x_t]=-\sqrt{1-\bar\alpha_t}\,\nabla_{x_t}\log q(x_t)}_{\text{预测噪声 }\epsilon\ \text{与估计真实得分场完全等价}} \tag{2.9}$$

这一结论在理论上具有振聋发聩的指导意义：在扩散模型的演化体系中，“训练网络去预测当前步掺杂了多少高斯噪声”与“估计带噪分子构象空间中的对数概率密度梯度场”在数学上是同一种物理操作的不同代数马甲。这就从底层彻底阐明了为什么宋飏等人基于连续随机微分方程（SDE）与朗之万采样的得分匹配流派，与 Jonathan Ho 等人基于离散变分推断的 DDPM 框架，尽管在论文中采用了完全不同的语言体系，最终在算法底层却殊途同归地导出了近乎完全相同的网络目标函数。

2.6 蒙特卡洛积分与重要性采样的实战意义

在扩散模型的变分下界与目标优化中，几乎所有的损失与指标都是以连续期望的形式定义的。在计算机内部，我们无法对无限的连续相空间进行解析积分，唯一的求解途径是采用蒙特卡洛经验抽样进行逼近。

当我们面临求取泛函目标 $L=E_{q(z)}[\ell(z)]$ 时，若利用 $n$ 个独立同分布的随机样本构建经验均值估计量 $\hat L=\frac1n\sum_i\ell(z_i)$，该统计量在数学上是无偏的，其抽样方差严格按照样本量反比衰减：$\mathrm{Var}(\hat L)=\mathrm{Var}(\ell)/n$。然而在多尺度扩散模型中，直接对全时间步 $T$ 进行遍历计算极为昂贵。为了在有限计算预算下快速获得无偏估计，工程上常常让样本 $z$ 来自于另一个便于采样的建议分布 $r(z)$（例如在全时间步 $1\sim T-1$ 中均匀离散随机抽样），随后通过引入重要性采样权重 $\tfrac{q(z)}{r(z)}$ 进行方差修正：$L=E_r[\tfrac{q(z)}{r(z)}\ell(z)]$。

然而必须指出的是，重要性采样是一把双刃剑：当提议分布与真实权重分布在某些极端时间步存在剧烈偏离时，有限样本下的统计方差会急剧放大。这正是我们在后文实验中观察到扩散模型对数似然估计（NLL）在小样本下极易剧烈震荡的统计学根源。后续在第 10.2 节的解析体检中，我们将亲手用实测数据剖析这一重要性方差的波动规律。

---

3. 前向过程：把分子推进噪声里

3.1 前向马尔可夫链的动力学定义

前向扩散过程在形式上被定义为一条离散时间的高斯马尔可夫链。在每一个离散微元步长内，系统状态在衰减前序状态的同时，按预设方差注入各向同性的微量白噪声：

$$q(x_t\mid x_{t-1})=N\!\left(\sqrt{1-\beta_t}\,x_{t-1},\ \beta_t I\right), \qquad x_t=\sqrt{\alpha_t}x_{t-1}+\sqrt{\beta_t}\epsilon_t . \tag{3.1}$$

深入理解这一动力学结构，需要把握两个深层次的物理与数学内涵。首先，整个前向过程是完全非参数化（Non-parametric）的。方差系数序列 $\beta_t$ 是人为预设的确定性退火调度表，完全不包含任何需要通过数据优化的神经网络权重。在统计物理视角下，这相当于将有序的分子构象置于一个预设好升温曲线的热库中，强制使其自发进行不可逆的熵增扩散，直至所有结构信息被热混沌彻底淹没。其次，转移方程中作用在 $x_{t-1}$ 上的衰减系数必须严格设定为 $\sqrt{\alpha_t}=\sqrt{1-\beta_t}$，而非简单的数值 1。如果省去该衰减项而写成普通的随机游走 $x_t=x_{t-1}+\sqrt{\beta_t}\epsilon$，系统的总方差将随着时间线性累加发散，导致高维构象在相空间中无限膨胀爆炸。引入衰减因子 $\sqrt{\alpha_t}$ 相当于在连续极限下施加了一个线性谐振恢复力，使前向过程严格对应于统计力学中经典的奥恩斯坦-乌伦贝克（Ornstein-Uhlenbeck）过程，从而将系统在全演化周期内的总能量与方差尺度稳稳钉在单位球面上。

3.2 任意时间步的一步到位解析表达

借助我们在前文第 2.2 节所确立的高斯链合并引理，正向扩散过程展现出了惊人的计算简并性。对于任意给定的时间步 $t$，带噪状态 $x_t$ 相对于初始结构 $x_0$ 的边缘条件分布可直接解析写为：

$$x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\qquad \epsilon\sim N(0,I). \tag{3.2}$$

若我们预先对输入的化学数据（如分子拓扑描述符或归一化原子坐标）进行标准预处理，使其协方差矩阵满足 $\mathrm{Var}(x_0)\approx I$，那么在任意演化时间步 $t$ 上，带噪微观态的总体协方差都严格守恒为单位矩阵：

$$\mathrm{Var}(x_t)=\bar\alpha_t I+(1-\bar\alpha_t)I=I .$$

这意味着所有时间步上的特征数据在统计尺度上永远保持为 1。这一优雅的方差守恒性质，正是扩散模型在深度学习领域以“训练极端稳定、几乎完全无需小心翼翼调谐优化器学习率”而著称的底层力学原因。这也是本教程在后续所有化学实验中，无一例外地坚持先对特征流形执行严格标准化的核心依据所在。

3.3 局部反向转移的闭式贝叶斯后验

正如第 2.3 节的严密代数推导所示，一旦初始无噪构象 $x_0$ 作为已知条件被引入，反向单步条件分布 $q(x_{t-1}\mid x_t,x_0)$ 便立即获得了解析的闭式高斯解：

$$q(x_{t-1}\mid x_t,x_0)=N(\tilde\mu_t,\tilde\beta_t I), \quad \tilde\mu_t=\frac{\sqrt{\bar\alpha_{t-1}}\beta_t}{1-\bar\alpha_t}x_0 +\frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t, \quad \tilde\beta_t=\frac{\beta_t(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}. \tag{3.3}$$

这一数学事实直接构成了扩散模型能够实现“单步只学微量退火”的灵魂基石。在神经网络的训练阶段，由于训练集中的真实分子 $x_0$ 是完全已知的，这使得“在当前含噪构象 $x_t$ 的基础上，前一步 $x_{t-1}$ 的理论理想均值究竟应该落在何处”成为了一个有标准答案的解析问题。神经网络不再需要去盲目猜测复杂的跨模态能量跳跃，而只需作为一个高维拟合器，去无限逼近这个已知确定答案的局部最小二乘回归目标。

3.4 噪声调度的演化策略：$\beta_t$ 的几何轨迹

噪声调度方案是扩散模型设计体系中最为经济、也最为灵敏的调优旋钮——调整它完全不需要改动神经网络的任何层级架构。在代码库的 Schedule.__init__ 构造函数中，我们实现了四种最具代表性的调度曲线。

最经典的线性调度（Linear Schedule）直接沿袭自 DDPM 原作，它将单步方差设置为从 $\beta_1=10^{-4}$ 线性递增至 $\beta_T=0.02$ 的等差数列。第二种是二次调度（Quadratic Schedule），它将线性增长项替换为二次幂增长，从而在演化初期保持极慢的加噪速率。第三种则是更为科学的余弦调度（Cosine Schedule），由 Nichol 与 Dhariwal 提出。余弦调度不再直接设定微观方差 $\beta_t$，而是从宏观累积保留系数 $\bar\alpha_t$ 的整体平滑轨迹反向推导微观方差：

$$\bar\alpha_t=\frac{\cos^2\!\big(\frac{\pi}{2}\cdot\frac{t/T+s}{1+s}\big)} {\cos^2\!\big(\frac{\pi}{2}\cdot\frac{s}{1+s}\big)},\qquad s=0.008, \qquad \beta_t=1-\frac{\bar\alpha_t}{\bar\alpha_{t-1}} . \tag{3.4}$$

微小偏移量 $s$ 的引入，能够有效避免演化初期 $t=0$ 附近出现方差突变而瞬间破坏原始结构。余弦调度的精妙之处在于它在时间链条的中段提供了更加线性、均匀的信息退化速度，使得构象特征在各个噪声水平上都能分配到充足的梯度学习信号。最后一种是sigmoid 调度，它借助归一化的 S 型曲线，使扩散过程在两端极度平缓而在中间快速演进。

为了在不同数学形式的调度方案之间建立一个客观的物理对照系，我们引入统计物理中的核心度量——信噪比（Signal-to-Noise Ratio, SNR）：

$$\mathrm{SNR}_t=\frac{\bar\alpha_t}{1-\bar\alpha_t}, \qquad \lambda_t=\log \mathrm{SNR}_t . \tag{3.5}$$

信噪比精确量化了“残留信号能量与注入噪声能量的比值”，它随着演化步数单调衰减。在本质上，对数信噪比 $\lambda_t$ 是横向比较一切调度方案的真实内禀坐标：无论两条调度曲线在代数形式上看起来多么迥异，只要它们的信噪比随时间衰减的相对斜率保持一致，模型所感受到的物理退化环境就是完全同构的。

3.5 演化步数 $T$ 的截断误差：先验项 $L_T$ 的定量审视

在扩散模型的理论闭环中，我们假定在终止时间步 $T$ 时，系统已经完全退化至各向同性高斯先验，即 $q(x_T\mid x_0)\approx N(0,I)$。因为只有当这一假设成立时，我们才能在生成阶段合法地从纯高斯白噪声中启动反向过程。利用第 2.4 节推导的高斯相对熵公式 (2.6)，两者之间的理论偏差具有严格的定量表达式：

$$\mathrm{KL}\big(q(x_T|x_0)\|N(0,I)\big) =\tfrac12\Big[(1-\bar\alpha_T)d+\bar\alpha_T\|x_0\|^2-d-d\log(1-\bar\alpha_T)\Big]. \tag{3.6}$$

在数据经过归一化处理（$\|x_0\|^2\approx d$）且终点残留系数极小（$\bar\alpha_T\ll 1$）的前提下，式 (3.6) 方括号内的 $\bar\alpha_T\|x_0\|^2$ 与 $-d\bar\alpha_T$ 恰好相消，只剩对数项主导；再对对数项做一阶泰勒展开，该相对熵可极其紧凑地近似为：

$$\mathrm{KL}\approx -\tfrac d2\log(1-\bar\alpha_T) \ \approx\ \tfrac d2\,\bar\alpha_T .$$

通过代入具体的调度参数，我们可以清晰观察到步数压缩对先验截断误差的定量影响：

调度	$T$	$\bar\alpha_T$	$\mathrm{KL}/d$
linear（$\beta_T=0.02$）	1000	$4.0\times10^{-5}$	$2.0\times10^{-5}$
linear	100	0.363	0.23
cosine	1000	$2.4\times10^{-9}$	$1.2\times10^{-9}$
cosine	100	$2.4\times10^{-7}$	$1.2\times10^{-7}$

（表中 cosine 行的终点系数由本教程 Schedule("cosine") 的实现给出：按定义 $\bar\alpha_T$ 在 $t=T$ 处恰为 0，实现时对最后一步的 $\beta_T$ 施加了 0.999 的截断，故终点残留极小。）

这一组定量计算揭示了一个在工程实践中常被忽视的重要事实：当演化步数设定为标准的 $T=1000$ 时，先验项 $L_T$ 的信息漏失完全处于可忽略的微量级；然而，若为了追求快速模拟而强行将步数截断至 $T=100$ 且依然机械地沿用线性调度，残留系数将飙升至 0.363，导致每个特征维度平白损失高达 0.23 nats 的先验匹配度。此时，系统演化的起点根本尚未抵达标准高斯态，反向生成的物理基底从第一步开始便发生了系统性偏差。

---

4. 反向过程与训练目标：从变分下界到预测噪声

本节是贯通整个扩散模型理论脉络的核心中枢。在这里，我们将逐步揭开那个看似平凡无奇的神经网络均方误差损失背后的深刻机理，见证它如何从严格的多维变分下界中一步步推导出来。

4.1 反向动力学的参数化设定

在真实的物理退化世界中，反向过程 $q(x_{t-1}\mid x_t)$ 必须通过对不可知的数据先验 $x_0$ 进行全空间积分来获得：

$$q(x_{t-1}\mid x_t)=\int q(x_{t-1}\mid x_t,x_0)\,q(x_0\mid x_t)\,dx_0 .$$

然而这一边际积分直接受困于化学相空间的维度灾难，在数学上是绝对不可解析求解的。面对这一不可解性，扩散模型采取了两步紧密配合的变分策略。第一步是分布形式参数化：鉴于微元时间步内的扰动微弱，我们假设反向转移核同样近似服从对角协方差的高斯分布，将其均值交由神经网络 $\mu_\theta(x_t, t)$ 进行预测，而方差则指定为依赖时间步的标量序列 $\sigma_t^2$：

$$p_\theta(x_{t-1}\mid x_t)=N\big(\mu_\theta(x_t,t),\ \sigma_t^2I\big); \tag{4.1}$$

第二步则是变分逼近优化：借助统计力学中最大化自由能下界的思想，构建观测数据真实边缘对数似然 $\log p_\theta(x_0)$ 的变分证据下界（ELBO），并将其作为训练参数化网络 $\theta$ 的最高优化准则。

4.2 变分下界的严格构建：路径 A（琴生不等式）

为了推导下界，我们将反向生成轨迹的全状态联合概率分布与前向加噪过程的条件联合分布分别写为连乘积：

$$p_\theta(x_{0:T})=p(x_T)\prod_{t=1}^{T}p_\theta(x_{t-1}\mid x_t), \qquad q(x_{1:T}\mid x_0)=\prod_{t=1}^{T}q(x_t\mid x_{t-1}).$$

在上述定义中，终点先验 $p(x_T)=N(0,I)$ 保持为各向同性无参高斯分布。根据积分变换与概率论中经典的琴生不等式（利用对数函数的严格上凸性 $\log E[Z]\ge E[\log Z]$），我们可以将边缘对数似然严密放大缩减为一个期望下界：

$$\begin{aligned} \log p_\theta(x_0) &=\log\int p_\theta(x_{0:T})\,dx_{1:T}\\ &=\log\int q(x_{1:T}|x_0)\, \frac{p_\theta(x_{0:T})}{q(x_{1:T}|x_0)}\,dx_{1:T}\\ &\ge \underbrace{E_{q(x_{1:T}|x_0)}\Big[\log\frac{p_\theta(x_{0:T})}{q(x_{1:T}|x_0)}\Big]}_{=:\ \mathrm{ELBO}} . \end{aligned} \tag{4.2}$$

这便完成了路径 A 的推导。然而，式 (4.2) 中的比值期望形式过于抽象，无法直接指导多层神经网络在特定时间步上的参数更新。为此，我们必须转向路径 B，通过时间轴上的代数重排将其彻底打散。

4.3 变分下界的时间展开：路径 B（KL 望远镜分解）

将联合分布的连乘形式代入变分期望表达式中，对数比值可逐项拆解为两组对数概率密度的求和差值：

$$\begin{aligned} \mathrm{ELBO} &=E_q\Big[\log\frac{p(x_T)\prod_{t=1}^T p_\theta(x_{t-1}|x_t)} {\prod_{t=1}^T q(x_t|x_{t-1})}\Big]\\ &=E_q\Big[\log p(x_T)+\sum_{t=1}^T\log p_\theta(x_{t-1}|x_t) -\sum_{t=1}^T\log q(x_t|x_{t-1})\Big]. \end{aligned}$$

整个推导最为精妙的一笔，在于利用马尔可夫链的贝叶斯关系 $q(x_t\mid x_{t-1}) = \frac{q(x_{t-1}\mid x_t, x_0) q(x_t\mid x_0)}{q(x_{t-1}\mid x_0)}$，将分母项中原本无法配对的 $q(x_t\mid x_{t-1})$ 转化为能够与前向边际和反向转移逐项抵消的望远镜结构。经过严密的项重组，原本错综复杂的联合对数比值奇迹般地重构为三项意义极其明晰的独立分量：

$$\begin{aligned} \mathrm{ELBO} =\ &\underbrace{E_q\big[\log p_\theta(x_0|x_1)\big]}_{L_0\ \text{微观重建项}}\\ &-\sum_{t=2}^{T}\underbrace{E_q\big[ \mathrm{KL}\big(q(x_{t-1}|x_t,x_0)\,\|\,p_\theta(x_{t-1}|x_t)\big)\big]}_{L_{t-1}\ \text{去噪匹配项}} \ -\ \underbrace{\mathrm{KL}\big(q(x_T|x_0)\|p(x_T)\big)}_{L_T\ \text{先验匹配项}} . \end{aligned} \tag{4.3}$$

在这一结构中，$L_0$ 对应着从极微弱噪声状态 $x_1$ 恢复出绝对干净真实分子构象的条件对数似然，在物理上主导着生成结果的高分辨率重建保真度；中间由 $t=2$ 至 $T$ 累加的 $L_{t-1}$ 系列项，精确衡量了在每一个不同的热涨落能级下，模型反向去噪的几何方向与真实热力学后验之间的相对熵差异；最后的 $L_T$ 项则完全是前向最终态与标准高斯先验之间的静态距离，与神经网络的权重参数完全无关。这一经典分解赋予了变分下界坚实的物理支柱：

项	形式	在化学与材料生成中的物理意义
$L_0$	$E[\log p_\theta(x_0|x_1)]$	从近乎无噪的构象微元还原出干净的原子键长与结构，反映微观化学重建精度
$L_{t-1}$	$\mathrm{KL}(q(x_{t-1}|x_t,x_0)|p_\theta)$	刻画在特定噪声能级下，神经网络逆转退火轨迹的动力学场向量准确性
$L_T$	$\mathrm{KL}(q(x_T|x_0)|N(0,I))$	衡量终点态距离理想高斯热平衡态的漏失偏差，是系统先验截断误差

4.4 从相对熵到预测噪声的严格化简

在变分下界的三个组成部分中，先验项 $L_T$ 无法提供优化梯度，末端项 $L_0$ 属于端点重建，而核心的优化负载完全集中在中间 $T-1$ 个去噪项 $L_{t-1}$ 上。根据式 (4.3)，每一项都是两个高斯分布之间的相对熵。由于真实后验协方差为 $\tilde\beta_t I$，如果我们令模型反向转移方差也精确取为 $\sigma_t^2=\tilde\beta_t$，则根据第 2.4 节确立的同方差高斯相对熵公式 (2.7)，复杂的积分项立即退化为两个分布均值中心之间的欧氏平方距离：

$$L_{t-1}=\frac{1}{2\tilde\beta_t}\,\big\|\tilde\mu_t(x_0,x_t) -\mu_\theta(x_t,t)\big\|^2 . \tag{4.4}$$

我们分三个严格的代数步骤对该式进行彻底化简。

在第一步中，我们考察神经网络均值 $\mu_\theta$ 的内在参数化形式。受到真实后验均值公式 (2.5) 的启发，DDPM 并没有让网络直接裸输出均值坐标，而是采用了一种“根据当前构象 $x_t$ 与网络对噪声的预测值 $\hat\epsilon_\theta(x_t,t)$ 线性组合反推均值”的结构：

$$\mu_\theta(x_t,t)=\frac{1}{\sqrt{\alpha_t}} \Big(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\hat\epsilon_\theta(x_t,t)\Big). \tag{4.5}$$

为了验证这一参数化形式的内在自洽性，我们假设网络处于理论上的完美收敛状态，即预测噪声与构建当前样本所使用的真实标准高斯噪声完全一致（$\hat\epsilon_\theta=\epsilon$）。将闭式加噪公式中的真值代换关系代入式 (4.5) 中：

$$\begin{aligned} \mu_\theta\big|_{\hat\epsilon=\epsilon} &=\frac{1}{\sqrt{\alpha_t}}\Big[x_t-\frac{\beta_t}{1-\bar\alpha_t} \big(x_t-\sqrt{\bar\alpha_t}x_0\big)\Big]\\ &=\frac{1}{\sqrt{\alpha_t}}\cdot\frac{(\alpha_t-\bar\alpha_t)x_t +\beta_t\sqrt{\bar\alpha_t}\,x_0}{1-\bar\alpha_t} \qquad(\text{代换 }1-\beta_t=\alpha_t)\\ &=\frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t +\frac{\sqrt{\bar\alpha_{t-1}}\beta_t}{1-\bar\alpha_t}x_0 =\tilde\mu_t . \end{aligned}$$

代数恒等式的成立直接证明了一个惊人的结论：一旦网络能够完美预测出当前步注入的噪声，式 (4.5) 给出的均值预测值就会在数学上分毫不差地精确重合于真实物理后验的均值 $\tilde\mu_t$。

在第二步中，我们计算网络在实际非理想状态下的均值预测偏差。利用一阶函数的线性可微性，将 $x_t$ 的闭式展开式代入均值结构中相减，由于常数项相互抵消，均值预测偏差直接正比于噪声预测的绝对误差：

$$\mu_\theta-\tilde\mu_t =-\frac{\beta_t}{\sqrt{\alpha_t}\sqrt{1-\bar\alpha_t}} \big(\hat\epsilon_\theta(x_t,t)-\epsilon\big). \tag{4.6}$$

在第三步中，我们将均值偏差 (4.6) 严密代回相对熵二次式 (4.4) 中：

$$\boxed{\ L_{t-1}=\frac{\beta_t^2}{2\tilde\beta_t\,\alpha_t\,(1-\bar\alpha_t)} \big\|\epsilon-\hat\epsilon_\theta(x_t,t)\big\|^2\ } \tag{4.7}$$

最后，我们将后验方差的解析定义 $\tilde\beta_t=\beta_t(1-\bar\alpha_{t-1})/(1-\bar\alpha_t)$ 代入前面的缩放系数中，经历了数次因式抵消后，整个变分下界项最终收敛为一个异常干净的解析形式：

$$\frac{\beta_t^2}{2\tilde\beta_t\alpha_t(1-\bar\alpha_t)} =\frac{\beta_t}{2\alpha_t\,(1-\bar\alpha_{t-1})} \ \approx\ \frac{1}{2t}\quad(\text{微元线性调度极限}). \tag{4.8}$$

至此，全篇最重要的数学推导彻底水落石出：在看似深奥晦涩的高维变分推断大厦之下，变分下界中的每一个相对熵项，在本质上完全等同于神经网络预测噪声与真实噪声之间的加权均方误差（MSE）。训练一个多步扩散模型，在计算本质上等价于在不同的热涨落尺度下训练一个共享参数的多任务最小二乘回归器。在底层代码库中，diffusion.elbo_eps_weight(sch, t) 函数对该权重提供了精确对应，单元测试 tests_diffusion.py 亦逐行验证了公式 (4.8) 与理论原始形式的绝对代数一致性。

若进一步考虑模型学习反向方差的情形，当 $\sigma_p^2$ 不严格等于 $\tilde\beta_t$ 时，需启用完整版相对熵公式 (2.6)。通过对未知方差求偏导令其为零，可以导出点态最优的反向协方差下限为 $\sigma_p^{2\star}=\tilde\beta_t+c_1^2\tau_t^2$，其中后序项代表了初始构象的条件后验方差。这一拓展清晰地揭示出：均值预测的不确定性越大，体系所匹配的最优热力学方差就应当越大。

4.5 简化目标函数 $L_\text{simple}$ 的得与失

在 2020 年的经典工作 DDPM 中，作者做出了一个在当时看似离经叛道的工程抉择：他们选择直接强行抹除所有依赖于时间步的理论加权系数 (4.8)，将最终的优化目标简化为均匀时间采样的等权均方误差：

$$L_\text{simple}=E_{t\sim U\{1,T\},\ x_0,\ \epsilon} \Big[\big\|\epsilon-\hat\epsilon_\theta(\sqrt{\bar\alpha_t}x_0 +\sqrt{1-\bar\alpha_t}\epsilon,\ t)\big\|^2\Big]. \tag{4.9}$$

抛弃严格的理论系数引发了深刻而辩证的工程连锁反应。从积极的方面来看，舍弃系数打破了理论权重在极小时间步（$t\to 1$ 时分母 $1-\bar\alpha_{t-1}$ 逼近于 0）导致的梯度发散爆炸，使得全生命周期的梯度尺度保持在一个平缓健康的数值区间内，模型训练因此展现出非凡的鲁棒性，生成分子的微观几何构型显著改善。然而，这一工程妥协所带来的代价同样深远：一旦丢弃了理论权重，简化损失 $L_\text{simple}$ 便不再在数学上严格对应于真实数据对数似然的下界，其实测数值的高低不再能够单调映射为模型生成品质的优劣。正如我们在后文第 10.1 节消融实验中观察到的惊人现象——一个 $L_\text{simple}$ 损失更低的噪声调度方案，其采样生成的化学分子构象质量反而可能显著恶化。因此，严谨的科研工程规范始终是：利用平稳的 $L_\text{simple}$ 驱动网络参数训练，而始终坚持调用严格的理论变分下界 ELBO 评估模型的概率保真度。

4.6 连续物理特征的重建项约定与负对数似然

在变分下界的端点处，微观重建项为 $L_0=E_q[\log p_\theta(x_0|x_1)]$。然而在连续物理相空间中，由于初始边界条件 $x_0$ 绝对确定，真实物理后验 $q(x_0\mid x_1, x_0)$ 退化为一个无方差的狄拉克 $\delta$ 函数。对连续 $\delta$ 分布计算相对熵在数学上会发散至无穷大，因而我们必须人为为第一步反向条件转移 $p_\theta(x_0\mid x_1)$ 指定一个有限的尺度方差。

本教程遵循改进型扩散模型（improved DDPM）的通行物理准则，设定终端方差为第一步的加噪方差 $\sigma_0^2=\beta_1$，由此导出连续数据的微观重建项：

$$L_0=\tfrac d2\log(2\pi\beta_1) +\frac{\big\|x_0-\mu_\theta(x_1,1)\big\|^2}{2\beta_1}. \tag{4.10}$$

这一处理在化学与材料信息学中牵引出一个极其关键的度量约定问题。当演化步数较大时（例如 $T=1000$ 时的线性调度，初始方差 $\beta_1=10^{-4}$），高斯归一化系数中的常数对数项 $\log\beta_1\approx -9.2$ 会导致 $L_0$ 呈现为一个庞大的负数值；与此同时，累加去噪项 $\sum_t L_{t-1}$ 则是一个数值相仿的庞大正数，二者在数量级上剧烈对消。这表明，连续物理特征的所谓“比特每维度（bits/dim）”度量并非绝对的物理熵，而是一个完全受制于步数 $T$ 与端点方差 $\sigma_0^2$ 选取的约定性度量。在计算机视觉中，像素具有离散的 256 个色阶区间，因此可以通过对量化区间求定积分天然规避负熵；然而连续的材料描述符与三维原子坐标则必须时刻谨记这一约定边界。因此，在评估分子扩散模型的绝对似然时，跨越不同基准的绝对数值毫无意义，唯有在相同步数约定下的相对数值升降才具备真实的统计学诊断价值。

4.7 三种输出参数化的力学等价与梯度差异

根据 Tweedie 等价变换公式 (2.9)，神经网络的输出目标存在三种完全可相互闭式反解的形式：直接预测外加噪声 $\hat\epsilon$、直接预测无噪真实构象 $\hat x_0$，以及由 Salimans 与 Ho 提出的速度参数化向量 $\hat v$：

$$\hat\epsilon=\frac{x_t-\sqrt{\bar\alpha_t}\hat x_0}{\sqrt{1-\bar\alpha_t}}, \qquad \hat v=\sqrt{\bar\alpha_t}\,\hat\epsilon-\sqrt{1-\bar\alpha_t}\,\hat x_0 . \tag{4.11}$$

引入 $v$ 参数化的物理初衷，在于平衡不同信噪比极限下的预测稳定性。在高噪声区域（$\bar\alpha_t\to 0$），初始构象 $x_0$ 的痕迹近乎消失，网络强行预测 $x_0$ 会导致剧烈的发散，而噪声 $\epsilon$ 的预测则极为稳定；相反在低噪声区域（$\bar\alpha_t\to 1$），残余噪声极度微弱导致 $\epsilon$ 难以稳定捕获，而结构 $x_0$ 却清晰可辨。速度向量 $v$ 通过对两端施加自适应的信噪比正交投影，完美平抑了全区间的数值敏感性。其反向解码重构公式极为紧凑：

$$\hat x_0=\sqrt{\bar\alpha_t}\,x_t-\sqrt{1-\bar\alpha_t}\,\hat v,\qquad \hat\epsilon=\sqrt{\bar\alpha_t}\,\hat v+\sqrt{1-\bar\alpha_t}\,x_t . \tag{4.12}$$

必须引起高度警惕的是，尽管三种参数化在代数表示上可以无损互换，但改变网络的输出参数化绝不等价于在同一个损失表面上滑动。当我们将损失函数统一定义在噪声误差 $\|\epsilon-\hat\epsilon\|^2$ 空间时，反向传播向网络底层传递的实际梯度必须链式乘以输出变换的雅可比导数项：

$$\frac{\partial \hat\epsilon}{\partial \hat x_0} =-\frac{\sqrt{\bar\alpha_t}}{\sqrt{1-\bar\alpha_t}}, \qquad \frac{\partial \hat\epsilon}{\partial \hat v}=\sqrt{\bar\alpha_t}.$$

这意味着，若直接选用 $x_0$ 参数化，网络在高信噪比（小时间步）区域接收到的反向传播梯度将被内生性地放大 $\mathrm{SNR}_t$ 倍，从而迫使模型将绝大多数参数容量倾斜于局部微观细节的修饰；而采用 $v$ 参数化则会对高低噪声两极实施平滑的阻尼调节。因此，更换参数化形式绝非仅仅是更改符号标签，它在本质上对整个学习过程施加了强烈的隐式动态重加权。

4.8 min-SNR 损失加权：平抑梯度的工程智慧

既然参数化的选择会自发重塑不同信噪比区间上的梯度分配，我们是否能更具前瞻性地主动设计一套损失权重，在全生命周期内平抑梯度的剧烈波动？这正是 Hang 等人在 2023 年提出的 min-SNR 损失加权策略的出发点。

在经典的均方误差训练中，若将优化视角切换至无噪构象重建空间，等效损失函数会自然带有信噪比因子 $E[\mathrm{SNR}_t\|\hat x_0-x_0\|^2]$，使得高信噪比阶段的梯度占据压倒性统治地位。为了防止模型在微观低噪声阶段过度拟合而忽视决定构象骨架的大尺度宏观去噪，min-SNR 策略将有效权重上限严格截断在一个预设阈值 $\gamma$（实践中常取常数 5）：

$$\boxed{\ w_t=\frac{\min(\mathrm{SNR}_t,\gamma)}{\mathrm{SNR}_t}\ } \tag{4.13}$$

通过在代码中引入 diffusion.min_snr_weight(snr, gamma)，该加权函数在高信噪比阶段自发衰减，平滑截断了过度激进的局部梯度冲击。与此同时，这也进一步解释了为何在实测中绝不能直接使用理论精确 ELBO 权重 $\frac{\beta_t}{2\alpha_t(1-\bar\alpha_{t-1})}$ 进行反向传播——因为在极低噪声步，该权重在数值上会急剧飙升至 $10^5$ 量级以上，引发毁灭性的数值发散。

4.9 算法训练的完整执行流

综合上述全部理论推导，扩散模型去噪神经网络的训练流程高度凝练为一个具备极其优美几何意义的算法循环（代码中严密封装于 train_denoiser 函数内）：

输入：标准化数据集 {x_0}，确定性噪声调度序列 {β_t}，参数化去噪网络 ε_θ
重复执行直至参数收敛：
  从训练集中抽取一个物理样本微批次 {x_0^(i)}
  为每个样本独立在全区间离散均匀采样时间步 t ~ U{1..T}，并独立抽取标准高斯热扰动 ε ~ N(0, I)
  利用一步到位引理构建当前的受扰动混合态：x_t = √ᾱ_t x_0 + √(1-ᾱ_t) ε
  将含噪状态与时间步编码喂入网络，获取去噪预测输出：ε̂ = ε_θ(x_t, t)
  计算当前批次的加权最小二乘损失：L = mean_i w_t ‖ε − ε̂‖²
  通过基于链式法则的反向传播计算梯度，并利用 Adam 等自适应优化器更新权重 θ

纵观整个训练算法，其内在蕴含着三项极为轻盈的计算美感：整个更新过程是一个极其纯粹的单次前向与单次反向循环，既不存在自回归模型深不见底的时间轴序列梯度回传，也摒弃了生成对抗网络中判别器与生成器脆弱敏感的极小极大对抗博弈；训练阶段完全不需要耗费任何算力去估计难解的全局配分函数或边缘似然；网络亦无需苛求任何反常的参数初始化或外加惩罚项。正是这种在数学与工程层面的高度纯粹性，使得扩散模型成为了生成式深度学习史上最为稳健的高维建模利器。

---

5. 采样：DDPM、DDIM、概率流 ODE

当神经网络训练收敛之后，扩散模型的所有核心挑战都转移到了采样生成阶段。对于从事分子设计与材料发现的研究者而言，如果模型训练是一次性的前期物理势能面学习，那么采样过程就是高通量探索与生成全新材料构象的动力学模拟实操。由于反向演化需要沿着时间轴逐步积分，采样速度与保真度成为了制约扩散模型应用落地的最关键瓶颈。

5.1 DDPM 祖先采样：有限温度下的朗之万退火

在经典的 DDPM 框架中，生成过程被称为祖先采样（Ancestral Sampling）。其物理图景极为生动：它类似于统计物理中在有限温度热浴下进行的随机退火。在每一个反向微元时间步 $t$，训练完成的网络首先预测出当前状态所包含的噪声 $\hat\epsilon_\theta(x_t, t)$，随后代入式 (4.5) 提取出前一时刻的条件后验均值；为了维持正则系综的统计涨落，系统在均值漂移的基础上，必须额外叠加一项由局部后验方差调控的高斯随机热动力冲击：

$$\boxed{\ x_{t-1}=\frac{1}{\sqrt{\alpha_t}}\Big(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}} \hat\epsilon_\theta(x_t,t)\Big)+\sigma_t z,\qquad z\sim N(0,I)\ (t>1) \ } \tag{5.1}$$

当演化抵达最终时刻 $t=1$ 时，系统不再追加任何随机扰动，直接输出均值以保证最终生成的物理构象具备最纯净的几何确定性。

关于反向方差 $\sigma_t^2$ 的选取，理论与工程界长期存在着两种经典基准：一种是直接沿用当前前向步的加噪方差 $\sigma_t^2=\beta_t$，另一种则是采用式 (2.4) 推导出的条件后验方差 $\sigma_t^2=\tilde\beta_t$：

$$\sigma_t^2=\beta_t \quad\text{或}\quad \sigma_t^2=\tilde\beta_t=\frac{\beta_t(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}. \tag{5.2}$$

DDPM 原创论文指出这两种方差选取在图像宏观感知上差异极其微弱。然而在计算物理的严格标尺下，究竟哪一种方差更优并没有普遍的定论，它本质上取决于去噪网络的均值预测误差水平。在后续第 10.2 节的解析推导中，我们将严格证明点态最优的反向方差为 $\sigma_p^{2\star}=\tilde\beta_t+c_1^2\tau_t^2$，它在数值上略大于 $\tilde\beta_t$。为了摆脱人为固定方差的次优困境，Nichol 与 Dhariwal 在改进型 DDPM 中提出让神经网络学习一个动态插值系数 $v\in[0,1]$，通过公式 $\log\sigma_t^2=v\log\beta_t+(1-v)\log\tilde\beta_t$ 在两者之间自适应平衡。在代码实现中，我们通过 var_mode 参数在固定模式与学习模式之间自由切换。值得警惕的是，这一方差选择对生成分布的二阶协方差矩具有决定性影响——实验表明，机械地采用后验方差 $\tilde\beta_t$ 会导致采样样本的宏观方差系统性偏小约 3%，而采用 $\beta_t$ 则能实现更加饱满的相空间覆盖。

许多初学者常常产生疑问：既然目标是获得低能量的确定性分子构象，为什么不在反向过程中直接将所有随机噪声项全部抹除（令 $\sigma_t=0$）？答案在于，反向马尔可夫转移本质上是一个由扩散主导的随机概率流，而非一条孤立的经典牛顿力学轨迹。若在祖先采样中强行截断噪声，采样流将发生灾难性的偏转，最终汇聚到一个与真实数据概率流形毫无关系的畸变分布之上。若想真正实现无随机性的确定性加速，我们必须从根本上重构采样的概率测度通道——这便是 DDIM 的诞生契机。

5.2 DDIM：确定性轨迹积分与跨步加速

宋飏与 Ermon 等人在 2021 年提出的 DDIM（Denoising Diffusion Implicit Models），建立在一个极富洞察力的非平衡统计力学视角之上：用于训练神经网络的前向过程，并不一定非要局限于简单的单步马尔可夫加噪链；只要某一广义非马尔可夫过程所诱导的边缘单点分布 $q(x_t\mid x_0)$ 与原马尔可夫链完全同构，那么同一个预训练好的去噪网络就可以在保持数学严密性的同时，被无缝接入全新的采样动力学通道中。

基于这一构想，DDIM 构造了一族由连续参数 $\sigma_t$ 调控的非马尔可夫后验转移核。在此框架下，我们首先利用 Tweedie 关系式从当前含噪构象反解出对原始清晰分子构象的实时估计：$\hat x_0=\frac{x_t-\sqrt{1-\bar\alpha_t}\hat\epsilon_\theta}{\sqrt{\bar\alpha_t}}$。随后，反向推演递推方程可优雅地表达为定向引导项、确定性前向漂移项与可调随机热扰动项的三方合成：

$$x_{t-1}=\underbrace{\sqrt{\bar\alpha_{t-1}}\,\hat x_0}_{\text{预测的干净分子基态}} +\underbrace{\sqrt{1-\bar\alpha_{t-1}-\sigma_t^2}\ \hat\epsilon_\theta}_{\text{指向当前状态 }x_t\text{ 的相空间切向速度}} +\underbrace{\sigma_t z}_{\text{可控的人工热涨落扰动}} . \tag{5.3}$$

在此体系中，扩散方差通常借助插值系数 $\eta\ge 0$ 进行连续调节：

$$\sigma_t^2=\eta^2\,\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t} \Big(1-\frac{\bar\alpha_t}{\bar\alpha_{t-1}}\Big). \tag{5.4}$$

这一参数化在两个极端物理状态下展现出令人拍案叫绝的统一性。当调节因子设定为 $\eta=1$ 时，方差 $\sigma_t^2$ 瞬间还原为经典后验方差 $\tilde\beta_t$，DDIM 递推式完整退化回经典的随机性 DDPM 祖先采样；而当我们将调节因子坚决置零（$\eta=0$）时，式 (5.3) 中的随机噪声项被彻底剥离，反向递推退化为一个绝对纯粹的确定性动力学积分格式：$x_{t-1}=\sqrt{\bar\alpha_{t-1}}\hat x_0+\sqrt{1-\bar\alpha_{t-1}}\hat\epsilon$。在此极限下，任何给定的初始高斯白噪声微观态 $x_T$，都将沿着唯一确定的概率相空间切线轨迹，百分之百确定性地映射到唯一的生成分子 $x_0$。

更为重要的是，DDIM 赋予了我们**大步长跳跃积分（Strided Sampling）**的绝对自由。观察式 (5.3) 可以发现，算法在计算 $x_{t-1}$ 时仅仅依赖于累积保留系数 $\bar\alpha$ 在相邻采样点的值，而完全不依赖中间过渡微元。这意味着我们完全可以从原始的上千个时间步中，抽稀出一个仅含几十步甚至十几步的非均匀子序列（例如 $\{T, T-20, T-40, \dots, 0\}$）展开大步长欧拉数值积分。尽管步长增大会引入一定程度的离散化截断误差，但在二维几何与连续分子流形上的实测表明，DDIM 仅需 20 步就能逼近 DDPM 耗费 200 步才能达到的能量距离精度，从而在几乎不牺牲构象保真度的前提下，为高通量材料逆设计换来了整整一个数量级的算力加速。

5.3 连续随机微分方程与确定性概率流 ODE

为了更加深刻地理解 DDIM 确定性采样的数学本源，我们必须暂时跳出离散差分格式，跃升至连续时间维度的随机分析空间。在连续时间极限下，令噪声率演化为连续函数 $\beta(t)$，累积保留系数推广为连续衰减积分 $\bar\alpha(t)=\exp(-\int_0^t\beta(s)\,ds)$。前向加噪过程被精确刻画为一个方差保持型伊藤随机微分方程（VP-SDE）：

$$dx=-\tfrac12\beta(t)\,x\,dt+\sqrt{\beta(t)}\,dw , \tag{5.5}$$

其中 $dw$ 代表标准布朗运动的微分增量。根据随机分析中的 Anderson 时间反演定理（1982），该前向过程在时间倒流方向上严格对应着如下反向 SDE：

$$dx=\Big[-\tfrac12\beta(t)\,x-\beta(t)\nabla_x\log q_t(x)\Big]dt +\sqrt{\beta(t)}\,d\bar w . \tag{5.6}$$

当我们代入得分与噪声预测的对偶关系 $\nabla\log q_t(x)=-\hat\epsilon/\sqrt{1-\bar\alpha(t)}$，并将式 (5.6) 按一阶欧拉-马鲁山法（Euler-Maruyama）离散化后，其差分格式恰好完美重现了 DDPM 的采样公式 (5.1)。这确立了第一个关键等价性：DDPM 采样的物理本质，就是在时间倒流维度数值求解反向朗之万随机微分方程。

然而，宋飏等人在 2021 年做出的划时代贡献进一步指出：对于任意给定的 Ito 反向扩散 SDE，在全相空间中必然存在一个与之共享完全相同的一维边缘概率密度族 $\{q_t(x)\}_{t=0}^T$ 的确定性常微分方程，这便是名震学界的概率流常微分方程（Probability-Flow ODE）：

$$\frac{dx}{dt}=-\tfrac12\beta(t)\big[x+\nabla_x\log q_t(x)\big] =\tfrac12\beta(t)\Big[\frac{\hat\epsilon}{\sqrt{1-\bar\alpha(t)}}-x\Big]. \tag{5.7}$$

概率流 ODE 的发现为生成科学带来了颠覆性的视野。由于常微分方程在相空间中的轨迹互不相交且具备严格的时间双向可逆性，DDIM 在 $\eta=0$ 时的离散迭代正是该概率流 ODE 的经典一阶数值积分实现。这赋予了材料科研人员两项极具诱惑力的物理研究手段：首先是微观状态的双向严格可逆映射，研究者不仅能将随机噪声演化为分子，更能将一个实验测得的已知活性分子 $x_0$ 沿着概率流 ODE 逆向积分“加噪编码”为唯一的潜空间先验向量 $x_T$；其次是潜相空间的连续可解释插值，如果我们获取了两种催化活性迥异的已知分子所对应的潜向量 $x_T^{(A)}$ 与 $x_T^{(B)}$，通过在隐空间中做一条简单的线性球面插值并将其积分回真实空间，便能沿着平滑的化学势能通道，直观目睹两个分子骨架之间究竟历经了怎样的几何构象渐变与中间体过渡态。

5.4 朗之万动力学采样与能量梯度流

如果我们在特定研究场景下并不构建完整的扩散退火链条，而仅仅手头掌握一个已学习完毕的连续得分向量场 $\nabla_x\log q(x)$，我们依然可以通过经典统计物理中的**过阻尼朗之万动力学（Overdamped Langevin Dynamics）**实现平稳相空间抽样：

$$x\leftarrow x+\tfrac{\eta}{2}\nabla_x\log q(x)+\sqrt{\eta}\,z . \tag{5.8}$$

根据福克-普朗克方程（Fokker–Planck Equation）的经典定理，在微步长极限下，上述随机差分迭代的渐近定态分布严格收敛于真实物理分布 $q(x)$。在计算化学的直观类比中，得分向量 $\nabla_x\log q(x)$ 充当了由宏观统计系综所决定的“热力学保守力”，而高斯扰动 $\sqrt{\eta}z$ 则模拟了周围溶剂环境施加的热碰撞涨落。将不同温度/噪声水平下的多尺度退火机制与朗之万动力学结合起来，便构成了宋飏等人早期的 NCSN 得分匹配范式。在教程代码库的 langevin_sample 函数中，我们对这一经典动力学给出了纯 Python 实现，并在单元测试中证实了其驱动随机初始点向真实化学高密度中心汇聚的物理自洽性。

5.5 采样实操中的三大数值稳定法则

在将上述采样方程转化为生产级代码时，有三处隐蔽的数值稳定性暗礁必须依靠精细的工程法则进行规避。

首当其冲的是反解物理构象 $\hat x_0$ 的数值动态裁剪（Clipping）。回顾 Tweedie 公式 $\hat x_0 = \frac{x_t - \sqrt{1-\bar\alpha_t}\hat\epsilon}{\sqrt{\bar\alpha_t}}$，在演化的高噪声末端（即 $t$ 逼近 $T$ 时），分母上的保留系数 $\sqrt{\bar\alpha_t}$ 极其微弱（通常在 $10^{-3}\sim 10^{-2}$ 量级）。此时，如果神经网络的预测噪声 $\hat\epsilon$ 产生哪怕极为细微的微元抖动，除以极小分母后都会导致重建构象 $\hat x_0$ 的绝对物理尺度产生成百上千倍的爆炸式发散，进而引发后续整条反向轨迹的崩塌。为此，工业界的标准防护措施是在计算出 $\hat x_0$ 的瞬间，将其强制截断在物理合理的对称边界 $[-c, c]$ 范围内（在本教程的二维体系中取 $c=6$），随后再利用截断后的安全构象回代修正当前的漂移切线。

其次是时间子序列的几何间隔优化。在采用 DDIM 跳步时，最简单的抽稀方式是等时间步均匀间隔抽取；然而更契合物理直觉的进阶方案是依据对数信噪比 $\lambda_t$ 的衰减梯度进行等步长抽取。这意味着在信息退化剧烈的低噪声区间（小时间步）分配更密集的积分步长以保护微观化学结构细节，而在大尺度混沌的高噪声区间（大时间步）采取激进的大步跃迁，从而在固定步数预算下压榨出极致的积分精度。

最后是终止时间步的绝对去噪守则。在反向仿真的最后一步（$t=1\to 0$），代码逻辑必须显式切断所有随机噪声注入，强制纯取均值中心输出。如果在终点依然机械地叠加一个微量方差，残留的高斯白噪声将永久性地污染连续分子的物理描述符与精确三维原子坐标，在宏观性质预测器上直接体现为化学特性的严重失真。

---

6. 条件生成与引导机制

在绝大多数材料逆设计与药物化学探索任务中，无条件的盲目随机生成几乎毫无实用价值。科研人员真正渴望解决的核心关切永远是强条件约束生成：例如定向合成“水溶性 logS 大于 -2 的类药分子”、“光电转换效率 PCE 突破 10% 的有机共轭供体聚合物”，或是“形成能严格处于热力学稳定凸包之下的无机固态晶体”。本节将深度解析如何在扩散动力学中植入物理目标条件，并推导现代生成模型中最具威力的引导数学体系。

6.1 三种条件信息注入机制的对比

将标量性质或结构约束注入扩散体系的工程范式主要分为三类，其适用边界各有千秋。

第一种是最为简明高效的特征拼接机制（Feature Concatenation），这也是本教程核心实验所采用的方案。如果目标条件是一个或几个宏观连续标量物性 $y$（例如材料形成能），我们首先对其执行标准化处理，随后直接在神经网络的最底层输入端，将其与当前的含噪分子特征向量沿特征轴进行物理拼接：$\hat\epsilon_\theta([x_t; y], t)$。在代码中，这清晰对应着 DenoiserMLP(..., cond_dim=1) 的网络构造与带有条件的单步前向传播 forward(x, t, T, cond)。拼接机制的计算代价极小，但其内在局限在于无法灵活应对在推理测试阶段临时追加的全新或复杂的非线性物理约束。

第二种是面向复杂结构条件的交叉注意力机制（Cross-Attention）。当引导条件不再是一个简单的标量，而是一段多维度的物理实体——例如蛋白质靶点结合口袋的氨基酸三维微环境、聚合物共聚单体的序列片段，或是分子骨架的预设拓扑时，模型通常借助深度编码器将条件解析为一串连续的记忆向量序列，并通过多头交叉注意力层将其注入去噪网络的特征交互主干中。

第三种则是引导机制（Guidance）。其核心魅力在于完全不需要破坏或重构生成模型本身的底层主干网络，而是直接在采样推演阶段，利用外部能量梯度或无条件与条件得分的几何代数线性组合，动态重塑相空间的反向去噪漂移速度场。

6.2 分类器引导：外加能量势场的直接偏置

**分类器引导（Classifier Guidance）**由 Dhariwal 与 Nichol 在 2021 年建立。其核心推导直接始于贝叶斯后验概率密度在对数空间下的严格空间导数展开：

$$\nabla_x\log q(x_t\mid y)=\nabla_x\log q(x_t)+\nabla_x\log q(y\mid x_t). \tag{6.1}$$

将等式两侧同时套用 Tweedie 等价关系式 (2.9)，将对数密度梯度无损转换为神经网络的噪声预测形式，我们便导出了条件生成下的有效噪声预测公式：

$$\hat\epsilon_{\text{cond}}(x_t,t)=\hat\epsilon_\theta(x_t,t) -\sqrt{1-\bar\alpha_t}\ \nabla_{x_t}\log p_\phi(y\mid x_t). \tag{6.2}$$

观察式 (6.2) 的物理结构，其数学形式展现出了极度清澈的物理图景：第一项 $\hat\epsilon_\theta(x_t,t)$ 代表无条件模型所学到的“天然化学流形保持力”，它竭力确保生成的结构在整体拓扑与键合上符合真实分子的自然规律；而第二项追加的梯度偏置，则是由一个辅助分类器（或物性回归器）$p_\phi(y\mid x_t)$ 所贡献的“目标性质拉拔力”，它像一个外加的人工电场一样，强行将构象粒子沿物性最优的势能梯度方向拖拽。

然而，分类器引导在材料科学实战中伴随着不可忽视的技术门槛：分类器 $p_\phi(y\mid x_t)$ 必须在一个覆盖了所有演化时间步的高斯加噪数据集上独立进行训练。如果直接拿针对干净分子训练的成熟量子化学性质预测器来充当引导器，当输入带有剧烈高斯白噪声的中间态构象 $x_t$ 时，外部预测器的梯度会发生剧烈且荒谬的病态抖动，导致反向采样彻底崩盘。此外，在反向采样的每一个时间步上都必须额外进行一次昂贵的全网络反向自动微分求导，这使得原本就缓慢的采样过程在算力开销上雪上加霜。

6.3 无分类器引导：隐式梯度的代数放大与分布锐化

为了彻底摆脱外挂高阶带噪分类器的沉重包袱，Jonathan Ho 与 Tim Salimans 在 2022 年提出了被誉为现代生成 AI 皇冠明珠的无分类器引导（Classifier-Free Guidance, CFG）。其构思的绝妙之处在于：既然训练一个外部带噪分类器成本高昂，何不让同一个去噪网络在训练过程中自发内生出分类器的梯度信号？

在具体的工程训练循环中，我们设定一个条件丢弃概率 $p_{\text{drop}}$（在实践中通常取 0.1 至 0.2）。当一个样本被选中时，我们人为将其关联的条件标签 $y$ 替换为一个代表“条件缺失”的空标记 $\varnothing$。通过这种极低成本的随机掩码扰动，同一个主干网络在收敛之后，能够同时无缝提供无条件去噪方向 $\hat\epsilon_\theta(x_t,t,\varnothing)$ 与强条件去噪方向 $\hat\epsilon_\theta(x_t,t,y)$。在采样阶段，最终生效的去噪合成速度向量由两者的加权外推线性组合给出：

$$\hat\epsilon=\hat\epsilon_\theta(x_t,t,\varnothing) +w\big[\hat\epsilon_\theta(x_t,t,y)-\hat\epsilon_\theta(x_t,t,\varnothing)\big], \qquad w\ge1 . \tag{6.3}$$

无分类器引导为什么能在几乎不引入任何额外训练开销的前提下产生如此惊人的定向引导威力？通过对贝叶斯公式 (6.1) 进行简单的反解移项，可以立刻看清其数学真相：条件输出与无条件输出之间的几何空间差向量，在数学尺度上精准等价于那个隐式虚拟分类器的对数似然梯度：

$$\hat\epsilon_\theta(x_t,t,y)-\hat\epsilon_\theta(x_t,t,\varnothing) \propto-\sqrt{1-\bar\alpha_t}\ \nabla_x\log p(y\mid x_t).$$

因此，将两朵输出之差乘以一个大于 1 的引导权重系数 $w$，在物理本质上等价于将隐式目标物性分类器的梯度人为放大了 $w$ 倍。若将其翻译回整体概率密度空间，这精准对应着从如下经过**指数加权倾斜（Exponential Tilting）**的锐化分布中执行抽样：

$$q(x_t)\,p(y\mid x_t)^{\,w} .$$

对于从事材料逆设计的科学家而言，理解式 (6.3) 背后所蕴含的“分布锐化机制”至关重要。当我们将引导强度 $w$ 不断调大时，相当于在相空间中无限加深了对应目标性质的势能阱深，生成的候选分子会展现出对目标性质指标极度顺从的贴合度；然而，天下依然没有免费的午餐，这种对目标性质的极端放大是以化学构象多样性的急剧塌缩为惨重代价的。在真实的化学逆设计闭环中，若将 $w$ 设定得过高，扩散模型会迅速退化为模式崩塌状态，生成的数千个候选点最终只会反复聚敛到极少数几个在局部势阱中高度雷同的化学构型之上。

6.4 材料与化学领域中的条件约束全谱

在真实的材料与分子研究场景下，我们需要施加的引导条件远比单一连续标量更加错综复杂。下表系统归纳了不同物理形态的条件特征在扩散架构中的标准工程映射方案与潜在暗礁：

条件类型	物理范例	算法实现路径	工程实践中的核心暗礁
连续宏观物性	水溶性 logS、能带隙、光电转换效率 PCE、固态形成能	输入通道直接拼接 / CFG 动态引导	条件必须先执行严密的无量纲标准化，否则量纲失衡将抹杀几何特征
离散晶体与化学类别	空间群代号、主族元素种类、特征官能团分类	连续独热向量（One-hot）拼接 / 交叉注意力机制	少数冷门类别样本过少，模型极易陷入微观结构死记硬背
几何与拓扑子结构	固定羧基或芳香环骨架、预设催化活性口袋几何	相空间片段掩码修复（Inpainting） / 局部自由度投影	必须清晰定义自由演化坐标与刚性锁定坐标之间的动力学边界
严格物理守恒律	材料化学计量比摩尔归一化、全体系总电荷中性守恒	动力学采样步内的几何投影算子 / Softmax 单纯形激活	中间步频繁硬性几何投影会破坏平滑动力学轨迹，推荐置于最终解码端
多目标协同权衡	兼顾低光学带隙与极高光伏转换效率	多个目标引导得分向量的 Pareto 线性加权合成	存在不可调和的物理本征冲突，需深入审视多目标权衡的 Pareto 前沿

在上述所有工程考量中，材料学者最容易忽视的一个基础细节是条件特征与输入物理量之间的量纲归一化对齐。在后续的全部真实数据实验中，我们在将实验测得的连续物理量喂给神经网络之前，无一例外地对标签施加了去均值除以方差的无量纲化变换。一旦省略此步，诸如数值绝对值在数十甚至数百电子伏特的宏观能量标签，会在反向传播的第一瞬间以压倒性的数值量纲彻底淹没只有单位方差的构象特征，导致网络在物理上去噪的听觉完全丧失。

---

7. 变体与家族：潜空间、流匹配、离散、等变

随着扩散模型在科学计算领域的爆发式演进，围绕标准连续高斯扩散所衍生出的理论拓展已经构建起一个庞大的方法论家族。对于材料与化学研究者而言，理解这些变体不仅是为了跟进算法前沿，更是为了在面对具有不同数学几何特性的真实材料对象时，能够精准匹配最适配的动力学生成底座。

7.1 解构扩散生成系统的“四维设计空间”

一个完整的扩散生成系统在工程与数学上由四个正交的设计维度共同锚定。在这四个维度中做出任何一项改动，都能派生出一个全新且在数学上完全自洽的扩散变体：

设计维度	核心选项	对生成动力学的决定性影响
噪声退火调度 $\beta_t$	线性（linear） / 二次（quad） / 余弦（cosine） / S型（sigmoid）	决定了训练与生成过程中各个微观/宏观几何尺度的信号梯度分配
神经网络输出参数化	噪声向量 $\epsilon$ / 干净构象 $x_0$ / 速度向量 $v$	决定了相空间中的数值稳定区间以及反向传播梯度的内生缩放尺度
目标损失加权策略	等权均匀（simple） / 理论下界（ELBO） / min-SNR 阈值截断	调控模型将宝贵的参数拟合容量重点倾注于宏观骨架还是微观细节
主干神经网络架构	多层感知机（MLP） / 卷积 U-Net / 图神经网络（GNN） / Transformer	决定了模型能否在底层本征性地表达物理体系的空间平移、旋转与置换对称性

在随后的第 10.1 节中，我们将依托真实的实验记录，将这四个正交维度逐一进行消融拆解。这是洞悉扩散模型内在规律最为扎实、也最富启发性的学习路径。

7.2 潜空间扩散：化学特征流形上的降维求解

直接在原始的超高维物理空间（例如全原子三维笛卡尔坐标矩阵或成百上千维的拓扑指纹）上执行数百步扩散迭代，计算开销极其沉重。为了打破这一计算枷锁，Rombach 等人在 2022 年奠定了**潜空间扩散（Latent Diffusion Models, LDM）**的理论体系。其核心思想是解耦表征学习与生成演化：首先利用一个预训练的编码器 $E$ 与解码器 $D$ 将复杂的高维数据流形压缩到一个紧凑平滑的连续低维隐空间 $z_0=E(x_0)$，随后将所有的多步加噪与去噪动力学完全限制在该潜空间内进行训练 $\epsilon_\theta(z_t,t,y)$，最终只需在生成终点调用一次确定性解码器即可重构出原始物理结构 $x_0\approx D(z_0)$。

在计算材料与药物化学领域，潜空间扩散的思想甚至比计算机视觉更为自然普及。这是因为化学分子天然不具备规则的图像网格，化学家早已习惯于采用物理化学描述符、降维主成分（PCA）坐标、分子拓扑指纹或是预训练分子图神经网络（GNN）的表征向量来刻画分子体系。在本教程的实验三与实验四中，我们所搭建的小分子与共轭聚合物生成实验，正是这种潜空间扩散哲学的纯 Python 手工复刻：

物理探索对象	潜空间编码映射器	隐空间内禀维度	物理结构解码重构机制
溶剂环境小分子	200+ 维 RDKit 物化描述符 + 线性 PCA 降维	16 维连续特征	基于潜特征距离在训练化学库中执行最近邻检索解码
光伏有机共轭聚合物	共聚单体拓扑描述符 + 协方差 PCA 降维	12 维连续特征	在有限的高分子候选库中执行最近邻聚类检索解码
无机晶体固态成分	加性对数比变换（Additive Log-Ratio, ALR）	11 维无约束欧氏空间	基于 Softmax 逆变换的数学严格无损解析解码

细心的读者应当立刻洞察到上述表格中最后一行无机晶体成分与前两行有机分子之间的深刻本质差异：ALR 变换是一个在数学上具备严格解析双射的保积同胚映射，因而从隐空间到实际成分的解码过程是完全无损（Lossless）的；相反，将庞大的分子描述符空间通过线性 PCA 压缩至 16 维，在统计上仅仅保留了约 66% 的信息方差，这意味着潜空间中的某一个生成点在数学上无法一对一逆解出唯一的分子图拓扑，必须退求其次地在已知数据库中检索最近邻真实分子。这一“有损解码”的局限性是读者在审视许多声称实现了“高通量分子逆设计”的算法论文时必须保持清醒批判的头号暗礁。

7.3 流匹配与整流流：拉直相空间中的演化路径

传统扩散模型人为钦定了一条弯曲的概率衰减路径 $x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon$。在微分几何视角下，这条由方差保持 SDE 所诱导的相空间演化轨迹是内生性弯曲的。轨迹的曲率迫使数值积分求解器在采样时必须采取极微小的步长缓慢挪动，否则就会偏离真实的概率密度流形。

为了从根本上攻破采样延迟的难题，Lipman 等人与刘铁岩团队在 2023 年独立提出了流匹配（Flow Matching）与整流流（Rectified Flow）理论。流匹配完全打破了固定加噪公式的枷锁，允许研究者在先验噪声与真实物理数据之间任意指定一条连续的概率时间演化通道，并直接训练神经网络去拟合定义在相空间切平面上的确定性速度场（Velocity Field）。其中最为优雅且符合直觉的是线性整流通道：

$$x_t=(1-t)\,x_{\text{noise}}+t\,x_0,\qquad t\in[0,1], \qquad v_t=\frac{dx_t}{dt}=x_0-x_{\text{noise}} . \tag{7.1}$$

在此定义下，连续流匹配的优化目标转化为一个纯粹且直观的瞬时速度均方误差回归任务：

$$L_{\text{CFM}}=E_{t,x_0,x_{\text{noise}}} \big\|v_\theta(x_t,t)-(x_0-x_{\text{noise}})\big\|^2 . \tag{7.2}$$

流匹配之所以能够实现极其惊艳的少步采样能力，原因在于式 (7.1) 在几何上勾勒出了一条连接噪声与数据的直线位移场。如果去噪网络能够把速度向量场 $v_\theta$ 学习得足够平滑一致，在极端理想状态下，我们甚至只需要沿着恒定速度向量执行单次欧拉位移步长（$x_0=x_{\text{noise}}+v$），便能在理论上一瞬间从无序噪声直接跨入结构清晰的目标数据流形。在真实的物理系统（如晶体多晶型与界面催化体系）中，尽管由于多模态数据碰撞导致速度场局部存在非线性扰动，但整流技术通过拉直轨迹，使得高阶常微分方程求解器在极其宽泛的误差容限下，仅需区区 5 到 10 步即可高保真复现传统扩散模型需要上百步才能生成的复杂物性结构。

7.4 离散扩散：面向原子类型与分子图的本征表征

尽管连续潜空间极大地拓宽了扩散模型的应用广度，但在化学信息学的本质内核中，原子的元素种类与分子图的键合阶数归根结底是严格的离散符号。强行将碳、氢、氧、氮等互不重合的离散元素类型投射到连续高斯空间中进行微元加噪，会不可避免地模糊原本清晰的量子能级边界。

为了在离散状态空间中原汁原味地建立扩散机制，Austin 等人在 2021 年提出了结构化离散扩散模型（D3PM）。其数学核心是将连续的高斯扰动核替换为作用在离散状态概率向量上的类别转移矩阵（Categorical Transition Matrix） $Q_t$：

$$q(x_t\mid x_{t-1})=\mathrm{Cat}\big(x_t;\ Q_t\,x_{t-1}\big), \qquad Q_t=(1-\beta_t)I+\beta_t\,\mathbf{1}e_{\text{mask}}^\top \tag{7.3}$$

在式 (7.3) 的第二个等式中，我们给出了本教程实验六所采用的经典吸收态（Absorbing State）转移机制：在每一个时间步，序列中的每一个元素位置以固定的概率 $\beta_t$ 发生不可逆的“物理失活”，被单向坍塌为一个特殊的掩码占位符号 [MASK]，而在其余概率下则百分之百维持其真实元素本征状态不变。由于马尔可夫转移矩阵具备连乘可交换性，其多步累积边际分布同样拥有极为优美的闭式解析解：

$$q(x_t\mid x_0)= \begin{cases} \bar\alpha_t, & x_t=x_0,\\[2pt] 1-\bar\alpha_t, & x_t=\mathrm{MASK}, \end{cases} \qquad \bar\alpha_t=\prod_{s\le t}(1-\beta_s). \tag{7.4}$$

不仅前向过程极其明朗，当已知无噪序列 $x_0$ 时，反向局部条件转移后验分布亦能精确求出：

$$q(x_{t-1}=x_0\mid x_t=\mathrm{MASK},x_0) =\frac{\bar\alpha_{t-1}-\bar\alpha_t}{1-\bar\alpha_t}=:c_t, \qquad q(x_{t-1}=\mathrm{MASK}\mid\cdot)=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}, \tag{7.5}$$

而对于那些在当前步尚未被掩码吞噬的位置（$x_t\neq\mathrm{MASK}$），由于吸收态的不可逆单调性，其前一步状态 $x_{t-1}=x_t$ 是绝对确定守恒的。

基于上述后验展开，离散状态下的变分证据下界（NELBO）展现出了惊人的化简之美。由于未被掩码的位置在网络预测与真实后验之间完全等同重合，其相对熵差异天然为零；只有那些处于被掩码状态的未知位点，才需要模型调动注意力去预测其原本究竟是何种元素。因此，整个庞大的离散变分下界最终彻底精简为仅针对当前被掩码位置的加权多分类交叉熵损失：

$$\boxed{\ \mathrm{NELBO} =\sum_{t}E\Big[c_t\sum_{i:\ x_t^i=\mathrm{MASK}} \big(-\log \hat p_\theta(x_0^i\mid x_t)\big)\Big] \ } \tag{7.6}$$

在式 (7.6) 中，加权因子 $c_t$ 精确衡量了在当前微元步长下，系统理论上应当揭开真实元素面纱的统计比例。当采用最简单的线性掩码调度 $\bar\alpha_t=1-t/T$ 时，揭示系数恒等于 $c_t=1/t$，这正是 2024 年在离散语言与序列扩散领域引起轰动的 MDLM 架构的核心数学权重。离散扩散在分子图拓扑连接性修复（如 DiGress）、无机晶体化学式元素组合探索以及蛋白质全长氨基酸序列设计中展现出无与伦比的天然契合性。

7.5 几何等变扩散：分子三维构象的物理铁律

当扩散模型的演化相空间设定为分子中所有原子的真实三维笛卡尔坐标 $x\in \mathbb{R}^{n\times 3}$ 时，研究者必须直面一个支配物理世界的最基础对称性——欧几里得三维空间等距同构变换群 $E(3)$，它涵盖了刚体在空间中的任意连续平移与三维正交旋转 $SO(3)$。

在基础物理学常识中，一个水分子的基态能量或内秉构象势能，绝不会因为我们将其整体在空间中平移了三埃，或者将其沿着某个对称轴旋转了 45 度而发生任何物理意义上的改变。在数学形式上，这就要求作用于原子坐标上的去噪神经网络必须具备严苛的几何等变性（Equivariance）：

$$\epsilon_\theta(Rx+t,\ t)=R\,\epsilon_\theta(x,\ t) \qquad \forall R\in SO(3),\ t\in \mathbb{R}^3 . \tag{7.7}$$

也就是说，如果输入的分子构象在三维空间中被施加了刚体旋转 $R$，去噪网络所预测出的漂移位移矢量也必须随之发生完全同构的旋转变换。在工程实现中，这通常依赖于精密的几何图神经网络架构（例如 E(n)-GNN）。网络首先将原子的绝对坐标整体减去分子的质心坐标，从而在底层强行抹平空间平移自由度；随后在处理相对距离与键角张角等几何标量特征时，完全依赖对旋转具备天然不变性的内积标量；最后，仅在最终输出坐标位移矢量时，严格依照原子对之间的相对位移矢量场进行线性加权投影。

深入理解等变约束对计算化学家至关重要。如果我们忽视对称性，仅仅使用朴素的密集全连接网络去强行拟合三维坐标，模型将被迫耗费绝大多数宝贵的参数容量，去“在数据集中从头硬背”同一个分子在空间中旋转成千上万个等价姿态的冗余图像。在生成的构象微观检验中，缺少等变性约束的模型会表现出极高频率的手性立体异构错误、严重扭曲的非共价相互作用距离以及剧烈发散的键长分布。为了进一步降低自由度，Jing 等人在 2022 年提出了更为优雅的**扭转角扩散（Torsional Diffusion）**范式：他们巧妙地冻结了在化学上极难被拉伸或压缩的局部共价键长与键角自由度，将扩散动力学完全约束在由分子可旋转单键所构成的环面流形（Torus）上，使构象采样的参数维度暴降两到三个数量级，极大地加速了柔性构象搜索。

7.6 少步采样加速的前沿图景：蒸馏与一致性模型

尽管 DDIM 使得采样步数从上千步成功压缩至数十步，但在追求“分子生成-高通量 DFT 筛选-定向进化再生成”的在线多轮逆设计闭环中，数十步的神经网络前向求导依然构成巨大的算力瓶颈。为了向毫秒级超高速采样发起冲锋，当前的学术界主要沿着三条前沿技术路线展开突围。

首先是基于数值分析的高阶常微分方程求解器。通过将概率流 ODE (5.7) 视作标准的刚性微分方程系统，采用诸如二阶 Heun 预估-校正格式或针对扩散特化设计的指数积分器 DPM-Solver，模型能够在 10 到 15 个精巧挑选的时间节点内，高阶抵消高阶李导数截断误差，达到一阶 DDIM 耗费近百步才能实现的积分精度。

第二条路径是渐进式自蒸馏（Progressive Distillation）。其核心机制是将一个经过充分训练的、需要执行 $2^k$ 步的成熟教师采样器，通过特征对齐蒸馏为一个仅需 $2^{k-1}$ 步即可拟合相同轨迹位移的学生网络，通过逐级减半的递阶蒸馏，最终训练出仅需 2 到 4 步前向传播便能稳定析出清晰结构的超快速生成器。

第三条、也是最具理论野心的路径，则是宋飏等人于 2023 年构建的一致性模型（Consistency Models）。一致性模型彻底摆脱了时间步逐步累积的传统微分积分思维，它在训练中直接对神经网络施加严格的轨迹自洽性泛函约束：要求网络无论输入该条概率流 ODE 积分轨迹上的哪一个中间时间步 $x_t$ 或 $x_{t'}$，网络前向映射所预测出的终点干净基态必须恒等一致，即 $f_\theta(x_t, t) = f_\theta(x_{t'}, t') = x_0$。这一强自洽性约束使得模型能够真正实现神迹一般的单步单次前向直达（One-step Generation）。

在材料科学工程的现实天平上，评估采样加速技术的收益必须视具体的下游验证成本而定。如果生成的每一个新材料候选都需要挂载耗时数小时的超算密度泛函理论（DFT）或从头算分子动力学（AIMD）模拟，那么扩散模型自身耗费的十几毫秒采样开销在整个研发管线中几乎完全可以忽略不计；但如果应用场景是需要在线在数百万级类药分子虚拟文库中进行毫秒级对接打分，少步与单步生成技术就是决定该计算管线能否投入实战的生死分水岭。

---

8. 化学与材料应用全景地图

本节旨在为材料与化学科研人员绘制一张面向实战的“空间表示决策地图”。正如本教程六个实验所反复警示的那样：在基于人工智能的材料发现中，选取了错误的物理特征表示空间，后续在网络调优与采样算法上的全部艰苦努力都会化为泡影。

8.1 二维分子图拓扑生成

在小分子药物发现与有机功能分子探索中，最为普及的基础表征是二维分子图。在此体系中，分子被严格定义为一个带属性的拓扑图：图节点对应着具体的化学元素原子种类，而图中的边则对应着单键、双键、三键或芳香键等离散键合类别。

以 Vignac 等人建立的 DiGress 为代表，主流的图扩散架构将正向动力学直接作用于“节点离散类别矩阵”与“边关系邻接张量”的联合分布之上，借助前述的离散转移矩阵模拟化学键的逐步随机断裂与原子类型的熵增突变。在反向去噪生成过程中，为了确保模型生成的图在物理上具备实际的合成可能，模型在底层图注意力机制中深度植入了价键理论约束，并在此基础上施加实时价态规范化投影，强行将那些违反鲍林共价价键守恒法则（例如出现五价碳或过度质子化）的边连接概率在采样中直接置零。在评估二维分子图生成质量时，学界的公认黄金标尺是一套立体的组合指标：这包括生成图能否被化学信息学底层库 RDKit 成功解析识别的化学有效性（Validity）、去重后的唯一性（Uniqueness）、在已知分子专利库中的新颖性（Novelty），以及生成集合在 QED（类药性量化评估）、logP（脂水分配系数）和 SAscore（人工合成可达性评分）等真实物化分布上与基准数据集之间的 Wasserstein 概率距离。

8.2 三维空间几何构象生成

相较于平面的拓扑连接，许多前沿生物化学现象（例如小分子与靶点蛋白结合口袋的锁钥对接，或是光电分子在激发态下的非辐射跃迁）在本质上完全受制于分子的真实三维空间几何构象。

在三维构象扩散中，模型的物理空间通常被设定为全体原子的空间笛卡尔三维坐标矩阵 $x\in\mathbb{R}^{n\times 3}$。在以 GeoDiff 与 EDM 为代表的工作中，研究者通过设计等变图卷积网络，严格将刚体平移与三维正交旋转对称性深植于动力学微分内核中；为了消除分子整体质心在欧氏空间中的随机游走发散，系统在加噪与去噪的每一个时间步都显式执行质心归零投影；此外，由于体系中各个原子由于配位数与相对原子质量的差异而具备不同的惯性空间张力，高斯噪声的注入尺度往往还会针对特定原子种类进行精细的局部加权缩放。在构象质量的评估维度上，核心指标是生成系综与高精度量化或实验晶体结构之间的全原子均方根偏差（RMSD）、构象势能曲面能量分布，以及手性中心在空间翻转扰动下的几何保持度。

8.3 周期性无机晶体与化学成分生成

对于无机固态化学与先进金属/陶瓷材料学者而言，所面对的研究客体从有限尺度的孤立分子跃迁为了在三维空间中无限周期性延展的晶体晶胞。为了完整刻画一个晶体结构，扩散模型必须在动力学层面同时协调三类几何物理属性截然不同的变量系统。

第一类是材料化学成分（Composition），即各元素在晶胞中所占据的摩尔分数比例。它严格居住在一个非负且加和守恒为 1 的几何单纯形（Simplex）上；第二类是确定空间晶系框架的晶格矢量参数，即晶胞三轴边长与三个夹角几何张量；第三类则是各原子在晶胞基底下的空间分数坐标（Fractional Coordinates），它被严格定义在三维单位环面流形 $[0, 1)^3$ 之上。以 CDVAE、DiffCSP 以及 FlowMM 为代表的前沿晶体生成架构，通过多分支协同网络，分别在不同流形上实施条件解耦扩散。其中，分数坐标由于具有晶格周期性边界，其扩散噪声必须跨越周期性边界回卷；晶格矩阵的演化必须满足热力学正定性；而化学成分则通过 ALR 变换投射到无约束欧氏空间中进行高效去噪。本教程后续的实验五，正是将这一宏大体系中最核心的“晶体化学成分单纯形 ALR 扩散机制”提炼为一个清澈可解的独立实验，带领读者透视固态无机组成生成的内在规律。

8.4 共轭聚合物与高分子材料

在诸多材料体系中，有机光伏共轭聚合物属于生成难度最为严苛的一类客体。这一领域之所以被称为生成模型的极限试验场，根源在于三重物理与工程困境的交织碰撞。

首先是高精度实验数据的极度匮乏。以光伏有机半导体最著名的 HOPV 基准数据集为例，全球研究者历经数年积累的高质量共轭供体聚合物总数也仅仅只有 350 条；其次是物理表征的严重歧义性。聚合物的宏观光电性质不仅取决于共聚单体单元的分子拓扑，更深度受制于聚合反应中的数均聚合度、分子量多分散性指数（PDI）、侧链支化构型以及湿化学成膜过程中的结晶退火取向，而在计算数据库中，我们通常只能拿到一个高度抽象简化的重复单体 SMILES 字符串；最后是标签测量的高方差噪声。材料的光电转换效率（PCE）并不是一个孤立的本征分子热力学状态函数，它高度依赖于电池器件的微观制备工艺与电极界面工程，导致相同重复单元在不同实验批次间的性能测定值存在巨大的天然测量离散度。

面对这一困局，可行的建模路径通常是在降维的物化描述符空间中展开隐式扩散，或者在重复单体的序列 token 矩阵上施加离散扩散。在本教程的实验四中，我们并未刻意粉饰太平，而是真实地向读者展现了一个极其深刻的部分失败案例：在仅仅 350 条真实聚合物的严酷小样本约束下，去噪网络迅速陷入了严重的相空间过拟合与记忆塌缩，生成的特征点紧密聚集在极少数局部先验周围，生动警示了数据量对扩散生成模型的致命制约。

8.5 生物大分子与化学反应过渡态

在生命科学与物理有机化学前沿，扩散模型正在开拓崭新的科学边疆。以 Baker 实验室的 RFdiffusion 以及 Chroma 为代表的突破性工作，将等变扩散机制深度作用于全长蛋白质的多肽主链骨架三维坐标矩阵之上。通过将主链三维残基方向框架化为特殊的李群刚体流形 $SE(3)$，并以目标结合活性口袋几何构象、特定二级结构拓扑或空间多聚体对称性为强引导条件，人类首次实现了真正意义上的全长蛋白质结构从头（De Novo）定向功能设计。

与此同时，在化学反应动力学领域，精确搜寻化学反应中连接反应物与产物的**反应过渡态（Transition State, TS）**长期受制于昂贵的高阶过渡态量子化学计算。近期涌现的 React-OT 以及等变基元反应扩散模型，巧妙地将反应物三维稳定构象与产物三维稳定构象之间的最优质量输运几何插值作为概率路径，利用扩散模型在极其崎岖的多维反应势能面上快速预测出鞍点过渡态构象，展现出将传统数天的量子化学过渡态搜寻压缩至秒级的巨大应用潜力。

8.6 材料化学空间表示选择决策大表

为了帮助科研人员在启动全新材料生成课题时避免走弯路，我们将不同表示空间的技术特性、物理边界与适用场景总结为如下全局决策表：

扩散特征空间	所需满足的核心物理约束	逆向解码是否完全无损	学界代表性工作	算法适用数据量级
连续分子描述符 / PCA 流形	无显式物理硬约束	有损压缩（高度依赖已知数据库最近邻检索）	本教程实验三、实验四	$10^3\sim 10^5$
线性 SMILES 字符串序列	严格语法规则（括弧匹配、环闭合、化合价）	有损解码（需要语法清洗与化学过滤）	早期分子扩散尝试	$10^4\sim 10^6$
二维分子图（节点/边邻接张量）	原子价键守恒、图连通性与拓扑环约束	完全无损解析	DiGress、Graph-Diff	$10^4\sim 10^6$
三维欧氏笛卡尔坐标	$E(3)$ 平移与 $SO(3)$ 旋转几何等变性	完全无损解析	GeoDiff、EDM	$10^3\sim 10^5$
分子扭转角流形	环面连续性周期边界、分子立体手性保持	完全无损解析	Torsional Diffusion	$10^3\sim 10^5$
材料化学成分（单纯形空间）	非负性约束、全体系摩尔分数归一化守恒	完全无损解析（基于 ALR 与 Softmax 逆变换）	本教程实验五、CDVAE	$10^4\sim 10^5$
离散元素符号序列	有限化学元素周期表词表离散掩码	有损解码（仅保留成分集合，缺失空间排布）	本教程实验六、MDLM	$10^4\sim 10^5$
周期性全固态晶体（晶格+分数坐标）	周期性平移对称性、空间点群对称性、全同粒子置换对称性	完全无损解析	CDVAE、DiffCSP、FlowMM	$10^4\sim 10^5$

阅读这张决策表的科学法则：面对一个具体的逆向材料设计课题，研究者的首要思考永远不是追逐最前沿复杂的神经网络架构，而是首先冷静自问：“我手头可用的高质量物理数据量究竟处于哪一个数量级？” 紧接着必须严厉审视：“在我的技术管线中，从潜空间生成的特征逆向反解为真实可合成的原子拓扑，这一过程究竟是完全无损的解析变换，还是不得不依赖近似检索的有损折衷？” 唯有将物理真实性置于算法炫技之上，扩散模型才能真正蜕变为赋能材料与化学发现的坚实引擎。

---

9. 纯 Python 实现：公式 ↔ 代码对照

9.1 为什么可以不用 NumPy：透明张量代数与算法解剖

在工程实践中选择“完全不依赖 NumPy 与 PyTorch”看似违背直觉，但从教学与物理建模的底层透视出发，这种纯粹的标量与原生列表实现拥有两项不可替代的学术价值。

其一是消灭黑盒广播导致的隐蔽维度陷阱。在成熟的张量框架中，自动广播机制往往会在形状不匹配时静默补齐维度，使诸如批次张量 $(B, d)$ 与特征偏置 $(d,)$ 之间的意外转置逃过类型系统的检查；而在完全手写的循环矩阵运算中，每一次维度的收缩与扩展都必须显式声明，任何维度不对齐的数学错误都会在第一时间暴露无遗。其二则是数学公式与执行逻辑的绝对一一对应。在本教程前述推导中出现的每一个累加符号 $\sum$、每一个时间步 $t$ 与特征分量 $k$ 的下标，在纯 Python 代码里都能找到与之精确契合的那一行原生循环。这就好比在严谨的计算化学研究中，研究人员在信任大型量化软件包的自动化高斯基组拟合前，往往需要先亲手编写一个仅包含两三个轨道的 Hartree-Fock 极简自洽场迭代，从而彻底看清 Fock 矩阵构建与正交化对角化的每一道力学齿轮。

纯粹手写循环的代价自然是运行速率的折衷。在当代硬件上测试纯 Python 3.12 的原生运算表现，各类尺度下的实际耗时如下表所示：

网络	单个样本前向	一整个实验的耗时
$2\to64\to64\to2$（二维玩具）	0.06 ms	训练 3000 步约 6 分钟
$16\to96\to96\to96\to16$（ESOL）	0.45 ms	训练 3000 步约 12 分钟
$108\to96\to96\to96\to102$（离散扩散）	0.5 ms	训练 4000 步约 12 分钟

在低维相空间与极简 toy 模型上，微秒级的前向时间足以支撑起快速的交互式迭代；而在处理真实材料与化学体系时，这种手写实现恰好精准定位于万级参数与数千个样本原型的敏捷验证。本教程后续展开的实验三至实验六，均严格遵循了“先以无黑盒的手写原型彻底跑通数学推导与边界效应，再将完全确证的算法范式迁移至高性能 PyTorch 分布式框架”的标准科学探索路径。

9.2 文件清单

配套代码库围绕模块化解耦与严谨测试组织在 code/ 目录下，十个脚本各司其职，覆盖从核心动力学算子、化学特征工程到全套 50 项单元校验与数据制图的完整链路：

文件	行数	作用
code/diffusion.py	~1000	核心：RNG、手写层、调度、高斯扩散、ELBO、采样、离散扩散、解析解
code/chemdata.py	~430	DeepChem 数据载入、RDKit 描述符、手写 PCA/岭回归、能量距离、ALR 变换
code/tests_diffusion.py	~700	50 项正确性测试（含逐参数梯度检查）
code/demo_toy_diffusion.py	~420	实验一：二维玩具上的四类消融
code/demo_analytic_diffusion.py	~250	实验二：线性高斯情形的解析体检
code/demo_deepchem_esol.py	~230	实验三：小分子描述符扩散 + 条件生成
code/demo_deepchem_polymer.py	~200	实验四：HOPV 聚合物（含记忆检查）
code/demo_deepchem_materials.py	~270	实验五：材料组成的 ALR 扩散 + 基线对照
code/discrete_composition.py	~250	实验六：元素序列的离散扩散
code/make_figures.py	~600	把所有 JSON 画成 25 张数据图

9.3 逐块对照：数学算子到原生代码的映射

（a）噪声调度：方差、保留比与高斯后验（对应公式 (3.4)、(3.5) 与 (2.4)）

在 Schedule 类初始化时，模型根据指定的函数形态预计算整个弛豫链路上的系数序列。通过累乘计算 $\bar\alpha_t=\prod_{s=1}^t \alpha_s$，进而闭式确定条件后验分布的均值与方差系数，其逻辑完全免除了采样阶段的重复计算：

class Schedule:
    def __init__(self, kind="linear", T=1000, beta_1=1e-4, beta_T=0.02, cosine_s=0.008):
        ...
        abs_ = []                      # ᾱ_t = ∏ α_s
        acc = 1.0
        for a in self.alphas:
            acc *= a
            abs_.append(acc)
        ...
        for t in range(T):             # 后验方差与均值系数（式 (2.4)(2.5)）
            ab_t = abs_[t]
            ab_prev = abs_[t - 1] if t > 0 else 1.0
            self.posterior_var.append(betas[t] * (1.0 - ab_prev) / (1.0 - ab_t))
            self.post_mean_coef_x0.append(math.sqrt(ab_prev) * betas[t] / (1.0 - ab_t))
            self.post_mean_coef_xt.append(
                math.sqrt(self.alphas[t]) * (1.0 - ab_prev) / (1.0 - ab_t))

（b）前向热扩散的一步闭式叠加（对应公式 (3.2)）

利用高斯卷积的封闭半群性质，将 $t$ 步热涨落一步叠加至基态数据 $x_0$ 上，仅需一行向量化线性组合：

def q_sample(self, x0, t, eps=None, rng=None):
    if eps is None:
        eps = (rng or RNG(0)).normal_vec(len(x0))
    sa = self.sch.sqrt_ab(t)           # √ᾱ_t
    s1 = self.sch.sqrt_1mab(t)         # √(1-ᾱ_t)
    return [sa * x0[i] + s1 * eps[i] for i in range(len(x0))], eps

（c）反向条件后验均值重构（对应公式 (4.5)）

利用去噪网络预测的高斯扰动 $\epsilon$，根据贝叶斯定理逆解出反向跃迁核的中心漂移向量：

def posterior_mean_from_eps(self, eps, xt, t):
    a_t, s1, beta = self.sch.alpha(t), self.sch.sqrt_1mab(t), self.sch.beta(t)
    inv = 1.0 / math.sqrt(a_t)
    coef = beta / s1
    return [inv * (xt[i] - coef * eps[i]) for i in range(len(xt))]

（d）回归损失目标与手写反向传播入口（对应公式 (4.9)）

在回归损失函数中，不仅需要计算标量损失值，更关键的是同步求出标量损失针对网络最末层输出张量的解析导数 $g$，这构成了自定义反向传播链式法则的起始边界：

def simple_loss_from_outputs(self, aux, outs):
    for i in range(B):
        t = aux["t"][i]; xt = aux["xt"][i]; eps = aux["eps"][i]; w = aux["weights"][i]
        pred = self.to_eps(outs[i], xt, t)          # 任意参数化 → ε
        coef = self.out_coef_deps_dout(t)           # dε/d(out)：参数化的雅可比
        for k in range(d):
            diff = pred[k] - eps[k]
            loss += w * diff * diff / (B * d)
            g[k] = 2.0 * w * diff / (B * d) * coef

（e）变分证据下界（ELBO）的三段式严格求和（对应公式 (4.3) 与 (2.6)）

代码将对数似然下界拆分为纯解析先验项 $L_T$、重构项 $L_0$ 以及横跨各时间步的高斯相对熵 $\sum_{t=2}^T D_\mathrm{KL}$ 逐项求和，每一项都严格对应热力学理论极值：

def elbo_all_t(self, model, x0, rng, clip_x0=None):
    # L_T：闭式，不需要网络
    l_T = 0.5 * (d * (1.0 - abT) + abT * norm2(x0) - d - d * math.log(1.0 - abT))
    # L_0：p(x_0|x_1) = N(mean, β_1)
    l_0 = 0.5 * d * (LOG2PI + math.log(var1)) + \
          norm2([x0[i] - mean1[i] for i in range(d)]) / (2.0 * var1)
    # sum_{t=2}^T KL(q(x_{t-1}|x_t,x_0) || p_θ)
    for t in range(2, self.T + 1):
        ...
        kl = 0.5 * d * (math.log(var_p / var_q) + var_q / var_p - 1.0) + 0.5 * D / var_p

（f）随机祖先采样（DDPM）与确定性概率流积分（DDIM）（对应公式 (5.1) 与 (5.3)）

在反向轨迹生成中，DDPM 在每个倒退步注入可控的高斯热噪声，而 DDIM 则通过将方差系数 $\sigma$ 归零，退化为确定性的常微分方程数值求解器：

def ddpm_sample(self, dim, model, rng, clip_x0=None, x_T=None, var_fn=None):
    x = x_T[:] if x_T is not None else rng.normal_vec(dim)
    for t in range(self.T, 0, -1):
        out = model.forward(x, t, self.T)
        mean, logvar = self.model_mean_var(x, t, out, clip_x0=clip_x0)
        if t > 1:                                     # 式 (5.1)
            sigma = var_fn(t) if var_fn is not None else math.exp(0.5 * logvar)
            z = rng.normal_vec(dim)
            x = [mean[i] + sigma * z[i] for i in range(dim)]
        else:
            x = mean[:]
    return x

def ddim_sample(self, dim, model, rng, steps=20, eta=0.0, ...):
    for idx, t in enumerate(subseq):                  # subseq 是跳步后的时间序列
        out = model.forward(x, t, self.T)
        eps = self.to_eps(out, x, t)
        x0 = self.x0_from_eps(eps, x, t)              # Tweedie，式 (2.9)
        sigma = eta * ...                             # 式 (5.4)
        x = [math.sqrt(ab_prev) * x0[i] + math.sqrt(1 - ab_prev - sigma**2) * eps[i]
             + (sigma * z[i] if z else 0.0) for i in range(dim)]

（g）得分函数的恢复与 Tweedie 投影（对应公式 (2.9)）

由预测的噪声残差 $\hat\epsilon$ 直接恢复出对数边缘概率密度的梯度场，为热力学势能引导提供直接算子：

def score(self, model, xt, t):
    out = model.forward(xt, t, self.T)
    eps = self.to_eps(out, xt, t)
    s = 1.0 / self.sch.sqrt_1mab(t)
    return [-eps[i] * s for i in range(len(xt))]

（h）离散单纯形扩散：掩码吸收与逐步解密（对应公式 (7.4)、(7.5) 与 (7.6)）

在字符与离散成分序列上，前向过程依据保留概率 $c_t$ 独立将原子标记替换为 MASK 吸收态；反向过程则根据后验贝叶斯比率 $p_\text{reveal}$ 逐步显露被隐藏的原子类别：

class DiscreteDiffusion:
    def q_sample(self, seq, t, rng):            # 式 (7.4)：以 1-ᾱ_t 的概率变 MASK
        keep = self.keep[t]
        return [tok if rng.random() < keep else self.MASK for tok in seq]

    def sample(self, model, length, rng):       # 反向：逐步 unmask
        for t in range(self.T, 0, -1):
            p_reveal = (keep_prev - keep_now) / (1 - keep_now)   # 式 (7.5) 的 c_t
            ...

在离散训练循环中，负对数似然损失被严格限制在受损位点处计算，未被掩码的确定性基元不贡献任何反向梯度：

for i in range(L):
    if masked[i]:                                  # 只看被掩掉的位置
        p = softmax(logits[i])
        loss += -math.log(max(1e-12, p[clean_token[i]])) / total_masked
        g[k] = (p[k] - (k == clean_token[i])) / total_masked     # 交叉熵的梯度

9.4 手写反向传播：构建链式梯度的两道底线

多层感知机（MLP）伴随残差连接的反向传播在概念上并不复杂，但在脱离自动微分框架、完全手写参数更新时，有两个极易被忽视的致命陷阱必须在架构底层得到妥善解决。

第一道陷阱源于批量前向与反向传播的激活缓存不对齐。在线性全连接层的前向传播中，算子必须在内存中暂存当前输入的激活向量，以便在反传时根据 $\frac{\partial L}{\partial W} = g \cdot x^\top$ 计算权重的外积梯度。如果在处理由 64 个样本构成的批次时，代码采取“先遍历完成整个批次的前向计算，随后再遍历计算反向梯度”的朴素流程，那么反向传播在回溯至批次第一个样本时，神经元内缓存的输入激活其实已经被循环终点的最后一个样本彻底覆盖，从而导致算出的参数梯度与当前输入的损失完全脱节。为了彻底斩断这种隐蔽的激活覆写，本实现采取“单样本紧凑重传”策略：在计算损失对输出的导数后，对每个样本重新前向刷新局部缓存并立即触发单样本反向传播，将局部权重导数累加至全局 .dW 与 .db 缓冲区中，从而在极简内存占用下确保了每一步外积梯度的严格正确：

for i, g in enumerate(douts):
    model.forward(aux["xt"][i], aux["t"][i], diff.T)   # 重新前向，对齐缓存
    model.backward(g, zero_grad=(i == 0))              # 累加进 .dW/.db

第二道陷阱则是不同参数化目标在链式法则下的雅可比缩放因子。在扩散模型的回归框架中，损失函数始终是在等效的高斯噪声空间 $\epsilon$ 内部度量残差平方，然而网络的最末层输出可能被指定为预测去噪后的基态 $\hat x_0$ 或相空间速度 $\hat v$。根据复合求导法则，由损失函数传回网络输出层的梯度必须严格乘以映射导数 $\frac{\partial \hat\epsilon}{\partial (\text{out})}$：当网络参数化为 $x_0$ 时，该雅可比系数为 $-\frac{\sqrt{\bar\alpha_t}}{\sqrt{1-\bar\alpha_t}}$；而当参数化为速度 $v$ 时，该系数则为 $\sqrt{\bar\alpha_t}$。若在反向传播入口遗漏这一缩放系数，代码在语法和数值运算上不会触发任何报错中断，但梯度的有效物理量纲会在不同时间步被彻底扭曲，导致模型在经历漫长迭代后只能收敛至极差的次优几何解。为此，本教程的自动化测试脚本对三种参数化分别施加了逐参数有限差分闭式校验，杜绝了雅可比链式传递的任何微小偏差。

9.5 数值稳定性清单：物理约束下的防溢出法则

在浮点数精度有限的计算环境中，扩散动力学的极端时间尺度极易诱发对数发散或指数溢出。下表总结了在纯 Python 原型开发过程中亲手排查并系统化修复的七大数值陷阱及其物理防御对策：

现象	原因	处理
math domain error	$t=1$ 时 $\tilde\beta_1=0$，log(0)	t=1 单独处理，用 $\sigma_0^2=\beta_1$
训练中途 NaN / OverflowError	方差头初始输出很大，$\exp$ 溢出	把插值系数截到 $[0,1]$，并让截断处的梯度为 0
采样发散	$t$ 大时 $\hat x_0$ 被放大	裁剪 $\hat x_0$ 到 $[-c,c]$
ELBO 值飘	$L_0\sim 1/\beta_1$，单样本方差极大	多采几个 $t$、多种子平均，或只做相对比较
条件「听不见」	条件量纲远大于数据	条件也标准化
损失爆炸（$10^5$）	直接用了未归一化的 ELBO 权重	归一化到均值 1，或用 $L_\text{simple}$
生成样本全一样	数据太少 + 训练太久 + 条件太强	见 §11.4 的「塌缩」一节

9.6 全套测试矩阵（50 项自动化物理与数学校验）

在工程化交付前，仅凭“代码没有抛出异常”或“损失在肉眼可见地下降”绝不足以作为算法正确的科学依据。正如在计算量子力学中必须通过维里定理（Virial Theorem）、平移旋转不变性与氢原子解析解的多维标定一样，本教程通过 python3 tests_diffusion.py 构筑了一套包含 50 项严格数学守恒与统计物理不变量的自动化验证矩阵。

整个测试矩阵沿循理论抽象的层级自底向上层层把关。在最基础的随机数发生与线性代数层（4 项），测试严密监控了显式伪随机数流的比特级种子复现性、高阶矩与置换群操作的无偏性。在算子与优化器层（8 项），校验涵盖了矩阵迹恒等式、伴随内积守恒 $\langle Mx,g\rangle=\langle x,M^\top g\rangle$、激活函数导数解析闭式，以及横跨 $\epsilon$、$x_0$ 和 $v$ 三种参数化形式的逐参数有限差分梯度严格比对，确保手写 Adam 与指数滑动平均（EMA）在参数空间精准收敛。

在时间动力学与随机微积分层，测试进一步验证了噪声调度的物理自洽性（6 项），涵盖离散步长单调性、后验方差严格不大于先验方差 $\tilde\beta_t\le\beta_t$ 的几何约束，以及 min-SNR 权重在不同信噪比区间的收敛渐近性。随后在前向与后验映射验证中（5 项），不仅通过几十万次采样严格确证了单步闭式转移矩阵与多步马尔可夫链蒙特卡洛演化的各阶统计矩完全重合，还检验了各类速度与坐标参数化之间的无损可逆变换。在解析去噪器层（5 项），测试将模型与高斯混合分布的解析贝叶斯解逐点比对，证明 Tweedie 公式在数学上构成了无法被任何微扰所超越的最优解。而在变分证据下界（4 项）、各类确定性/随机性采样器在相空间中的还原保真度（7 项）、离散状态吸收转移矩阵（4 项）以及长程训练稳定性（2 项）的全面围剿下，整套实现展现出无死角的数值鲁棒性与理论纯洁度。

---

10. 六个实验：每一个数字都是跑出来的

10.0 实验协议与基准标尺：确立测量的物理零点

在严谨的实验化学与凝聚态物理研究中，任何脱离仪器校准、测量误差带与参照基准的数值报告都不具备可证伪的科学意义。生成式机器学习亦是如此——若脱离了对真实数据内在方差的定量把握，单纯罗列某种生成质量得分或损失数值往往会沦为虚妄的自说自话。

为此，本教程所有的实证探索建立在一套完全开源、透明可复现的实验规范之上。整个评测工作流由 code/ 目录下的六个独立脚本驱动，完全基于原生 Python 构建，杜绝了底层张量库的隐式黑盒操作。所有随机性均由显式种子绑定的 RNG 发生器统管，确保每一轮马尔可夫链蒙特卡洛抽样在相同硬件指令下均可严格复现。实验过程中的每一项统计量、损失变化与逐时间步指标均会实时固化至 figures/results_*.json 结构化文件中，最终由独立绘制脚本 code/make_figures.py 在数十秒内渲染为可直接用于出版的定量分析图表。在标准开发机上，整套实验全量运行约需 1.5 小时，若开启 QUICK=1 快速验证模式则可在 30 分钟内完成核心规律的闭环扫描。

更核心的治学原则在于，本教程在每个实验中均强制引入了三道互为参照的“科学标尺”：

第一道标尺是真实系统的统计噪声地板（Noise Floor）。通过在真实数据集中随机抽取两份独立且互不重叠的子样本集，计算它们之间的能量距离（Energy Distance）。这一数值代表了哪怕是绝对完美的生成模型所能达到的理论上限；在抽样误差的笼罩下，任何声称优于或接近该地板量级的微小指标抖动，在统计学上均应被视为纯粹的测量涨落而不可过度解读。

第二道标尺是等阶矩各向同性高斯基线（Isotropic Gaussian Baseline）。通过直接估计真实训练集的经验均值与协方差对角线，以此解析高斯分布进行随机采样作为“完全未学习任何拓扑关联”的零阶对比。一个有实用价值的扩散模型，其表现在统计度量上必须显著击穿这道平庸基线。

第三道标尺则是解析最优去噪器（Analytic Bayes Optimal Denoiser）。在线性高斯或已知高斯混合的参考系统下，我们可以借助贝叶斯公式直接闭式导出得分函数与条件期望的数学极值。这道标尺揭示了物理宇宙允许的绝对极限，为评价神经网络逼近真实势能面的能力提供了最坚实的试金石。

10.1 实验一：二维多模态系统中的四类微观消融

作为进入高维化学特征空间前的理论校准，实验一首先选定一个兼具多模态与局部强对称性的二维基准体系：由 8 个高斯势阱等距排列在半径为 2 的圆环上构成的分布（每个模态的高斯展宽 $\sigma=0.14$，共包含 3000 个离散训练点）。系统演化步数设为 $T=200$，采用线性噪声调度与标准 $\epsilon$ 参数化，去噪网络由包含两层 64 隐藏神经元的极简残差 MLP 构成（总参数量 5506），采用 0.995 的权重指数滑动平均（EMA）迭代 3000 步。在 DDIM 逆向确定性采样时，将基态预测值 $\hat x_0$ 施加 $[-6, 6]$ 的硬约束截断。

（0）基准标尺校准：在当前体系下，两份独立真实样本集之间的能量距离为 0.0121，这构成了判定模型生成表现的理论绝对原点。值得注意的是，通过在 300 个抽样点上重复评估，该能量距离无偏估计的标准差约为 0.0077。这一不确定度直接规定了统计分辨率的下界——凡是在 0.05 范围内的指标波动，在物理意义上均应视为经验涨落而非模型的真实性能分化。

（1）动力学训练历程：在训练过程中，简化的均方误差损失 $L_\text{simple}$ 从初始的 2.09 稳定收敛至 0.53（前 100 步的平均收敛基线为 0.66）。作为对照，解析最优去噪器在相同数据集上计算出的理论极限为 0.4741。这意味着在完全不依赖大规模算力堆叠的前提下，仅有五千个参数的手写微型网络便逼近了距离理论物理下界仅差 12% 的高精度状态。

（2）训练预算与相空间覆盖演化：以每 500 步为间隔，采用 DDIM-20 采样器生成 200 个相空间坐标点，并同步监测能量距离与 8 个离散势阱的捕获完整度：

训练步数	能量距离	8 模式覆盖率
500	0.213	8/8
1000	0.115	8/8
1500	0.164	8/8
2000	0.000	8/8
2500	0.067	8/8
3000	0.110	8/8

仔细研读这一轨迹可以发现，早在最初的 500 步迭代中，多模态覆盖率便已达到完美的 8/8，表明扩散动力学在早期就能极其敏锐地捕获相空间全局的宏观几何骨架。而在 1000 步至 3000 步之间，能量距离始终在 0.00 至 0.21 的狭窄带状区间内振荡，这些波动完全与有限样本采样的固有估计方差处于同一量级。因此科学的结论应当是“模型在 1000 步左右便已达到生成精度的渐近饱和”，任何将“2000 步为全局最优”归因于模型内部演化的断言在统计学上都是站不住脚的。

（3）反向积分步数、几何质量与计算代价的权衡：当对比随机性祖先采样（DDPM）与不同离散化步长下的确定性积分器（DDIM）时，展现出计算效率与生成精度之间鲜明的物理权衡：

采样器	步数	能量距离	单样本耗时
DDPM（随机）	200	0.099	30.6 ms
DDIM	100	0.089	15.7 ms
DDIM	50	0.064	8.0 ms
DDIM	20	0.094	3.3 ms
DDIM	10	0.042	1.7 ms
DDIM	5	0.115	0.9 ms
DDIM	2	0.228	0.5 ms

在这一低维相空间中，实验给出了比一般机器学习文献更为审慎的量化洞见：只要数值积分步数保持在 5 步以上，生成样本的能量距离便在测量误差范围内与 200 步的随机扩散难分伯仲，而计算耗时却伴随步数压缩实现了严格的线性暴跌——高达 20 倍的生成加速在此几乎未付出任何可察觉的保真度代价。只有当步长被极端激进地压缩至仅有 2 步时，确定性外推因单步跨越了上百个弛豫时间尺度导致截断误差急剧积累，生成质量才发生断崖式恶化。这一结论证实了 DDIM 在小尺度玩具问题上的优异加速能力，但也提醒研究者：在复杂的高维材料势能面上，这种免受精度惩罚的步数压缩必将面临更为严苛的曲率阻碍。

（4）加噪调度方式的消融：训练损失与采样质量的反直觉悖论：在固定 1400 步的相同计算预算下，三种不同演化曲率的调度方式呈现出强烈的对比：

调度	$L_\text{simple}$	能量距离	覆盖率
linear	0.545	0.102	8/8
cosine	0.450	0.394	8/8
quad	0.637	0.082	8/8

这是整个实验中最富启发性且反直觉的对照结果：损失函数值最低的余弦调度（0.450）其最终生成的相空间样本质量反而最差（能量距离高达 0.394）；反之，损失最高的平方调度（0.637）却培育出了最优质的样本几何分布（0.082）。其物理根源在于，余弦函数在接近基态的极短时间尺度内过度压制了扰动方差（$\beta_1$ 极其微小），使得网络将过多的有效容量耗费在几乎不需要去噪的高保真近端，而在决定势阱分流与宏观拓扑的中间信噪比区间投入不足。这生动地向研究人员揭示了一条铁律：$L_\text{simple}$ 仅代表优化算法在当前加权策略下的拟合标尺，绝不能直接等同于物理生成空间的保真度指标。

（5）三种状态参数化方式的响应差异：在固定 1400 步迭代下，将网络拟合目标分别设定为高斯噪声残差 $\epsilon$、基态真实坐标 $x_0$ 以及相空间混合速度 $v$：

参数化	$L_\text{simple}$	能量距离	ELBO（bits/dim，越小越好）
$\epsilon$	0.561	0.106	13.48
$x_0$	1.201	0.172	49.70
$v$	0.560	0.129	13.08

在此需要着重提示该项评测中存在的数值敏感性：在余弦调度背景下，$x_0$ 参数化所测得的 ELBO 指标曾一度展现出极佳的读数（1.60），然而一旦平移至线性调度体系，其负对数似然下界便急剧恶化至 49.70 bits/dim。这表明参数化方式对具体的时间离散化调度存在极强的非线性耦合依赖，加之连续空间中 ELBO 本身固有的大样本估计方差，使得不同参数化在下界优劣上的比较极易受到扰动。但其确凿无疑的规律在于：直接以 $x_0$ 为输出目标的训练损失 $L_\text{simple}$ 在绝对数值上显著高出一个量级，这是因为其回传梯度被局域信噪比 $\mathrm{SNR}_t$ 整体放大，等效于大幅改写了优化器的有效物理学习率。这从实证层面深刻印证了 §4.7 中的理论洞见——更换参数化目标是一次对优化能垒分布的实质性重构，而非单纯的符号数学置换。

（6）损失函数加权策略的实证解构：针对同一架构在 1400 步预算下应用四种不同的加权方案，展现出似然度与生成保真度之间的深层张力：

加权方式	$L_\text{simple}$	能量距离	ELBO
等权（simple）	0.554	0.135	9.36
精确 ELBO 权重	$2.0\times10^{5}$	0.303	10.09
ELBO 权重（归一化到均值 1）	0.805	0.436	10.47
min-SNR（$\gamma=5$）	0.405	0.142	9.08

这四组对照清晰地揭示了三个极具工程指导价值的核心事实。其一是精确的变分权重绝对不可盲目直接用于梯度下降：由于权重因子中含有 $\frac{\beta_t}{2\alpha_t(1-\bar\alpha_{t-1})}$ 项，在 $t \to 1$ 的极低噪声极限下分母极度趋近于零，导致反传权重瞬间暴增数万倍，致使优化过程陷入学习率爆炸的数学泥潭。其二是即使施加了全局均值归一化，以最大化 ELBO 为单一导向的权重策略依然呈现出“变分下界最优、空间几何最差”的尴尬局面（能量距离从平权的 0.135 显著劣化至 0.436）。这是因为统计似然主要由小噪声端的高频微观细节主导，而决定材料拓扑或分子骨架全局形状的宏观分流却完全发生在剧烈的高噪声区间。其三，旨在平滑方差冲击的 min-SNR 剪裁策略虽然成功将训练损失压至全局最低的 0.405，但在当前的小规模参数体系下，对最终样本几何保真度的提升并不明显。

（7）学习逆向方差头的负结果记录：遵循 improved DDPM 的经典设计，在冻结均值网络梯度的前提下，尝试通过独立神经层针对 KL 散度项优化反向跃迁方差 $\sigma_p^2$。在迭代 1200 步后，局部 KL 散度项未见收敛改善（在 0.016 至 0.07 之间游移），反而致使全局 ELBO 从 11.89 恶化至 19.76 bits/dim。经严谨复盘，其失效根源在于网络深层表征依然采用了共享主干，方差头的反传扰动不可避免地污染了高精度均值重构的稳定性。由于在实验二中通过闭式解析推导已能够极其清晰地量化方差效应，本教程选择将这一尚未彻底解耦的尝试作为典型的真实负结果予以保留。

（8）相空间得分场的物理保真度分析：将去噪模型所重构的得分场 $\hat s=-\hat\epsilon/\sqrt{1-\bar\alpha_t}$ 与高斯混合势阱的严格解析得分场投影至同一二维网格中，二者的余弦相似度呈现出极其优美的随时间单调上升轨迹。在 $t=5$ 的近基态区域，相似度为 0.694；而当推进至 $t=160$ 的强烈热涨落区间时，方向相似度近乎完美地达到了 0.998。这一现象高度契合统计物理直觉：在剧烈热扰动下，相空间粒子感受到的只是将自身拉向系统质心的宏观单一热力学漂移，极易被多层感知机准确捕获；而在接近绝对零度的洁净极限下，模型必须精确解析 8 个互不干扰的微观势阱边缘那极其陡峭的高频局域恢复力，对空间分辨率的苛求自然大幅提升。

（9）跨几何流形的泛化鲁棒性：在保持所有超参数绝对一致的前提下，直接将该架构迁移至具有高度非线性扭曲的“双月分布”（Two Moons）流形上，模型依然稳定斩获了 0.104 的能量距离，完整而平滑地重建了两个交错月牙的连续几何边界。

10.2 实验二：线性高斯体系的解析全解剖与极限标定

在探索高维非线性空间之前，任何理论体系最纯粹的检验场莫过于线性高斯世界。本节中涉及的所有统计量与最优算子均存在闭式解析解，因此实验二的核心宗旨不是测试网络性能，而是为整套动力学实现施加无懈可击的理论体检。基态数据选定为一维连续高斯变量 $x_0\sim N(0.7, 1.1^2)$，此处的标量结论在任意高维正交特征空间中均逐维完全成立。

（1）单步闭式加噪与马尔可夫长链的严格等价性：在相空间中固定观察点 $t=60$，分别采用公式 (3.2) 的单步高斯卷积与连续迭代 60 步的微观马尔可夫转移链各独立抽取 60000 个采样点，其经验统计矩与严格理论积分值的比对展现出极高的一致性：

方式	均值	方差
闭式一步（式 3.2）	0.6213	0.2131
走 60 步马尔可夫链	0.6235	0.2141
理论值	0.6210	0.2131

三者在均值与二阶矩上均完美吻合至小数点后第三位。这一实证以无可辩驳的精度确证了扩散模型得以跳过繁重前向步进、直接实施“任意时间步单步加噪训练”的数理正当性。

（2）Tweedie 投影公式与非参数数值贝叶斯的互证：在涵盖 10 个代表性时间步与 5 组不同相空间位置 $x_t$ 的离散测试集上，一方面利用蒙特卡洛大量抽样后通过局部核窗口平滑数值逼近条件后验期望 $E[x_0\mid x_t]$，另一方面直接代入公式 (2.8) 的解析 Tweedie 表达式。二者在全域内的最大绝对偏差仅为 0.067，在处于数据密集分布的核心区间时相对误差严格小于 1%。微小的边际偏差主要源于非参数核平滑所设定的有限带宽，进一步在计算层面印证了 Tweedie 公式作为理想均值重构基准的正确性。

（3）经验神经网络对解析最优去噪器的逼近极限：以一个宽度仅为 48 神经元的三层微型残差网络在单高斯数据上训练 4000 步，逐时间步对比其预测误差与理论数学极值。在 $t\ge 60$ 的强噪声区间，网络预测的均方误差与解析贝叶斯最优解之间的差距已被压制在 0.0011 以内；在 $t\le 10$ 的微扰区间，该差距亦仅约为 0.005。在个别时间步上，基于 400 个离散样本测算出的网络误差甚至略低于解析基准，这一在数学理论上不可能出现的微小负值恰恰证明网络逼近真实势能面的偏差已彻底跌入蒙特卡洛抽样的统计白噪声基底中。这充分表明，在解析几何清晰的低维体系中，极简的前馈架构完全足以穷尽物理允许的最优重构能力。

（4）连续空间变分下界随步数漂移的深层根源：通过解析积分测算不同演化步数 $T$ 对变分证据下界内部三项能量划分的影响，展现出一组极为深刻的度规漂移特征：

| $T$ | $L_0$ | $\sum_t \mathrm{KL}$ | $L_T$ | $-\text{ELBO}$（bits/dim） | | --- | --- | --- | --- | --- | --- | | 10 | −0.36 | 1.88 | 0.000 | 3.24 | | 40 | −1.58 | 3.09 | 0.000 | 6.74 | | 160 | −2.58 | 4.09 | 0.000 | 9.62 | | 640 | −3.39 | 4.90 | 0.000 | 11.96 | | 真实 NLL | — | — | — | 2.18 |

这组数值向研究人员呈现了一个极富哲理的定量事实：随着离散步数 $T$ 从 10 激增至 640，累加散度项 $\sum \mathrm{KL}$ 因项数膨胀而持续上升，而重构项 $L_0$ 却因第一步扰动方差 $\beta_1$ 的微弱化（$\log\beta_1\to-\infty$）而呈现出越来越极端的负值。最终折算得到的全局负变分下界 $-\text{ELBO}$ 反而随步数增加单调上升。这绝非代码实现缺陷，而是我们在 §4.6 中深入剖析过的连续相空间无天然离散分箱的必然代价：在缺乏如数字图像像素网格那样的物理分辨率最小测度时，连续概率密度的微分熵不仅可正可负，而且必须人为指派终点观测噪声方差 $\sigma_0^2$。这一人工约定的任何平移都会直接随时间步发生基底漂移。因此在材料学与分子科学中，单独宣称某模型获得了某个确切的连续 NLL 或 ELBO 数值毫无学术参考意义，只有同步固定步数 $T$、测度分箱尺度与评估协议，所得到的相对优劣才能成立。

（5）反向跃迁方差选择的闭式变分比较：针对 $T=400$ 的余弦调度体系，解析计算三种典型方差设定对负变分下界的影响：

$\sigma_p^2$ 的选择	$-\text{ELBO}$（bits/dim）	与真实 NLL 的距离（bits/dim）
$\sigma_p^2=\beta_t$	11.2105	13.395
$\sigma_p^2=\tilde\beta_t$（后验方差）	11.9523	14.137
$\sigma_p^2=\tilde\beta_t+c_1^2\tau_t^2$（点态最优）	11.2105	13.395

从严格的变分微积分出发，将 KL 散度泛函对模型方差 $\sigma_p^2$ 取极值导数，可以从理论上证明点态最优方差严格形式为 $\tilde\beta_t+c_1^2\tau_t^2$，其理论下界在全域内恒为最小。但在当前数值体系下，其相比于先验方差 $\beta_t$ 的优势极其微弱（仅约 $4\times10^{-5}$ bits/dim）。尤为关键的是，许多初学者直觉上认定的理想选择——单纯条件后验方差 $\tilde\beta_t$，其下界读数反而显著恶化了 0.74 bits/dim。这强有力地纠正了一个流传甚广的误区：单纯采用条件后验方差作为固定扩散系数的做法，其合理性在物理上严格依赖于均值预测误差绝对为零的前提假设；一旦均值预测存在微小系统残差，低估的反向扰动方差反而会大幅增加逆向轨迹发散的概率。

（6）采样器相空间方差还原的无偏性诊断：直接采用解析最优去噪器在不同反向方差设定下各自生成 1500 个样本点，检验其还原真实物理分布的能力（真实基态设定为均值 0.7，二阶方差 1.21）：

采样用的 $\sigma_t^2$	样本均值	样本方差	KS 统计量
$\tilde\beta_t$	0.7120	1.1723	0.0123
$\beta_t$	0.7120	1.1965	0.0105
真实反向方差	0.7120	1.1979	0.0104

这组对比揭示了一个极为精妙且致命的诊断指征：三种方差方案所生成的样本一阶均值均精确落于 0.7120 附近，表面上看几乎毫无破绽；然而一旦深入审视二阶方差，采用条件后验方差 $\tilde\beta_t$ 生成的样本其方差发生了大约 3% 的系统性收缩低估（1.1723 对比 1.21），而采用先验方差 $\beta_t$ 或真实反向方差所获得的二阶矩则展现出高度无偏的物理精确性（1.1965 与 1.1979）。这为材料与分子化学领域的算法研发人员提供了一件强有力的“故障诊断听诊器”：在评估扩散模型逆向生成的分子构象分布或材料成分多样性时，切不可仅仅满足于一阶平均值的高度吻合，若发现生成的相空间图谱“宏观中心精准但微观离散度不足”，首要的排查对象便是反向转移核中是否误用了低估的方差扩散系数。

（7）多调度权重因子的奇点轨迹解析：在图 fig_a06 中，三种不同权重函数在整个演化过程中的分布形态被直观并列。精确 ELBO 权重在接近基态的 $t=1$ 附近呈现出高达 $5\times 10^7$ 的极端奇点，这从数理本质上诠释了为何未归一化的变分下界在优化过程中会瞬间引发数值爆炸；而 min-SNR 截断权重在最优信噪比拐点处平滑钳位至 1，信噪比本身则随着时间步推移呈现出清晰而平直的对数单调衰减。

---

11. 优缺点、常见坑与实践清单

11.1 核心优势与成立条件：为何扩散动力学深刻重塑了生成建模

在计算化学与材料逆设计的宏大版图中，扩散模型之所以在近年来迅速取代生成对抗网络（GAN）与部分传统变分自编码器（VAE），其根本原因在于其数学架构赋予了模型前所未有的工程鲁棒性与灵活控制度。然而，这些优势绝非凭空而来，每一项长处在物理与数学上均伴随着严格的成立边界。

首要的优势在于其无与伦比的训练稳定性。与 GAN 那种极易发生梯度消失或振荡发散的双人零和博弈不同，也不同于 VAE 中编码器与解码器相互掣肘的对数似然折衷，扩散模型在数学本质上被简化为单一去噪器在加权二次准则下的回归拟合。在相空间中，损失曲面呈现出优异的局域拟凸性，不存在后验坍塌的隐患。在整个 50 项基础单元测试中，没有任何一项测试需要依赖精细的超参数微调便能直接收敛。但这一稳定的绝对前提是：输入特征必须经过严格的零均值与单位方差标准化，且离散时间调度曲线不可在局部出现骤剧的方差阶跃。

其次是似然边界的可计算性与模型可比性。得益于非平衡态统计热力学与伊藤微积分的严格衔接，扩散模型能够导出无偏的变分证据下界（ELBO），使得研究人员能够在同一化学任务上定量评估不同网络对客观物理数据分布的拟合保真度，这在严肃的物理科学研究中构成了可证伪性的关键基石。其成立的约束在于：对于连续特征空间，绝对对数似然数值不可避免地受到观测分辨率约定的平移影响，因此跨架构横向评估时必须严格统一离散步数与分箱测度，仅进行相对排名的比较。

更为材料研究者青睐的是其天然支持多目标条件引导与局域自由度操控。在逆设计管线中，无论是直接拼接物化性质向量、施加无分类器引导（CFG）、还是实施基于梯度的即插即用能量引导，均无需颠覆性地重构网络主干。更进一步，扩散模型与生俱来具备“自由度冻结去噪”（Inpainting）能力：若希望保留某分子已知的优势母核骨架，仅对周边不稳定官能团进行局部修饰，只需在每一步反向扩散中将已知原子的坐标强制投影回对应的无噪投影流形，便能在完全不打破物理构型连续性的前提下，仅让扰动区域自由演化重构。而在面对多模态高对称晶系或多样性构象分布时，扩散动力学能够在保证每个势阱均有有限转移概率的前提下实现全相空间的均匀覆盖，彻底根除了生成对抗网络中常见的模式塌陷顽疾。

11.2 架构局限与败局剖析：扩散模型在什么场景下会输

正视一项算法的理论边界，比盲目夸大其效能更为关键。在真实的高通量材料发现与分子合成任务中，扩散模型的内在机理决定了它在若干特定极端情境下必然面临严峻的性能折衷甚至惨败。

最显性的瓶颈在于反向采样的多步时间延迟。即便是极简的二维玩具系统，执行一次 100 步的确定性 DDIM 积分也需要耗费 16 毫秒，而 200 步的随机 DDPM 则需 30 毫秒以上；当网络规模扩展至百万参数级的等变图神经网络并处理上百个原子构象时，生成单一样本的耗时将激增至秒级甚至分钟级。在需要结合实时量子化学计算进行数万次在线候选迭代的高通量主动学习或强化学习闭环中，多步反向采样的庞大延迟往往会使扩散模型在吞吐效率上彻底输给单次前向直出的自回归模型、生成流或直接代理回归器。

第二道致命痛点在于极度匮乏的小样本条件下的记忆化与表征塌缩。在深度学习的标准图像领域，训练集动辄包含数十万乃至数亿张样本；但在湿实验驱动的材料与聚合物领域，许多高成本私有数据集的体量往往徘徊在数百条的极端区间。后续实验四针对 350 条 HOPV 聚合物数据的实证便是一场深刻的溃败：在稀疏的相空间中，扩散模型在漫长的去噪去模糊过程中无法真正抽象出连续的物理泛化规律，生成的潜变量高度塌陷至少数已知训练样本的极小邻域，导致最终检索出的唯一有效分子数锐减至个位数。对于百量级的小数据逆设计，参数效率更高的高斯过程、贝叶斯优化或结构先验更强的树状搜索往往能取得更扎实的物理成果。

第三项局限源于连续扩散动力学与离散化学拓扑规则之间的本体论冲突。分子骨架与晶体构型本质上受制于离散的价键轨道杂化与非共价配位几何约束。若采用连续坐标扩散并结合最近邻检索的有损解码，相空间微小的数值扰动极易在离散化投影阶段被粗暴放大，导致大量生成点映射至同一已知基准或破坏化学计量比；若退回至离散状态转移矩阵的掩码扩散，其建模能力目前多局限于无序元素集合的分类重构，极难直接驾驭复杂的连续空间非键相互作用。

此外，扩散模型超参数体系存在复杂的非线性耦合：时间跨度 $T$、离散调度曲率、状态参数化形式、变分加权策略、基态坐标截断阈值以及引导尺度，任何一个维度的微调都会引发整体动力学行为的连锁漂移。更为深层的警醒在于：相空间内的“几何生成质量”与湿实验维度的“真实物化功用”绝不能画等号。在特征有损投影与检索解码的掩护下，模型看似在能量距离上获得了优异的收敛读数，但其在物理实质上往往只是从历史数据库中重新挑出了原本就表现良好的既有结构，并未实现真正意义上的全新空间理性探索。

11.3 跨范式横向对照：生成阵营的横评与真实实测数据

为了在宏观计算材料学的方法工具箱中精准定位扩散模型的坐标，我们将五大主流生成式范式置于统一维度下进行理论解构，并同步汇总本教程与同系列 VAE 篇在相同基准数据集上的实测对比：

| 维度 | 自回归 | VAE | GAN | 流 | 扩散 | | --- | --- | --- | --- | --- | --- | --- | | 训练稳定性 | 好 | 中（后验坍塌） | 差（博弈） | 好 | 最好 | | 采样速度 | 快（逐 token） | 一次前向 | 一次前向 | 一次前向 | 慢（10–1000 步） | | 似然 | 精确 | 下界 | 无 | 精确 | 可估下界 | | 连续可解释潜空间 | 无 | 有 | 通常无 | 有（可逆） | 有（$x_T$ 空间） | | 条件控制 | 好 | 好 | 中 | 好 | 最好（引导） | | 小数据表现 | 中 | 中 | 差 | 中 | 差（易记/易塌） |

在同一套材料化学数据环境下的定量消融比对，为理论研判提供了真实的物理对照剖面：

任务	VAE 篇的结果	本篇的结果
ESOL 小分子	字符级重建有效 0%；生成有效 5.8%；潜变量→logS 岭回归 $R^2=0.596$	描述符 PCA 扩散：logS 预测器 $R^2=0.680$（同一目标，不同表示）
HOPV 聚合物	字符 VAE 生成有效 0.5%（负结果）；指纹 VAE 位准确率 0.9468	同样失败：350 条数据上生成点塌缩，见实验四
MP 材料组成	打分器 $R^2=0.879$；条件 CVAE 把不同条件分开了（本文第 10.5 节核对基线）	打分器 $R^2=0.575$（特征更粗）；条件扩散 vs 随机 Dirichlet 的对照见实验五

从上述两张沉甸甸的对照表中，材料科学研究人员必须铭记两条极具指导意义的核心规律：其一，在数千个样本量级的化学数据集上，物理特征表示（Representation）的合理性往往彻底碾压生成算法（Algorithm）本身的复杂度；其二，在数百条极小规模的聚合物任务中，无论调动精巧的 VAE 还是前沿的扩散模型均录得严峻的生成失败——这绝非算法调优不足的偶然偶发，而是信息论在小样本相空间中无法越过的物理硬墙。

11.4 常见实战陷阱：计算化学研发中的防踩坑指南

结合本教程在自研实现过程中亲历排查的诸多挫折，我们将扩散模型在材料与化学应用中极易陷入的技术泥潭梳理为三大认知陷阱：

第一，表征工程与数据卫生陷阱。在处理分子指纹与物理描述符时，研究者常犯的失误是遗漏常数维度的清洗。例如在特定小分子库中，由于不存在自由基结构，RDKit 计算出的 NumRadicalElectrons 描述符在全数据集上恒为 0，若未加过滤直接实施方差归一化，由于除以零方差会导致整个特征矩阵瞬间充斥 NaN；类似地，在共轭聚合物等大分子结构中，个别长链空间位阻可能导致部分拓扑电性指数发散为无穷大（inf），必须在特征工程流水线入口处施加严格的列级有限性过滤与剔除。此外，当引入多目标物理属性作为条件时，若未将诸如数电子伏特的形成能或带隙数值进行零均值标准化，其巨大的绝对物理量纲将强行统治整个神经网络的输入层，使得几何坐标自身的去噪梯度彻底被掩盖。

第二，优化动力学与加权损失陷阱。许多研究者习惯将监控常规回归任务的经验照搬至扩散模型，盲目依据 $L_\text{simple}$ 损失的数值高低来裁定模型优劣。正如实验一所展示的反直觉铁证：损失数值最低的余弦调度其生成的相空间样本几何反而最差，而损失最高的二次调度却孕育出了最高保真度的多模态分布——训练损失只是优化器在特定噪声加权下的下行指标，绝不可直接等同于宏观物理保真度。同样危险的还有直接套用未经重正化的精确变分权重：在接近终点的微扰区间，其解析权重因分母趋近于零而飙升至 $10^7$ 量级，足以瞬间摧毁 Adam 优化器的二阶动量累加；而在设计自适应方差预测头时，若不对插值神经元的激活施加严格的 $[0, 1]$ 钳位与梯度阻断，仅一次前向浮点数指数运算 exp() 的局部溢出便会让数小时的迭代付诸东流。

第三，时间截断与解码投射陷阱。当为了追求快速实验而将扩散步长粗暴缩减至 $T=100$ 且未曾相应重整调度曲率时，累积保留系数 $\bar\alpha_T$ 往往仍高达 0.36，这意味着相空间终点尚未完全弛豫至各向同性高斯基底，先验项在此白白泄漏了约 0.23 nats/维的信息熵，使逆向动力学的起始点直接偏离了物理真实先验。最为隐蔽的则是将有损检索解码的统计优势误当成生成模型的创造力：当在 PCA 降维或连续流形中逆向生成一个潜坐标后，通过欧几里得最近邻距离在既有大库中检索最接近的真实分子，这一操作会在很大程度上抹杀扩散模型本身的生成缺陷，甚至给人以“模型创造出了超高活性候选”的错觉。科学的评测必须将相空间生成点的原始分布距离、检索分子的性质提升幅度以及真实分子结构的新颖率三者并列汇报，绝不可用检索步骤掩盖生成能力的平庸。

11.5 实践路线图：材料化学扩散建模的四阶段工程范式

为了帮助材料科学与计算化学实验室规避无谓的试错周期，我们提炼出一套贯穿数据生命周期的四阶段规范化推进范式：

第一阶段：数据物理体检与空间维度裁定。在敲定任何神经网络架构之前，首先对目标数据集实施严格的决定性体检：核验物理属性标签是否为输入拓扑的单值函数，量化同一输入结构映射不同实验值的歧义比例。随后依据 §8.6 的决策地图审慎决定扩散空间：究竟是在全原子连续笛卡尔坐标空间实施等变扩散，还是在保持无损可逆的代数单纯形（如成分数据的 ALR 变换）上建模，抑或被迫接受有损特征降维。最终将全部输入变量标准化至零均值与单位方差，使数据完全匹配标准正态先验的几何边界。

第二阶段：极简基线贯通与动力学原型搭建。优先采用 $T=1000$ 的标准线性或平滑余弦调度，锁定最为稳健的 $\epsilon$ 噪声参数化目标与平权均方误差 $L_\text{simple}$ 搭建初始流水线。网络前向输出层务必同时预留基态预测 $\hat x_0$ 的闭式解耦映射，并在反向采样器中植入物理允许范围的严格硬截断（Clip）。所有外部物化条件信号必须经过严格标准化后注入。在小样本场景下，立刻执行“记忆化渗透诊断”：测算生成坐标到最近训练样本的欧氏距离分布，并与训练集内部的最近邻距离中位数进行横向对比，警惕潜在的过拟合过饱和。

第三阶段：双重科学标尺与多维统计评估。拒绝脱离度规基准的单一数字汇报，评测体系中必须始终并列两道物理标尺：由真实数据自抽样确立的“统计噪声地板”，以及由对角高斯拟合确立的“零阶平庸基线”。全面记录样本多样性（唯一有效率）与外加条件引导强度之间的衰减曲率，当汇报对数似然或变分下界时，必须白纸黑字附带明确的时间步数 $T$、终点测度分箱方差 $\sigma_0^2$、蒙特卡洛抽样次数与随机种子。在进行逆向定向筛选时，强制设置完全随机的成分抽样对照组（如单纯形上的随机 Dirichlet 采样），确认模型筛选出的优质材料是否真正显著超越了相空间盲抽的期望水平。

第四阶段：全链路湿实验映射与失败样本归档。将“逆向采样生成 $\to$ 物理打分器筛选 $\to$ 结构拓扑还原 $\to$ 高级第一性原理验证/湿实验合成”的整条价值链完整跑通，绝不可止步于潜变量空间的一阶距吻合。更为关键的是，建立系统化的负结果文档，完整记录在特定物理约束、调度曲率或极小数据量下遭遇崩塌的失败设置，这些负结果往往包含了相空间局部能垒分布最真实的几何边界信息。

11.6 决策分流：何时不应盲目选用扩散模型

技术选型的最高境界在于清晰知晓一项工具的局限所在。面对具体的材料与化学计算课题，研究人员应当在以下五种典型情境下主动放弃或延后引入扩散模型：

其一，当应用场景对生成吞吐率有着极致的实时性要求，例如在自动化机器人流动化学合成平台上进行微秒级的在线分子闭环决策时，多步迭代的扩散动力学在工程上往往难以胜任，应优先选用单步生成的流匹配（Flow Matching）或经过一致性蒸馏的极少步采样器。

其二，当手头可用的材料实验数据极度稀缺，仅仅包含几十条离散合成记录时，强行训练包含成千上万参数的去噪扩散网络无异于刻舟求剑，此时参数效率极高、天生具备不确定度量化能力的经典高斯过程（GP）、贝叶斯优化（BO）或小样本自回归网络才是更符合信息论极限的明智选择。

其三，当科研课题的实质目标仅仅是针对已知晶体或分子开展高精度的正向性质预测，而完全不涉及未知候选的拓扑逆向生成时，这纯粹属于正向判别任务，直接调用高精度图神经网络或基础预训练模型即可，完全无需涉足逆向生成体系。

其四，当目标设计空间被极其严苛且不容破坏的离散物理与化学硬约束所统治（如极其复杂的特定化合价配位饱和规则、严格的晶格对称群整数约束）时，基于连续空间高斯热涨落的扩散去噪极易在重构界面破坏这些刚性法则，此时结合图论与约束规划的组合优化算法、或者基于严谨语法树的蒙特卡洛树搜索（MCTS）往往更为稳健。

其五，当课题的核心学术诉求在于对材料内部物理机制的强可解释性洞察时，扩散模型的隐空间本质上是无结构的高斯热力学终态，不具备 VAE 那样基于贝叶斯后验 $q(z|x)$ 提炼低维连续物理序参量（Order Parameters）的内生解释能力。若希望通过潜变量的平滑插值来物理诠释相变动力学路径，具有严谨紧致流形拓扑的 VAE 或归一化流显然是更为恰当的理论载体。

---

12. 参考文献

任何理论体系的演进都是不同学科思想交融碰撞的产物。扩散模型的现代版图并非计算机科学家凭空构想的数学拼图，而是统计物理中的非平衡态热力学（Jarvis 恒等式、朗之万方程与福克-普朗克方程）、信息论中的相对熵变分推断、以及随机分析中反向随机微分方程跨越数十年演化的集大成者。为了便于材料与化学研究者追根溯源，本篇精选了 53 篇奠基性文献，划分为理论源头、数值积分加速、得分匹配微积分、条件导向架构、离散/流匹配前沿、材料化学应用落地以及开源工程基准七大脉络：

扩散模型的源头与变分视角

1. J. Sohl-Dickstein, E. Weiss, N. Maheswaranathan, S. Ganguli. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. ICML 2015.
2. J. Ho, A. Jain, P. Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS 2020. arXiv:2006.11239
3. D. Kingma, T. Salimans, B. Poole, J. Ho. Variational Diffusion Models. NeurIPS 2021. arXiv:2107.00630
4. A. Nichol, P. Dhariwal. Improved Denoising Diffusion Probabilistic Models. ICML 2021. arXiv:2102.09672
5. C. Luo. Understanding Diffusion Models: A Unified Perspective. arXiv:2208.11970, 2022.（本篇的推导顺序参考了它）
6. S. Chan. Tutorial on Diffusion Models for Imaging and Vision. arXiv:2403.18103, 2024.

采样加速与设计空间

7. J. Song, C. Meng, S. Ermon. Denoising Diffusion Implicit Models. ICLR 2021. arXiv:2010.02502
8. T. Salimans, J. Ho. Progressive Distillation for Fast Sampling of Diffusion Models. ICLR 2022.
9. Y. Song, P. Dhariwal, M. Chen, I. Sutskever. Consistency Models. ICML 2023.
10. C. Lu, Y. Zhou, F. Bao, J. Chen, C. Li, J. Zhu. DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. NeurIPS 2022.
11. F. Bao, C. Li, J. Zhu, B. Zhang. Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance. ICLR 2022.
12. T. Karras, M. Aittala, T. Aila, S. Laine. Elucidating the Design Space of Diffusion-Based Generative Models. NeurIPS 2022.
13. T. Hang, S. Gu, C. Li, J. Bao, Q. Chen, H. Hu, X. Geng, B. Guo. Efficient Diffusion Training via Min-SNR Weighting Strategy. ICCV 2023. arXiv:2303.09556
14. A. Bansal, E. Borgnia, H.-M. Chu, J. Li, H. Kazemi, F. Huang, M. Goldblum, J. Geiping, T. Goldstein. Cold Diffusion: Inverting Arbitrary Image Transforms Without Neural Networks. NeurIPS 2022.

得分匹配与 SDE

15. A. Hyvärinen. Estimation of Non-Normalized Statistical Models by Score Matching. JMLR 6:695–709, 2005.
16. P. Vincent. A Connection Between Score Matching and Denoising Autoencoders. Neural Computation 23(7), 2011.
17. Y. Song, S. Ermon. Generative Modeling by Estimating Gradients of the Data Distribution. NeurIPS 2019 (NCSN).
18. Y. Song, J. Sohl-Dickstein, D. Kingma, A. Kumar, S. Ermon, B. Poole. Score-Based Generative Modeling through Stochastic Differential Equations. ICLR 2021. arXiv:2011.13456
19. B. Anderson. Reverse-time diffusion equation models. Stochastic Processes and their Applications 12(3), 1982.
20. B. Efron. Tweedie's Formula and Selection Bias. JASA 106(496), 2011.

条件生成与架构

21. P. Dhariwal, A. Nichol. Diffusion Models Beat GANs on Image Synthesis. NeurIPS 2021（分类器引导）
22. J. Ho, T. Salimans. Classifier-Free Diffusion Guidance. arXiv:2207.12598, 2022.
23. R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022.
24. W. Peebles, S. Xie. Scalable Diffusion Models with Transformers (DiT). ICCV 2023.
25. V. Satorras, E. Hoogeboom, M. Welling. E(n) Equivariant Graph Neural Networks. ICML 2021.

流匹配与离散扩散（第 7 节）

26. Y. Lipman, R. Chen, H. Ben-Hamu, M. Nickel, M. Le. Flow Matching for Generative Modeling. ICLR 2023. arXiv:2210.02747
27. X. Liu, C. Gong, Q. Liu. Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow. ICLR 2023. arXiv:2209.14577
28. J. Austin, D. Johnson, J. Ho, D. Tarlow, R. van den Berg. Structured Denoising Diffusion Models in Discrete State-Spaces (D3PM). NeurIPS 2021.
29. S. Sahoo, M. Arriola, Y. Schiff, et al. Simple and Effective Masked Diffusion Language Models (MDLM). NeurIPS 2024. arXiv:2406.07524
30. A. Campbell, J. Yim, R. Barzilay, T. Rainforth, T. Jaakkola. A Continuous Time Framework for Discrete Denoising Models (DFM). NeurIPS 2022. arXiv:2208.04202
31. A. Vaswani et al. Attention Is All You Need. NeurIPS 2017.

化学与材料中的应用（第 8 节）

32. C. Vignac, I. Krawczuk, A. Siraudin, B. Wang, V. Cevher, P. Frossard. DiGress: Discrete Denoising Diffusion for Graph Generation. ICLR 2023.
33. E. Hoogeboom, V. Satorras, C. Vignac, M. Welling. Equivariant Diffusion for Molecule Generation in 3D. ICML 2022 (EDM).
34. M. Xu, L. Yu, Y. Song, C. Shi, S. Ermon, J. Tang. GeoDiff: A Geometric Diffusion Model for Molecular Conformation Generation. ICLR 2022.
35. B. Jing, G. Corso, J. Chang, R. Barzilay, T. Jaakkola. Torsional Diffusion for Molecular Conformer Generation. NeurIPS 2022.
36. T. Xie, X. Fu, O.-E. Ganea, R. Barzilay, T. Jaakkola. Crystal Diffusion Variational Autoencoder for Periodic Material Generation (CDVAE). ICLR 2022.
37. R. Jiao, W. Huang, P. Lin, et al. Crystal Structure Prediction by Joint Equivariant Diffusion (DiffCSP). NeurIPS 2023.
38. B. Miller, R. Chen, A. Sriram, B. Wood. FlowMM: Generating Materials with Riemannian Flow Matching. ICML 2024.
39. J. Watson, D. Juergens, N. Bennett, et al. De novo design of protein structure and function with RFdiffusion. Nature 620, 2023.
40. J. Ingraham, M. Baranov, Z. Costello, et al. Illuminating protein space with a programmable generative model (Chroma). Nature 623, 2023.
41. C. Duan, Y. Du, H. Jia, et al. React-OT: Optimal Transport for Generating Transition State in Chemical Reactions. arXiv:2404.13430, 2024.
42. T. Duan, W. Du, et al. Accurate Transition State Generation with an Object-Aware Equivariant Elementary Reaction Diffusion Model. Nature Computational Science, 2023.
43. R. Gómez-Bombarelli, J. Wei, D. Duvenaud, et al. Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules. ACS Central Science 4(2), 2018.（VAE 逆设计的起点）
44. B. Sanchez-Lengeling, A. Aspuru-Guzik. Inverse Molecular Design Using Machine Learning: Generative Models for Matter Engineering. Science 361, 2018.
45. N. Gebauer, M. Gastegger, S. Hessmann, K.-R. Müller, K. Schütt. Inverse Design of 3D Molecular Structures with Conditional Generative Neural Networks. Nature Communications 13, 2022.

数据、工具与工程

46. J. Delaney. ESOL: Estimating Aqueous Solubility Directly from Molecular Structure. J. Chem. Inf. Comput. Sci. 44(3), 2004.（实验三的数据）
47. R. Ramakrishnan, P. Dral, M. Rupp, O. von Lilienfeld. Quantum Chemistry Structures and Properties of 134 kilo Molecules (QM9). Scientific Data 1, 2014.
48. A. Jain, S. Ong, G. Hautier, et al. Commentary: The Materials Project. APL Materials 1, 2013.（实验五的数据）
49. Z. Wu, B. Ramsundar, E. Feinberg, et al. MoleculeNet: A Benchmark for Molecular Machine Learning. Chemical Science 9, 2018.
50. B. Ramsundar, P. Eastman, P. Walters, V. Pande. DeepChem: Democratizing Deep-Learning for Drug Discovery, Quantum Chemistry, Materials Science and Biology. 2019. GitHub: https://github.com/deepchem/deepchem
51. G. Landrum et al. RDKit: Open-source cheminformatics.https://www.rdkit.org
52. D. Kingma, J. Ba. Adam: A Method for Stochastic Optimization. ICLR 2015.
53. B. Peters. Compositional Data Analysis in Chemometrics.（ALR/CLR 变换的 标准参考；实验五用到）

---

附录 A：公式 ↔ 代码对照总表

为了给算法研发人员提供最清晰的物理工程映射，下表将正文中出现的全部 22 个核心动力学公式与纯 Python 手写实现模块逐一建立严格的坐标对应。无论是在排查损失梯度的雅可比链式传递，还是在验证离散单纯形上的吸收转移矩阵，读者均可依据此表在代码库中实现精准的定位与双向核算：

公式	内容	代码位置
(2.3)	一步加噪闭式	diffusion.GaussianDiffusion.q_sample
(2.4)(2.5)	后验方差与均值	Schedule.posterior_var / q_posterior_params
(2.6)(2.7)	高斯 KL	elbo_all_t / elbo_mc / kl_loss_from_outputs
(2.8)	Tweedie	analytic_gaussian_eps / x0_from_eps
(3.4)	余弦调度	Schedule.__init__
(3.5)	信噪比	Schedule.snr / log_snr
(3.6)	先验项 $L_T$	elbo_all_t 的第一行
(4.3)	变分下界三项	elbo_all_t / elbo_mc
(4.5)	反向均值	posterior_mean_from_eps
(4.8)	精确 ELBO 权重	elbo_eps_weight
(4.9)	$L_\text{simple}$ 与其梯度	simple_loss_from_outputs
(4.11)(4.12)	三种参数化换算	to_eps / eps_from_v / x0_from_v
(4.13)	min-SNR 权重	min_snr_weight
(5.1)	DDPM 采样	ddpm_sample
(5.3)(5.4)	DDIM 采样	ddim_sample
(5.8)	朗之万	langevin_sample
(6.3)	无分类器引导	未实现（实验里用「拼条件」代替，见 §6.1(a)）
(7.3)(7.4)	离散前向	DiscreteDiffusion.q_sample
(7.5)	离散后验（reveal 概率）	DiscreteDiffusion.sample
(7.6)	离散损失	demo_discrete_composition.py 的训练循环
手写反向传播	链式法则	DenoiserMLP.backward / Dense.backward
Adam / EMA	优化与权重平均	Adam.step / EMA.update

---

附录 B：复现指南

科学研究的生命力在于独立第三方的严格复现。本套代码库设计遵循轻量化与环境自闭环准则，无需昂贵的 GPU 集群即可在常规个人计算机或轻量级工作站上完整重现正文中的全部物理规律与消融图谱。

B.1 环境配置

本教程推荐使用现代高性能包管理工具 uv 创建完全隔离的 Python 3.12 虚拟环境：

cd /Users/polyai/Desktop/飞书
uv venv feishu                      # 已存在则跳过
uv pip install --python feishu/bin/python \
    deepchem rdkit matplotlib openai

经全流程实测验证的依赖库版本包括：deepchem 2.8.0、rdkit 2026.03.6 以及 matplotlib 3.11.2。尤为值得强调的是，本教程全部核心动力学与去噪算法绝不依赖上述任何第三方重型框架——diffusion.py 与 chemdata.py 的主体运算完全基于原生 Python 标准库构建，外围依赖仅在需要从 DeepChem 载入基准分子集及生成绘图时方被按需调用。

B.2 一键端到端执行流程

进入工程脚本目录后，推荐遵循自底向上的层级执行命令，依次完成底层算子校验、模型训练与图表渲染：

cd code

# 0) 先确认实现无误：50 项测试（含逐参数梯度检查），约 6 秒
python3 tests_diffusion.py

# 1) 实验一：二维玩具（四类消融），约 20 分钟；QUICK=1 约 5 分钟
python3 demo_toy_diffusion.py

# 2) 实验二：解析体检，约 4 分钟
python3 demo_analytic_diffusion.py

# 3) 实验三：ESOL 小分子（描述符 PCA + 条件扩散），约 12 分钟
python3 demo_deepchem_esol.py

# 4) 实验四：HOPV 聚合物（含记忆检查），约 12 分钟
python3 demo_deepchem_polymer.py

# 5) 实验五：材料组成（ALR 扩散 + 基线），约 15 分钟
python3 demo_deepchem_materials.py

# 6) 实验六：元素序列的离散扩散，约 12 分钟
python3 demo_discrete_composition.py

# 7) 画全部数据图（不重新训练），约 20 秒
MPLCONFIGDIR=/tmp/mplcache python3 make_figures.py

在工程终端中，亦可直接执行批处理脚本 bash run_all.sh 启动完整评估管线（全量耗时约 1.5 小时），或通过前置环境变量 QUICK=1 bash run_all.sh 开启快速扫描（耗时约 30 分钟；快速模式下由于迭代步数压缩，相空间采样质量会有所折损，但消融所呈现的宏观物理规律与相对走势完全一致）。

B.3 实验数据集来源与缓存

所有化学与材料数据集均无缝对接自经典 MoleculeNet 评测套件（通过 DeepChem 统一接口 dc.molnet 获取）。脚本在首次执行时会自动完成源数据拉取，并持久化缓存至 code/data/*.json 本地目录中，后续全部训练与采样均处于完全离线的闭环状态：

数据集	接口	用途
ESOL / Delaney	load_delaney	实验三：1128 个小分子 + logS
HOPV	load_hopv	实验四：350 个有机光伏供体聚合物 + 8 个性质
MP formation energy	load_mp_formation_energy	实验五/六：无机组成 + 标准化形成能
Perovskite	load_perovskite	只用作数据体检的反例（同组成标签极差 1.05 ≈ 全数据 sd 1.00）

B.4 手绘概念插图生成备忘

分布于 images/ 目录下的 17 张极具感染力的物理直觉手绘图，均基于 gpt-image-2.5 图像接口结合 handraw-style #097 艺术风格（のなか海 · Yuru-Surreal Minimal Everyday Cartoon 极简日常超现实手绘）程序化生成，参考图例仅用于规定线条纹理与调色基调。每张手绘图对应的完整提示词工程定义保存在 images/prompts/*.txt 文本中，自动化生成脚本维护在 images/gen.sh 与 images/gen_all.sh。

此处必须向读者严格申明：本文中全部具有定量物理意义的实验结论与误差带，均 100% 来源于 figures/ 目录下由 Python 脚本实时根据测试 JSON 数据绘制的真实科研图表；手绘插图仅承担宏观科学意象的通俗化引申与心智模型构建，不承载任何量化实验数据的推断职能。

---

附录 C：术语中英对照

在跨越统计热力学、应用概率论与计算材料学的交叉前沿，不同学科往往习惯使用相异的专业术语来描摹同一个底层的数学与物理实体。为了消除学科间的隔阂，下表系统梳理了本教程出现的核心术语、英文标准定名及其直观的物理内涵：

中文	英文	一句话解释
扩散模型	diffusion model	加噪再去噪的生成模型
前向过程	forward process / noising	数据 → 噪声，无参数
反向过程	reverse process / denoising	噪声 → 数据，由网络参数化
噪声调度	noise schedule	$\beta_t$ 序列
累积保留系数	cumulative alpha	$\bar\alpha_t=\prod\alpha_s$
去噪器	denoiser	预测 $\epsilon$/$x_0$/$v$ 的网络
简化损失	simple loss	等权的 $\epsilon$-MSE
变分下界	ELBO / VLB	$\log p(x)\ge$ 的那个下界
证据下界	evidence lower bound	同 ELBO
后验	posterior	$q(x_{t-1}\mid x_t,x_0)$
得分	score	$\nabla_x\log q(x)$
得分匹配	score matching	直接学得分的训练法
Tweedie 公式	Tweedie's formula	后验均值 = 观测 + 方差 × 得分
祖先采样	ancestral sampling	逐步加噪的 DDPM 采样
确定性采样	deterministic sampling	DDIM（$\eta=0$）
概率流 ODE	probability-flow ODE	与反向 SDE 同边际的确定性方程
引导	guidance	采样时把条件方向放大
无分类器引导	classifier-free guidance	不用额外分类器的引导
潜空间扩散	latent diffusion	在编码器潜空间里扩散
流匹配	flow matching	直接回归概率路径的速度场
离散扩散	discrete diffusion	在类别空间上的扩散
吸收态	absorbing state	被掩掉后不再改变的噪声状态
等变	equivariant	输入旋转，输出跟着旋转
记忆化	memorization	生成结果几乎等于训练样本
模式崩塌	mode collapse	只生成少数几种样本
能量距离	energy distance	两个分布距离的统计量
加性对数比	additive log-ratio (ALR)	把单纯形上的成分数据送到欧氏空间
逆设计	inverse design	给定目标性质反推结构