Appearance
demo_bandgap.py
复制以下内容并保存为 demo_bandgap.py,使用方法见配套代码说明。
python
# ===========================================================================
# 代码清单 2-7 案例二:无机固体带隙的多元线性回归与残差诊断(依赖 linear_unit、chem_data)
# ===========================================================================
"""
案例二:用线性单元预测 73 种无机固体的带隙。
本程序共十节:
1. 数据概览 2. 基线模型(全量拟合)
3. 特征消融 4. 特征缩放与学习率
5. 梯度下降与正规方程 6. L2 正则化
7. 随机划分与按体系划分 8. 残差诊断
9. 适用域 10. 权重的解读
数据集:73 种无机固体(Si、Ge 两种单质,以及 III-V、II-VI、碱金属卤化物、
氧化物、过渡金属一氧化物、硫族化物),带隙为室温附近的文献常见值。
"""
import math
import time
import unicodedata
from linear_unit import (LinearUnit, PolynomialFeatures, StandardScaler,
condition_number, normal_equation, r2_score, rmse,
train_test_split)
from chem_data import (BINARY_GAPS, build_gap_dataset,
build_gap_dataset_by_category, describe_formula)
FEATURES = ("d_chi", "chi_bar", "r_bar", "M")
FEATURE_CN = {
"d_chi": "电负性差 Δχ",
"chi_bar": "平均电负性",
"r_bar": "平均共价半径",
"M": "摩尔质量",
}
def display_width(text):
"""终端里中文占两格,这个函数用来对齐表格。"""
return sum(2 if unicodedata.east_asian_width(ch) in "WF" else 1
for ch in text)
def pad(text, width, align="left"):
"""按显示宽度补空格。"""
space = " " * max(0, width - display_width(text))
if align == "right":
return space + text
if align == "center":
left = " " * (len(space) // 2)
return left + text + space[len(left):]
return text + space
def row(cells, widths, aligns):
"""打印一行对齐的表格。"""
return " ".join(pad(c, w, a) for c, w, a in zip(cells, widths, aligns))
def header(title):
print("\n" + "=" * 78)
print(title)
print("=" * 78)
def fit(X, y, lr=0.05, n_epochs=8000, scale=True):
"""标准化 + 梯度下降。返回 (模型, scaler, 标准化后的 X)。"""
scaler = StandardScaler() if scale else None
Xs = scaler.fit_transform(X) if scale else X
model = LinearUnit(lr=lr, n_epochs=n_epochs, mode="batch").fit(Xs, y)
return model, scaler, Xs
def section1_data():
header("第 1 部分:数据长什么样")
print("\n一共 %d 个化合物,覆盖这些体系:" % len(BINARY_GAPS))
counts = {}
for _, _, cat in BINARY_GAPS:
counts[cat] = counts.get(cat, 0) + 1
for cat, n in sorted(counts.items(), key=lambda kv: -kv[1]):
print(" %-16s %2d 个" % (cat, n))
print("\n描述符是从元素周期表算出来的,不含任何实验测量值:")
print(" Δχ 电负性差(化学键的离子性)")
print(" χ̄ 平均电负性")
print(" r̄ 平均共价半径(原子大小)")
print(" M 摩尔质量")
print("\n举几个例子:")
for f in ("NaCl", "GaAs", "SiO2", "CuO"):
d = describe_formula(f)
print(" %-6s Δχ=%4.2f χ̄=%4.2f r̄=%6.2f M=%7.2f"
% (f, d["d_chi"], d["chi_bar"], d["r_bar"], d["M"]))
print("\n注意:这组描述符完全不知道「结构」是什么。")
print(" NaCl 是岩盐结构,SiO2 是共价网络,CuO 里铜是 d⁹。")
print(" 请记住这一点,第 8 部分的残差分析会再回到这里。")
def section2_baseline():
header("第 2 部分:基线模型")
formulas, X, y, groups = build_gap_dataset(FEATURES)
model, scaler, Xs = fit(X, y)
pred = model.predict(Xs)
print("\n4 个描述符,梯度下降 8000 轮:")
print(" R² = %.4f" % r2_score(y, pred))
print(" RMSE = %.3f eV" % rmse(y, pred))
print(" MAE = %.3f eV"
% (sum(abs(a - b) for a, b in zip(y, pred)) / len(y)))
print("\n带隙的真实范围:%.2f – %.2f eV" % (min(y), max(y)))
print("\n如何解读:")
print(" · R² = 0.79,即这个线性模型解释了约 79% 的带隙方差;")
print(" 对只有四个描述符、且不含任何结构信息的模型而言,这并不算差。")
print(" · 但 RMSE ≈ 1.5 eV,与整个可见光能量窗口的宽度(1.6–3.1 eV,约 1.5 eV)相当,")
print(" 远不足以区分一个材料是否适合做可见光吸收层。")
print(" · 结论:它是一个合格的基线(baseline),而不是可用于筛选的预测模型。")
return formulas, X, y, groups, model, scaler, Xs
def section3_ablation():
header("第 3 部分:特征消融 —— 加特征真的有用吗")
widths, aligns = (46, 10, 10, 14), ("left", "right", "right", "right")
head = row(("描述符组合", "R²", "RMSE/eV", "条件数 κ"), widths, aligns)
print("\n" + head)
print("-" * display_width(head))
for k in range(1, len(FEATURES) + 1):
feats = FEATURES[:k]
_, X, y, _ = build_gap_dataset(feats)
model, scaler, Xs = fit(X, y)
pred = model.predict(Xs)
print(row((" + ".join(FEATURE_CN[f] for f in feats),
"%.4f" % r2_score(y, pred),
"%.3f" % rmse(y, pred),
"%.4g" % condition_number(X)), widths, aligns))
print("\n两个现象值得注意:")
print(" 1. 从 1 个特征加到 3 个,R² 从 0.72 涨到 0.79——有提升,但边际递减。")
print(" 2. 表中条件数是对「未缩放」的原始特征计算的:从 16 升到约 2×10⁷。")
print(" 半径(~100 pm)和摩尔质量(~100 g/mol)的数值远大于电负性(~2),")
print(" 加入它们后损失曲面变得极其狭长。第 4 部分将用标准化处理这一问题。")
def section4_scaling():
header("第 4 部分:缩放与学习率 —— 不缩放会怎样")
formulas, X, y, groups = build_gap_dataset(FEATURES)
Xs = StandardScaler().fit_transform(X)
print("\n条件数(衡量损失曲面有多「扁」):")
print(" 不缩放:κ = %.4g" % condition_number(X))
print(" 标准化:κ = %.4g" % condition_number(Xs))
print("\n同一个学习率 η = 0.05、同样 8000 轮:")
for label, Xd in (("不缩放", X), ("标准化", Xs)):
m = LinearUnit(lr=0.05, n_epochs=8000, mode="batch").fit(Xd, y)
final = m.loss(Xd, y)
status = "发散" if (not math.isfinite(final)) or final > 1e6 else "%.6f" % final
print(" %-8s 最终训练损失 J = %s" % (label, status))
print("\n各自找一个能用的最大学习率:")
widths, aligns = (12, 14, 18, 12), ("left", "right", "right", "right")
head = row(("处理方式", "学习率 η", "达到 J<2 的轮数", "R²"), widths, aligns)
print(head)
print("-" * display_width(head))
for label, Xd, lrs in (("不缩放", X, (1e-5, 2e-5, 5e-5)),
("标准化", Xs, (0.05, 0.1, 0.3))):
best = None
for lr in lrs:
m = LinearUnit(lr=lr, n_epochs=20000, mode="batch").fit(Xd, y)
if not math.isfinite(m.loss(Xd, y)):
continue
hit = None
for e, v in zip(m.history["epoch"], m.history["loss"]):
if math.isfinite(v) and v < 2.0:
hit = e + 1
break
if hit is not None:
best = (lr, hit, r2_score(y, m.predict(Xd)))
break
if best:
print(row((label, "%g" % best[0], "%d" % best[1], "%.4f" % best[2]),
widths, aligns))
else:
print(row((label, "—", "未达标", "—"), widths, aligns))
print("\n一句话:标准化把「梯度下降能不能跑」变成了「跑多快」。")
print("在你调任何超参数之前,先做标准化。这是性价比最高的一步。")
def section5_normal_equation():
header("第 5 部分:梯度下降 vs 正规方程")
formulas, X, y, groups = build_gap_dataset(FEATURES)
Xs = StandardScaler().fit_transform(X)
t0 = time.time()
w_ne, b_ne = normal_equation(Xs, y)
t_ne = time.time() - t0
pred_ne = [sum(w * v for w, v in zip(w_ne, row)) + b_ne for row in Xs]
t0 = time.time()
m = LinearUnit(lr=0.05, n_epochs=8000, mode="batch").fit(Xs, y)
t_gd = time.time() - t0
pred_gd = m.predict(Xs)
widths, aligns = (16, 12, 14, 14), ("left", "right", "right", "right")
head = row(("方法", "耗时 / s", "R²", "RMSE / eV"), widths, aligns)
print("\n" + head)
print("-" * display_width(head))
print(row(("正规方程", "%.4f" % t_ne, "%.6f" % r2_score(y, pred_ne),
"%.6f" % rmse(y, pred_ne)), widths, aligns))
print(row(("梯度下降", "%.4f" % t_gd, "%.6f" % r2_score(y, pred_gd),
"%.6f" % rmse(y, pred_gd)), widths, aligns))
print("\n两者参数的最大差异:%.3e" % max(
[abs(a - b) for a, b in zip(w_ne, m.w)] + [abs(b_ne - m.b)]))
print("\n那为什么还要学梯度下降?")
print(" 1. 正规方程需要求解 d×d 线性方程组,复杂度 O(d³);")
print(" 特征数达到上万时,计算与内存开销都会变得很大。")
print(" 2. 特征数 > 样本数时 XᵀX 奇异,正规方程没有唯一解(需加正则化)。")
print(" 3. 神经网络、逻辑回归等模型没有闭式解,")
print(" 但它们的训练同样依赖「沿负梯度方向更新参数」这一思想。")
print(" 4. 随机梯度下降能处理流式数据、能处理上亿样本。")
print("\n对本文这个 4 特征、73 样本的问题,正规方程又快又准。")
print("梯度下降的价值不在这个规模上,而在于它能推广到没有闭式解的模型。")
def section6_ridge():
header("第 6 部分:L2 正则化")
formulas, X, y, groups = build_gap_dataset(FEATURES)
Xs = StandardScaler().fit_transform(X)
print("\n在损失函数后面加一项 λ·|w|²,就得到岭回归:")
print(" J(w,b) = 1/(2m)·Σ(y - ŷ)² + λ/2·|w|²")
print("梯度里多加一项 λw,效果是把权重往 0 拉。")
widths, aligns = (10, 14, 14, 14), ("right", "right", "right", "right")
head = row(("λ", "训练 R²", "训练 RMSE", "|w|"), widths, aligns)
print("\n" + head)
print("-" * display_width(head))
for lam in (0.0, 0.01, 0.1, 1.0, 10.0, 100.0):
lr = 0.05 / (1.0 + lam) # 加了正则项之后学习率要相应变小
m = LinearUnit(lr=lr, n_epochs=20000, mode="batch", l2=lam).fit(Xs, y)
if not math.isfinite(m.loss(Xs, y)):
print(row(("%g" % lam, "发散", "发散", "—"), widths, aligns))
continue
norm = math.sqrt(sum(v * v for v in m.w))
print(row(("%g" % lam, "%.4f" % r2_score(y, m.predict(Xs)),
"%.3f" % rmse(y, m.predict(Xs)), "%.4f" % norm),
widths, aligns))
print("\n注意这里 R² 单调下降——因为这是「训练集」上的表现,")
print("正则化会改变拟合目标;应在验证集上选择强度,再做独立测试。")
print("不能只根据训练 R² 判断正则化是否有助于新材料预测。")
print("这些训练指标还不能判断新材料上的表现;需要继续检查数据划分和残差。")
def section7_leakage():
header("第 7 部分:随机划分 vs 按体系划分")
formulas, X, y, groups = build_gap_dataset(FEATURES)
print("\n做法 A:把 73 个化合物随机分成训练集和测试集。")
rand_scores = []
rand_rmses = []
for seed in range(6):
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.35, seed=seed)
scaler = StandardScaler()
a = scaler.fit_transform(Xtr)
m = LinearUnit(lr=0.05, n_epochs=8000, mode="batch").fit(a, ytr)
pred = m.predict(scaler.transform(Xte))
rand_scores.append(r2_score(yte, pred))
rand_rmses.append(rmse(yte, pred))
print("\n做法 B:按「体系」划分——整个碱金属卤化物族要么全在训练集,")
print(" 要么全在测试集。")
group_scores = []
group_rmses = []
for seed in range(6):
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.35, seed=seed,
groups=groups)
scaler = StandardScaler()
a = scaler.fit_transform(Xtr)
m = LinearUnit(lr=0.05, n_epochs=8000, mode="batch").fit(a, ytr)
pred = m.predict(scaler.transform(Xte))
group_scores.append(r2_score(yte, pred))
group_rmses.append(rmse(yte, pred))
widths, aligns = (8, 12, 12, 14, 14), ("right",) * 5
head = row(("种子", "随机 R²", "按组 R²", "随机 RMSE", "按组 RMSE"),
widths, aligns)
print("\n" + head)
print("-" * display_width(head))
for seed in range(6):
print(row(("%d" % seed,
"%.3f" % rand_scores[seed],
"%.3f" % group_scores[seed],
"%.3f" % rand_rmses[seed],
"%.3f" % group_rmses[seed]), widths, aligns))
print("\n平均:随机划分 R² = %.3f(RMSE %.2f eV)"
% (sum(rand_scores) / len(rand_scores),
sum(rand_rmses) / len(rand_rmses)))
print(" 按体系划分 R² = %.3f(RMSE %.2f eV)"
% (sum(group_scores) / len(group_scores),
sum(group_rmses) / len(group_rmses)))
print("\n为什么差这么多?")
print(" 随机划分时,测试集里的 KI 和训练集里的 KCl、KBr 是「邻居」:")
print(" 同族、同结构、描述符几乎一样。模型只要学会插值就够了。")
print(" 按体系划分时,模型必须去预测它从没见过的化学族——")
print(" 这对应预测训练中未覆盖的新体系。")
print("\n两种划分的平均 R² 分别为 %.2f 和 %.2f,回答的是不同的预测问题。"
% (sum(rand_scores) / len(rand_scores),
sum(group_scores) / len(group_scores)))
print("若实际目标是预测新类别,只报告随机划分的结果可能过于乐观。")
print("应先明确模型的用途,再决定怎样划分数据。")
def section8_residuals():
header("第 8 部分:残差诊断 —— 模型在哪里失灵,为什么")
formulas, X, y, groups = build_gap_dataset(FEATURES)
model, scaler, Xs = fit(X, y)
pred = model.predict(Xs)
resid = [a - b for a, b in zip(y, pred)]
print("\n按体系看平均绝对误差:")
per_cat = {}
for f, yi, pi, gi in zip(formulas, y, pred, groups):
per_cat.setdefault(gi, []).append(abs(yi - pi))
for cat, errs in sorted(per_cat.items(), key=lambda kv: sum(kv[1]) / len(kv[1])):
print(" %-16s n=%2d 平均 |残差| = %.2f eV"
% (cat, len(errs), sum(errs) / len(errs)))
print("\n预测得最离谱的 8 个化合物:")
widths, aligns = (10, 12, 12, 12, 16), ("left", "right", "right", "right",
"left")
head = row(("化学式", "实验/eV", "预测/eV", "残差/eV", "体系"), widths, aligns)
print(head)
print("-" * display_width(head))
worst = sorted(zip(formulas, y, pred, groups),
key=lambda t: -abs(t[1] - t[2]))[:8]
for f, yi, pi, gi in worst:
print(row((f, "%.2f" % yi, "%.2f" % pi, "%+.2f" % (yi - pi), gi),
widths, aligns))
print("\n三件事值得停下来想一想:")
print(" 1. 在样本较多的族中,碱金属卤化物(I-VII)拟合得最好,平均误差 %.2f eV,"
% (sum(per_cat["I-VII"]) / len(per_cat["I-VII"])))
print(" 可以结合离子性等因素提出解释,但训练误差本身不能证明机制。")
print("\n 2. 3d 过渡金属一氧化物(MnO/FeO/CoO/NiO/CuO)最差,")
print(" 平均误差 %.2f eV,且预测值全部偏高。"
% (sum(per_cat["TMO"]) / len(per_cat["TMO"])))
print(" 这些材料涉及 d 电子、电子关联与电荷转移等信息,")
print(" 当前四个描述符没有直接表示这些信息。")
print(" 增加相关特征是一个可检验的改进方向。")
print("\n 3. SiO2 被低估了 %.1f eV。" % abs(dict(zip(formulas, resid))["SiO2"]))
print(" 模型看到的是「电负性差不大、原子又小」,")
print(" 于是预测成一个中等带隙的材料;")
print(" 但真实的 SiO2 是强共价网络固体,带隙 9 eV。")
print(" 结构信息值得进一步检查,但这一个残差不能确定唯一原因。")
print("\n把这三个故事连起来看,你会发现最重要的一件事:")
print(" 残差不该被当成噪声擦掉。它是一份关于「我的描述符缺了什么」的报告。")
print(" 论文里最好的那一段讨论,往往就是从残差图里读出来的。")
def section9_subset():
header("第 9 部分:如果只关心一类化合物呢")
widths, aligns = (32, 6, 10, 10), ("left", "right", "right", "right")
head = row(("数据集", "n", "R²", "RMSE/eV"), widths, aligns)
print("\n" + head)
print("-" * display_width(head))
all_cats = set(c for _, _, c in BINARY_GAPS)
for label, cats in (("全部化合物", all_cats),
("去掉 3d 过渡金属氧化物", all_cats - {"TMO"}),
("只留 I-VII / II-VI / III-V", {"I-VII", "II-VI", "III-V"}),
("只留碱金属卤化物", {"I-VII"})):
_, X, y, _ = build_gap_dataset_by_category(cats, FEATURES)
if len(y) < 5:
continue
model, scaler, Xs = fit(X, y)
pred = model.predict(Xs)
print(row((label, "%d" % len(y), "%.4f" % r2_score(y, pred),
"%.3f" % rmse(y, pred)), widths, aligns))
print("\n去掉 5 个过渡金属氧化物,R² 从 0.79 涨到 0.83;")
print("只留 48 个 I-VII、II-VI、III-V 族样本,训练 R² = 0.90,RMSE = 1.07 eV。")
print("\n这些都是训练集指标,只能提出适用范围的候选假设。")
print("需要事先说明目标范围,再用该范围内未参加训练的样本检验。")
def section10_weights():
header("第 10 部分:从权重里读出化学")
formulas, X, y, groups = build_gap_dataset(FEATURES)
scaler = StandardScaler()
Xs = scaler.fit_transform(X)
model = LinearUnit(lr=0.05, n_epochs=8000, mode="batch").fit(Xs, y)
print("\n标准化空间里的权重(其他输入不变,一个标准差对应的预测变化):")
for name, w in zip(FEATURES, model.w):
print(" %-10s %+8.4f" % (FEATURE_CN[name], w))
print("\n还原到原始量纲(每单位该描述符改变多少 eV):")
raw = [model.w[j] / scaler.std_[j] for j in range(len(model.w))]
for name, w in zip(FEATURES, raw):
print(" %-10s %+10.4f eV / 单位" % (FEATURE_CN[name], w))
print("\n怎么读这两个数:")
print(" · 标准化空间里,Δχ 的权重是 %+.2f,方向为正:" % model.w[0])
print(" 电负性差越大(键越离子化),带隙越大。这和化学直觉一致——")
print(" 离子晶体的价带和导带来自不同的原子,能量差自然大。")
print(" · 平均共价半径的权重是负的(%+.2f):" % model.w[2])
print(" 原子越大,键越长,成键–反键能级分裂越小,带隙越小。")
print(" · 摩尔质量的权重较小(%+.3f),且与平均半径相关," % model.w[3])
print(" 在很大程度上是「原子尺寸」的重复表达;删去它,R² 仅从 0.788 降到 0.785。")
print("\n但要小心:权重是「相关」而不是「因果」。")
print(" 平均电负性的权重为负,很容易为它找到一个看似合理的解释;")
print(" 但在相互关联的描述符之间,权重可以此消彼长——这就是多重共线性。")
print(" 因此解读权重时,应同时检查条件数与残差,而不能只看权重本身。")
def main():
section1_data()
formulas, X, y, groups, model, scaler, Xs = section2_baseline()
section3_ablation()
section4_scaling()
section5_normal_equation()
section6_ridge()
section7_leakage()
section8_residuals()
section9_subset()
section10_weights()
header("案例总结")
print("""
一个线性单元在 73 个化合物上能得到 R² = 0.79、RMSE = 1.51 eV。
模型系数给出了一些可与化学认识对照的趋势,但需要检查系数稳定性。
过渡金属氧化物、SiO2 和按类别划分的结果提示,当前输入与模型仍有局限。
这些残差为补充描述符提供了检查方向,不能单凭残差就确定缺失的物理机制。
""")
if __name__ == "__main__":
main()