CLM-006
Claim
等量总训练算力下大模型更 compute-efficient；仅改 patch size 的模型对在控制训练 Gflops 后性能曲线不同。
| id | |
|---|---|
| type | claim |
| source | PPR-2212.09748 |
| scope | 12 DiT variants (400K-7M steps), ImageNet 256x256; training compute := Gflops x batch x steps x 3; FID-50K no guidance (ft-MSE decoder) |
| epistemic | supported |
| lifecycle | RECONCILED |
| updated |
Proposition
在等量总训练算力约束下，更大的 DiT 模型更 compute-efficient：小模型即使训练更久，最终相对“更少步数的大模型”仍是算力低效的；且仅 patch size 不同的模型对在控制训练 Gflops 后性能曲线不同——XL/4 在约 10^10 训练 Gflops 之后被 XL/2 反超。
Evidence refs
Notes
训练算力估算式（Gflops·batch·steps·3，因子 3 近似反向传播为前向两倍开销）是论文的分析约定。“同 Gflops 预算下不同 patch size 曲线不同”意味着 token 数本身（不只是总 Gflops）影响 compute efficiency——论文以此区分 “模型 Gflops” 与 “训练 Gflops” 两个命题（§4.2）。附录显示该趋势对 sFID/IS/Precision/Recall 与训练损失（更大模型饱和值更低）同样成立（App. A.3、Figure 12/13）。
关联（14）
- PPR-2212.09748 Scalable Diffusion Models with Transformers
- FRM-2212.09748 DiT 五层重建：以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究；边界为 class-cond ImageNet 256/512。
- EVI-006 Figure 9/§4.2：等训练算力下大模型 FID 更低；XL/2 约 10^10 Gflops 后反超 XL/4（训练算力效率，支撑 CLM-006）。
- VER-006 核验 CLM-006 训练算力效率：Fig.9 XL-4→XL-2 交叉声明（~10^10 Gflops）与 §4.2 一致，x3 估算因子属 AX-7 约定。supported。
- SYN-001 DiT 四种 conditioning 设计系统对比：adaLN-Zero 以可忽略算力增量取得 FID 19.47 全维最优；推导出'交互强度-质量'非单调与'算力效率优先'两条结构观察（单来源外推，显式标注）。
- SYN-002 三源合成：diffusion 管线三段可分解改造——LDM 表示层（latent 感知压缩）、DiT 骨干层（ViT 替换 + Gflops 标度）、G2DP 采样层（推理期引导插件）；三论文是时间上的实际组合链（DiT 复用 LDM first-stage，G2DP 用 DiT 骨干），层独立性判断 CLM-013/009/032 解释组合可行性。
- CLM-002 co-source 同配置同预算下，条件注入机制的选择对生成质量有决定性影响：adaLN-Zero 调制式注入同时最优质量与最低计算开销，优于 cross-attention 与 in-context。
- CLM-003 co-source 模型前向 Gflops（而非参数量）主导 DiT 质量：Gflops 相近则 FID 相近，且与 FID-50K 强负相关。
- CLM-005 co-source 采样算力不能补偿模型算力：DiT 族内小模型即使以数倍单图采样算力生成，FID 仍劣于大模型的低步数采样（锚点数字见 EVI-005）。
- CLM-007 co-source DiT 对既有 U-Net diffusion 模型的质量优势不依赖 VAE decoder 选择：免重训互换 LDM 原始/ft-MSE/ft-EMA decoder（encoder 相同）后优势均保持。
- CLM-009 co-source U-Net 归纳偏置对 diffusion 质量非关键：标准 ViT 可直接替换 U-Net backbone，并在同等评估协议下取得优于既有 U-Net-based diffusion 模型的质量。
- CLM-010 co-source DiT 在未调参 ADM 配方下稳定训练：恒定 lr、无 warmup/正则，全程无 loss spike。
- CLM-011 co-source patchify 标度：p 减半 → token 与 transformer Gflops 至少 ×4（注意力超线性），参数量近似不变。
- CLM-012 co-source CFG 大幅改善 DiT 生成质量，收益随 guidance scale 增大而递减，并伴随保真度升、多样性（recall）降的权衡；SOTA 数字均以 guidance 口径取得。