CLM-005
Claim
采样算力不能补偿模型算力：DiT 族内小模型即使以数倍单图采样算力生成，FID 仍劣于大模型的低步数采样（锚点数字见 EVI-005）。
| id | |
|---|---|
| type | claim |
| source | PPR-2212.09748 |
| scope | 12 DiT variants at 400K training steps, ImageNet 256x256; FID-10K, sampling steps in {16,32,64,128,256,1000}, no guidance |
| epistemic | supported |
| lifecycle | RECONCILED |
| updated |
Proposition
在 DiT 模型族内，扩大采样算力不能补偿模型算力的不足：小模型即使以数倍单图采样算力生成，FID 仍劣于大模型的低步数采样。
Evidence refs
Notes
锚点对照（数字见 EVI-005）：DiT-XL/2 以 128 步达到的 FID-10K 优于 DiT-L/2 以 1000 步（约 5 倍采样算力）的结果。结论对 12 个变体在 [16,1000] 步网格上成立（Figure 10 全图）；论文的普适表述为 “scaling-up sampling compute cannot compensate for a lack of model compute”（§5.2）。此为该模型族内的经验规律，不外推到其他模型族。
关联（13）
- PPR-2212.09748 Scalable Diffusion Models with Transformers
- FRM-2212.09748 DiT 五层重建：以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究；边界为 class-cond ImageNet 256/512。
- EVI-005 Figure 10/§5.2：小模型多步采样追不平大模型（80.7 Tflops@1000 步 FID 25.9 vs 15.2 Tflops@128 步 23.7），采样算力不可替代模型算力（支撑 CLM-005）。
- VER-005 核验 CLM-005 采样算力：§5.2 锚点（23.7 vs 25.9、15.2 vs 80.7 Tflops）与 Figure 10 一致，FID-10K 口径已声明。supported。
- SYN-002 三源合成：diffusion 管线三段可分解改造——LDM 表示层（latent 感知压缩）、DiT 骨干层（ViT 替换 + Gflops 标度）、G2DP 采样层（推理期引导插件）；三论文是时间上的实际组合链（DiT 复用 LDM first-stage，G2DP 用 DiT 骨干），层独立性判断 CLM-013/009/032 解释组合可行性。
- CLM-002 co-source 同配置同预算下，条件注入机制的选择对生成质量有决定性影响：adaLN-Zero 调制式注入同时最优质量与最低计算开销，优于 cross-attention 与 in-context。
- CLM-003 co-source 模型前向 Gflops（而非参数量）主导 DiT 质量：Gflops 相近则 FID 相近，且与 FID-50K 强负相关。
- CLM-006 co-source 等量总训练算力下大模型更 compute-efficient；仅改 patch size 的模型对在控制训练 Gflops 后性能曲线不同。
- CLM-007 co-source DiT 对既有 U-Net diffusion 模型的质量优势不依赖 VAE decoder 选择：免重训互换 LDM 原始/ft-MSE/ft-EMA decoder（encoder 相同）后优势均保持。
- CLM-009 co-source U-Net 归纳偏置对 diffusion 质量非关键：标准 ViT 可直接替换 U-Net backbone，并在同等评估协议下取得优于既有 U-Net-based diffusion 模型的质量。
- CLM-010 co-source DiT 在未调参 ADM 配方下稳定训练：恒定 lr、无 warmup/正则，全程无 loss spike。
- CLM-011 co-source patchify 标度：p 减半 → token 与 transformer Gflops 至少 ×4（注意力超线性），参数量近似不变。
- CLM-012 co-source CFG 大幅改善 DiT 生成质量，收益随 guidance scale 增大而递减，并伴随保真度升、多样性（recall）降的权衡；SOTA 数字均以 guidance 口径取得。