EVI-023
Evidence
§10 Limitations + Fig. firststagecomparison：AE 重建瓶颈与迭代采样局限（支撑 CLM-023）。
| id | |
|---|---|
| updated | |
| type | evidence |
| claims | CLM-023 |
| source | PPR-2112.10752 |
| observation | §10 Limitations & Societal Impact（ms.tex 1442–1477：sequential sampling 慢于 GAN；f=4 AE 重建成为 pixel-precision 任务瓶颈，SR 已受限）+ Fig. firststagecomparison（f=4 重建细节残差可视化） |
| method | §10 作者自述局限；f=4 autoencoder 的重建保真度量（Fig. firststagecomparison 逐像素残差放大展示）；SR 任务（§4.4）作为 pixel-precision 的典型代表，其 PSNR/SSIM 与回归基线的差距即瓶颈的量体现。 |
| scope | f=4 AE 的 pixel-precision 局限（SR 为代表）；顺序采样 vs GAN 单步 |
Result
论文自述两条硬局限：
-
顺序采样仍慢于 GAN：LDM 虽比像素 DM 快（2.7× inpainting / 3.3× 采样），但本质是迭代去噪（DDIM 50–500 步或 DDPM 1000 步），而 GAN 是一步前向。故“相对像素 DM 的大幅提速”不等于“绝对采样速度上能追平 GAN”。
-
f=4 AE 重建不是逐像素精确：即便 f=4 autoencoder 的“视觉无损”（Fig. firststagecomparison 中肉眼难辨），它仍存在微小的逐像素残差——即重构图像与原图并非比特级一致。这对“只要好看就行”的合成任务无碍，但对细粒度像素精度有要求的任务（例如高精度的超分辨率、测量/对齐类）会成为瓶颈：因为生成结果必须先经过这个不完美 AE 的 decode，残差被直接带进最终像素。
→ 论文明确点名：“we assume that our superresolution models are already somewhat limited in this respect”。即 SR（§4.4）正是“已被该瓶颈实际影响”的代表任务。
Caveats
“视觉无损”与“逐像素精确”是两个层级：人眼看（Fig. firststagecomparison 放大）几乎一样 ≠ 每个像素值都相同。f=4 AE 的残余误差在人眼/常用 FID/PSNR/SSIM 读数里可能小到不显眼（PSNR 23–31 dB 区间），但在“必须精确到像素值”的任务里就会显现。
“SR 已受限”是作者的推断/假设（“we assume”），不是专门针对 SR 做的对照实验证明——论文没有单独跑一组“如果 AE 完美重建，SR 能到什么 PSNR”的反事实实验。故“AE 残差是 SR 上限的主要原因”这一强度需谨慎：它排除了“SR 模型本身容量不够”之外，也不能排除“SR 任务的退化过程本身（bicubic 4×）带来的信息损失”与“AE 残差”是叠加的、难以完全解耦的两个因素——因为 SR 的质量同时受“输入 LR 图像（bicubic 退化后已丢失部分信息）”与“AЕ 重建残差”两方面限制，论文把矛头指向后者（AE），但未定量拆解两者的各自贡献比例。
“慢于 GAN”是同类模型（图像生成）之间的对比；GAN 的一步采样与 LDM 的多步去噪在计算范式上不同，不宜简单用“几步 vs 一步”衡量绝对优劣——GAN 的训练不稳定/模式坍缩（mode collapse）是 LDM 作为 likelihood-based 模型的优势（见 CLM-020 的 mode-covering 论述），而 LDM 的顺序采样慢是其代价。两条局限相互呼应：LDM 用“迭代”换来了“稳定/覆盖好”，用“AE 压缩”换来了“效率”，但相应的代价（慢 + 重建残差）也随这些好处一起来到。
关联（15）
- PPR-2112.10752 High-Resolution Image Synthesis with Latent Diffusion Models
- FRM-2112.10752 LDM 五层重建：感知压缩 AE + 潜空间扩散的两段分解，换取训练/采样成本大降；多任务多分辨率（256²/512²→~1024²）。
- CLM-020 likelihood-based 目标的 mode-covering 行为在 Precision/Recall 上系统性地优于 GAN（逐数据集、针对对抗基线），支持其分布覆盖优势的指标层证据；同口径下 LDM 于 CelebA-HQ 取得新 SOTA FID，其余数据集与最强 GAN/扩散竞争。
- CLM-023 LDM 上限受 first-stage AE 重建精度限制（细粒度像素任务），且迭代采样仍慢于 GAN 一步生成。
- VER-023 局限核验：§10 原文（顺序采样慢于 GAN；f=4 AE 非逐像素精确成瓶颈、SR 已受限，'assume' 措辞）与命题一致，推断性质已声明。supported。
- EVI-013 co-source §1/§2.3/§2.4：感知/语义两段分解的论述与公式（支撑 CLM-013）。
- EVI-014 co-source Tab.13 compute_vs_fid + 主表：LDM-4-G 271 vs ADM 916 V100-day、0.4 vs 0.12 samples/s、FID 3.60/3.95 vs 10.94（支撑 CLM-014）。
- EVI-015 co-source Tab.423 firststage：matched 重建指标对比 VQGAN/DALL·E（支撑 CLM-015）。
- EVI-016 co-source §4.1 + Fig. cin_traincourse/speedplot：f 消融的训练/采样曲线（支撑 CLM-016）。
- EVI-017 co-source §2.5 + §4.3–4.5：cross-attention 条件机制与多模态应用（支撑 CLM-017）。
- EVI-018 co-source 主文 T2I 表 + ImageNet 主表：CFG 的推理期质量增益（支撑 CLM-018）。
- EVI-019 co-source 主文 T2I 对比表 + §4.3.1：1.45B 文本条件 LDM 对比 AR/diffusion（支撑 CLM-018 第二子命题）。
- EVI-020 co-source 无条件合成表：LDM 对 GAN/扩散基线的 FID/Precision/Recall（支撑 CLM-020）。
- EVI-021 co-source §4.3.2 + 大图样例：越分辨率泛化到 ~1024²/兆像素（支撑 CLM-021）。
- EVI-022 co-source §4.4/4.5 + Tab. srtable/inpainting：SR 与 inpainting 的高质高效结果（支撑 CLM-022）。