CLM-023
Claim
LDM 上限受 first-stage AE 重建精度限制（细粒度像素任务），且迭代采样仍慢于 GAN 一步生成。
| id | |
|---|---|
| type | claim |
| source | PPR-2112.10752 |
| scope | 全文局限（§10 Limitations & Societal Impact, ms.tex 1442-1477）; 最具体落在 f=4 AE 与 SR 等 pixel-precision 任务; 相对对象为 GAN 的单步采样 |
| epistemic | supported |
| lifecycle | RECONCILED |
| updated |
Proposition
LDM 的上限部分由 first-stage autoencoder（CPT-008）决定：即便 f=4 AE 的重建在视觉上近乎无损，它并非逐像素精确，故对细粒度像素精度有要求的任务（如高精度的 SR、测量类）会被 VAE 往返误差所限——SR 模型已表现出这一点。此外，尽管大幅领先像素 DM，LDM 仍是顺序（迭代）采样，因而单次采样依旧慢于 GAN 的一步生成。
Evidence refs
Notes
论文原文（§10 Limitations）：“their sequential sampling process is still slower than that of GANs. Moreover, the use of LDMs can be questionable when high precision is required: although the loss of image quality is very small in our f=4 autoencoding models, their reconstruction capability can become a bottleneck for tasks that require fine-grained accuracy in pixel space. We assume that our superresolution models (Sec. 5.2) are already somewhat limited in this respect.” 该局限同时解释了 CLM-022 中 SR 的 PSNR/SSIM 由回归基线拿第一的现象。
关联（16）
- PPR-2112.10752 High-Resolution Image Synthesis with Latent Diffusion Models
- FRM-2112.10752 LDM 五层重建：感知压缩 AE + 潜空间扩散的两段分解，换取训练/采样成本大降；多任务多分辨率（256²/512²→~1024²）。
- CLM-022 对密集条件 i2i 任务，latent 扩散配方同时给出感知质量与效率收益：(SR) LDM-SR 在感知指标上胜过专用像素扩散 SR3 与回归基线，但 PSNR/SSIM 由回归基线占先；(Inpainting) latent 化显著提吞吐并改善 FID，分布级质量超专用 SOTA 修复器 LaMa 而 LPIPS 略高。
- EVI-023 §10 Limitations + Fig. firststagecomparison：AE 重建瓶颈与迭代采样局限（支撑 CLM-023）。
- CPT-008 Perceptual autoencoder (first stage)
- VER-023 局限核验：§10 原文（顺序采样慢于 GAN；f=4 AE 非逐像素精确成瓶颈、SR 已受限，'assume' 措辞）与命题一致，推断性质已声明。supported。
- SYN-002 三源合成：diffusion 管线三段可分解改造——LDM 表示层（latent 感知压缩）、DiT 骨干层（ViT 替换 + Gflops 标度）、G2DP 采样层（推理期引导插件）；三论文是时间上的实际组合链（DiT 复用 LDM first-stage，G2DP 用 DiT 骨干），层独立性判断 CLM-013/009/032 解释组合可行性。
- CLM-013 co-source 像素空间 DM 把容量同时花在感知无关细节与语义构成上；显式剥离感知压缩给一次训练的 autoencoder、让 DM 在低维 latent 专司语义生成，是复杂度降低与细节保留之间的近最优分解（作者自评）。
- CLM-014 co-source 在预训练感知 autoencoder 的 latent 空间训扩散模型，相对同等评估条件下的像素空间扩散模型，同时显著降低训练算力与采样/推理成本，且生成质量不降反升。
- CLM-015 co-source LDM 全 2D-conv 流程（conv AE + conv DM）可容忍比 1D-AR tokenize 更温和的压缩且重建更保真；优势集中在低压缩区间（f=8 显著优于 DALL·E，f=16 与 VQGAN 相当）。
- CLM-016 co-source 下采样因子 f 的选取存在数据集相关的甜区：f 过小训练进度结构性缓慢，f 过大因 first-stage 信息损失保真度早期停滞；复杂数据集甜区在 f=4/8，较简单数据可用更高 f 换采样速度。
- CLM-017 co-source LDM 以通用 cross-attention 注入任意条件（τ_θ 投影 y 为 KV，UNet 中间特征为 Q），一个 backbone 承载多模态条件。
- CLM-018 co-source 推理期 CFG 大幅抬升 LDM 样张质量（FID/IS 同改）而几乎不加训练成本，两设定均成立；引导后的 1.45B cross-attn 文本 LDM 与近期最强 AR/diffusion 系统同量级且参数量显著更少（论文措辞 on par，非新 SOTA）。
- CLM-020 co-source likelihood-based 目标的 mode-covering 行为在 Precision/Recall 上系统性地优于 GAN（逐数据集、针对对抗基线），支持其分布覆盖优势的指标层证据；同口径下 LDM 于 CelebA-HQ 取得新 SOTA FID，其余数据集与最强 GAN/扩散竞争。
- CLM-021 co-source 密集条件 image-to-image 直接把条件拼入输入训练，conv 式条件使模型能越过训练分辨率泛化到兆像素大图。
- CLM-022 co-source 对密集条件 i2i 任务，latent 扩散配方同时给出感知质量与效率收益：(SR) LDM-SR 在感知指标上胜过专用像素扩散 SR3 与回归基线，但 PSNR/SSIM 由回归基线占先；(Inpainting) latent 化显著提吞吐并改善 FID，分布级质量超专用 SOTA 修复器 LaMa 而 LPIPS 略高。