CPT-009
Concept
Cross-attention conditioning
| id | |
|---|---|
| updated | |
| type | concept |
| name | Cross-attention conditioning |
| aliases | cross-attn injection, generic conditioning mechanism, τ-conditioning |
| defined-by | PPR-2112.10752 |
Definition
LDM 把任意条件模态注入扩散 backbone 的通用 cross-attention 机制：一个 domain-specific encoder \(\tau_\theta\) 把条件 y（文本、类标签、语义布局、低清图像）投影为 M×d 的 token 序列，充当 attention 的 Key/Value；Query 来自 U-Net 在噪声 latent \(z_t\) 上的中间特征 \(\phi_i(z_t)\)。注意力算子为标准形式 \(\mathrm{Attention}(Q,K,V) = \mathrm{softmax}(QK^\top / \sqrt{d})\,V\)，其中 \(Q = W_Q\,\phi_i(z_t)\)、\(K = W_K\,\tau_\theta(y)\)、\(V = W_V\,\tau_\theta(y)\)，W 为可学习投影。条件 LDM 的损失 \(L = \lVert \epsilon - \epsilon_\theta(z_t, t, \tau_\theta(y)) \rVert^2\) 中 \(\tau_\theta\) 与 \(\epsilon_\theta\) 联合优化。对密集 image-to-image 任务（SR/inpainting）该机制退化为把 y 与 \(z_t\) 通道拼接、\(\tau_\theta\) 取恒等——从而同一套注入方式横跨稀疏（text/class）与稠密（SR/inp）两类条件。
Disambiguation
- 术语路由：“cross-attention” 在本库另有一 referent——DiT block 设计轴的变体（CPT-010，PPR-2212.09748）；完整路由表见 DIS-001。
- 与 class-conditional 注入（ADM 的 AdaIN/标签嵌入）的区别：本机制把条件当作离散 token 序列经 cross-attention 融合，不限于单一类别，天然支持变长文本；ADM 的 AdaIN 是逐特征层的仿射调制，面向固定类别标签。
- 与 CLIP-guidance（CLIP 打分引导）的区别：后者是在推理期用预训练 CLIP 的特征梯度去“推”生成，不改动 backbone 训练；本机制是训练期就把 \(\tau_\theta\) 与 \(\epsilon_\theta\) 联合拟合进 U-Net 的结构性条件通路。
- 与 CPT-006（LDM）的关系：cross-attention 是 LDM 的“条件接口层”，LDM 的 unconditional / text / layout / image-to-image 各形态共享同一 backbone，仅切换 \(\tau_\theta\) 与注入位置。
关联（14）
- PPR-2112.10752 High-Resolution Image Synthesis with Latent Diffusion Models
- PPR-2212.09748 Scalable Diffusion Models with Transformers
- FRM-2112.10752 LDM 五层重建：感知压缩 AE + 潜空间扩散的两段分解，换取训练/采样成本大降；多任务多分辨率（256²/512²→~1024²）。
- CLM-017 LDM 以通用 cross-attention 注入任意条件（τ_θ 投影 y 为 KV，UNet 中间特征为 Q），一个 backbone 承载多模态条件。
- CLM-018 推理期 CFG 大幅抬升 LDM 样张质量（FID/IS 同改）而几乎不加训练成本，两设定均成立；引导后的 1.45B cross-attn 文本 LDM 与近期最强 AR/diffusion 系统同量级且参数量显著更少（论文措辞 on par，非新 SOTA）。
- EVI-017 §2.5 + §4.3–4.5：cross-attention 条件机制与多模态应用（支撑 CLM-017）。
- CPT-006 Latent Diffusion Model
- CPT-008 Perceptual autoencoder (first stage)
- CPT-010 DiT cross-attention conditioning
- CPT-012 FiLM (feature-wise linear modulation)
- VER-017 条件机制核验：Q/K/V 公式（§2.5 Eq. cond_loss）与命题一致，text/class/layout/i2i 四模态有实例，与 DiT adaLN 不同机制不冲突。supported。
- DIS-001 术语 cross-attention 的双 referent 路由：LDM 通用条件接口（CPT-009）与 DiT block 设计变体（CPT-010）。
- CPT-006 co-definer Latent Diffusion Model
- CPT-008 co-definer Perceptual autoencoder (first stage)