| FRM-2408.00415 |
DriveArena 五层重建(骨架):核心对象是首个面向真实场景驾驶智能体的高保真闭环仿真系统——模块化的 TrafficManager(基于 LimSim 的多车分层决策与规划、协作因子与轨迹权重集,支持 OpenStreetMap 任意城市路网,ego 可开环或闭环受控)与基于扩散的 Dreamer(条件编码含地图/物体布局、文本、相机参数、ego 位姿与参考图,用跨视图注意力保多视图一致、用图像自回归保时序一致并支持无限流式生成)循环耦合,使只处理真实图像的智能体可在其中闭环导航。 |
Formalization
|
|
| FRM-2409.00588 |
DPPO 五层重建(骨架):核心对象是“用策略梯度微调扩散策略”的算法框架与最佳实践——把去噪过程视为多步 MDP 并嵌入环境 MDP,构成一个更大的“扩散策略 MDP”,使每步策略似然成为可解析求值的 Gaussian 似然,从而可直接套用任意策略梯度方法(并以 PPO 实例化);论文报告 RL 微调与扩散参数化之间存在协同,带来结构化、on-manifold 的探索、稳定训练与策略鲁棒性。 |
Formalization
|
|
| FRM-2510.08562 |
ResAD 五层重建(骨架):核心对象是把轨迹预测任务重构为“相对确定性惯性参考的残差预测”——用恒速模型给出物理先验基线,令模型容量集中在交通规则、障碍等情境驱动的偏离上,并以逐点残差归一化(PRNorm)抑制远距不确定 waypoint 的大幅误差主导学习信号;多模性则通过对初始速度施加零均值高斯扰动、经恒速模型传播出 K 条惯性参考簇来获得(同时增强对 GPS/IMU 噪声的鲁棒性)。 |
Formalization
|
|
| FRM-2507.04049 |
DIVER 五层重建(骨架):核心对象是以强化学习引导扩散生成多模轨迹的框架——策略感知扩散生成器(PADG)以地图元素与周围智能体为条件、由单一真值轨迹与轨迹锚引导生成“多个参考真值”以覆盖不同驾驶风格,再把扩散过程当作随机策略用 GRPO 目标的轨迹级多样性/安全奖励去引导,以破解模仿学习固有的模式坍缩;并针对 L2 类开环指标无法刻画多样性提出多样性度量。 |
Formalization
|
|
| FRM-2506.08052 |
ReCogDrive 五层重建(骨架):核心对象是把 VLM 的驾驶认知先验与扩散规划器耦合、并以扩散版 GRPO 做安全后训练的三阶段框架——先用“生成/精炼/质控”三级流水线造出模仿人类认知顺序的驾驶 QA 数据训练 VLM,再把其认知 token 注入扩散规划器生成连续稳定轨迹,最后用 DiffGRPO 以 NAVSIM 仿真器的 PDMS 作奖励做强化;公理层含『把规划当语言建模会产出违格式/不可行动作且推理慢』与『多模专家演示下纯模仿会学出平均轨迹』。 |
Formalization
|
|
| FRM-2506.24113 |
Epona 五层重建(骨架):核心对象是把驾驶世界建模重构为“时间域上的顺序未来预测”的自回归扩散世界模型——既不像视频扩散那样对固定长度帧序列做全局联合分布建模(破坏因果时序),也不像 token 式自回归那样逐 token 预测(弱化空间相关并扭曲高频),而是分离出策略 π(TrajDiT 预测轨迹)与整帧条件分布 p(VisDiT 生成下一帧),由多模态时空 transformer 编码历史,并用 chain-of-forward 训练抑制自回归误差累积;世界模型因此可同时充当实时运动规划器。 |
Formalization
|
|
| FRM-2412.18607 |
DrivingGPT 五层重建(骨架):核心对象是把驾驶仿真与轨迹规划统一为单一序列建模问题——用 VQ-VAE 把前视图像压成图像 token、把“帧间相对”轨迹分量按分位数裁剪后分箱成动作 token,交错成一种多模态驾驶语言(统一词表大小 D+3M),由自回归 transformer 以标准 next-token 预测同时承载世界建模与端到端策略两个子任务;公理层含『因果式长动作视界会让模型复制历史动作而非基于观测驾驶』与『视频扩散世界模型缺乏纳入动作模态的灵活性』。 |
Formalization
|
|
| FRM-2311.17918 |
Drive-WM 五层重建(骨架):核心对象是首个与既有端到端规划器兼容的多视图驾驶世界模型——以“视图因式化”的联合时空建模在图像扩散模型上挂时序层与多视图层(冻结图像权重、只微调新增层)生成一致的多视图视频,并把它用于规划:规划器从真实多视图图采候选轨迹,按动作条件生成各候选的未来视频,用基于生成视频感知结果的图像奖励(地图奖励 × 物体奖励)选最优轨迹并迭代成树式 rollout。 |
Formalization
|
|
| FRM-2311.16038 |
OccWorld 五层重建(骨架):核心对象是在 3D 占据空间里做世界建模——以 VQ-VAE 式自监督场景 tokenizer 把 3D 占据压成离散高层 token(BEV 化 + 类别嵌入 + 码本),再以 GPT 式但“一次预测一组 token”的空间-时序生成 transformer(空间自注意力 + 2×2 窗口层次化下采样 K 次 + 各尺度子世界模型)同时生成未来占据与 ego 轨迹;公理层含『物体框预测无法捕捉更细粒度场景信息』与『占据只给低层级理解、需自监督 token 化』。 |
Formalization
|
|
| FRM-2309.17080 |
GAIA-1 五层重建(骨架):核心对象是把驾驶世界建模铸成无监督序列建模的生成式世界模型——视频、文本、动作分别编码为离散/连续 token(图像每帧 576 token,文本来自 T5-large,动作仅速度与曲率两个标量),按“文本—图像—动作”交错成一个序列,用自回归 transformer 预测下一个图像 token,再由单独训练的视频解码器还原到像素空间;公理层含『压缩应朝向语义而非高频』与『预测自车动作的多种未来结果是安全导航的关键问题』。 |
Formalization
|
|